吴宇森执导的电影《变脸》(1997年)海报。当年片中主人公换脸通过外科手术实现,如今在网上可以通过AI技术做到。 (资料图/图)
眼前的黑不是黑,你说的白是什么白?这是罗雅萱半年来的内心写照。因意外卷入一场AI骗局,罗雅萱成为一名互联网志愿反诈者。
2023年2月,在意大利生活的罗雅萱在网络上认识了一位年轻男士。对方自称宁波人,生活在法国,从事古董生意。一个多月里,罗雅萱常常与他交流工作和生活,以“弟弟”相称。3月份,她一度怀疑对方身份的真实性,于是托国内朋友核实相关信息,一无所得。
罗雅萱提出两人视频通话,没想到对方直接答应。在视频中,这位“弟弟”与她全程互动无碍,相貌也与他之前提供的照片无异。如果没打这次视频,是否会建立信任?罗雅萱明确地告诉南方周末记者,“不会!”“(互动时)跟他说什么、问什么,他都会回答什么”,并非提前录制好的短视频。
十几分钟的视频通话后,罗雅萱彻底打消疑虑。一个月后,罗雅萱提出两人在法国见面,当天晚上,对方的电话便无法打通了。那时,罗雅萱已经被骗投资,转出了第一笔汇款,两千多欧元(约合人民币16000元)。
罗雅萱报警,警察追踪到诈骗者的IP来自中国港澳地区。罗雅萱在网络中寻找线索时,偶然发现了“正主”(照片本人)。他是个台湾人,在港澳地区小有名气,从2021年开始,他的照片便被诈骗者频繁盗用。
据警方分析,诈骗者的声音并非合成的。罗雅萱意识到,自己受到了AI换脸诈骗。当时与自己视频通话的是真人,那张脸,则是诈骗者用软件替换生成的。
反诈时,罗雅萱接触到一位杭州女生,后者被骗上百万元,诈骗者盗用的照片也来自那个“正主”。不同的是,这位杭州女生全程仅仅是和诈骗者语音交流,两人尚未视频通话。
“(正主)长得帅,是女孩子都喜欢的那种类型。”罗雅萱对南方周末记者说。据她调查,互联网上有123个盗用该“正主”图片的账号。国内的诈骗账号经罗雅萱举报后注销,但是仍然有大量海外平台诈骗账号逍遥法外。罗雅萱担忧的是,诈骗者如果使用“素人”的照片,受害者根本无迹可寻。
AI换脸、变声等深度合成技术在互联网上已经被广泛利用,近几年逐渐流入色情影像、网络诈骗等领域,带来肖像侵权、名誉侵权乃至诈骗犯罪等一系列问题。随着AI技术普及,更多成熟的换脸、变声软件出现。至于其使用难度,技术专家、AI行业从业者曾辛告诉南方周末记者,“几乎零门槛”。
换脸技术门槛不断降低,日益普及。图为2021年浙江某景区用于展示换脸应用的智能设备。 (视觉中国/图)
不过,就目前来看,利用AI技术进行的诈骗比例极低。另据新华社报道,公安机关研判,近期网上“AI换脸换声诈骗在全国爆发”传言不实,全国此类案件发生不到10起,但该动向值得高度关注。
掌握大量人脸、声音数据的机构和平台正受到进一步监管,保证公民个人隐私数据安全。同时,深度合成技术带来的隐患问题受到重视。2022年11月25日,国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》,自2023年1月10日起施行。
视频通话里的熟人是假的
最近,一起AI诈骗事件曾引发广泛关注:福州市某科技公司法定代表人郭先生10分钟内被骗430万元。诈骗者正是利用AI换脸术,在视频通话中冒充郭先生好友。
2023年5月,“平安包头”发布通报。郭先生接到好友的视频聊天,对方称朋友在外投标,需要公对公转账,想借用郭先生公司账户。为表真实性,对方事先伪造了银行转账截图。郭先生基于视频聊天的信任,并未核实钱是否到账,便将430万元分两次打入诈骗者提供的账号。郭先生称事已办妥,好友微信却回问号,方知受骗。
由于该事件涉及微信号盗用、实时视频换脸、实时声音合成等的综合运用,存在技术上的疑点,AI技术在该案中究竟被运用到哪种程度、是否已成为骗局关键,引发网络讨论。据媒体报道,公安部门正对该案件的诈骗手法和受骗过程进行再确认。
实际上,在如今的技术下,通过视频通话进行实时换脸和实时拟声并非不可实现,但难以做到毫无破绽。
曾辛提到一款国外AI实时换脸软件,“只要给一个视频源,可以是文件,也可以是实时摄像头,便可以实时转成另外一张脸”。经过曾辛团队测试,这款软件“可以做到人感觉不到的程度,一两帧左右的延时就能给你换脸”。至于声音,一些AI实时换声技术可以做到“大汉声换为萝莉声”,经过素材训练后,同样可以得到想要的音色,“AI有了新的模型和算法后,这种变声能力只会更强”。
但是,上述案件中,诈骗者不仅要盗取微信号、掌握受害者的社会关系,还要花一定的时间去盗取、训练AI学习诈骗目标的好友图像和声音素材,并模仿好友的说话方式。曾辛由此推测,如此多的巧合,很大可能是熟人作案。
无独有偶,发生在2023年的另一起AI诈骗案中,安徽安庆的何先生同样接到熟人视频通话,仅九秒后,对方以“在会议中,不方便”为由挂断电话,使用话术最终诈骗何先生132万元。此前还有一些案例,诈骗者仅仅通过AI换声的语音就骗取了受害者的信任。
如何分辨AI换音和换脸?曾辛提供了相对简易的方法:注意语气、停顿和语态是否有明显的电音或者修音痕迹;视频聊天时,对方面部频繁部分遮挡、频繁转动角度时是否出现人脸抖动,互动时是否实时给予回应。
“实时换脸技术的逻辑和原理是获取脸的特征点。当你脸部的特征点被遮挡了一半以上,它就会迟疑这个还是不是一张人脸,呈现出来的画面就可能有几帧失灵,一失灵,原来的脸就露出来,这个就是破绽。”曾辛对南方周末记者说。
“零基础学换脸”
如今,深度合成技术的使用门槛已经降得很低。
南方周末记者在电商平台看到,提供“换脸”软件服务的商家不在少数。有的卖家提供详细教程,承诺“0基础学习”。一位卖家向南方周末记者表示,可以“换任意视频和任意人脸”。该店家为市场上一款较受欢迎的AI换脸软件提供指导服务,使用者需要提供源视频和目标视频,在经过自主训练后,便可以合成一段人脸替换的视频。该店家同时售卖预训练模型(训练AI进行人脸替换的模型和算法),使用该模型能够“更快成像,换出来更逼真”。
美国企业家扎克伯格的实拍视频与深度合成视频对比。 (视觉中国/图)
如果要实时直播换脸,价格在1500元左右,需要在该软件的基础上,“配合其他技术实现”。这位店家称“(直播换脸)任何人脸都可以,你准备素材训练制作就行”。南方周末记者还注意到,在知乎、B站、小红书等平台存在大量关于AI实时换脸的技术教程。从教学内容来看,入门难度较低。
AI换脸和换声的仿真度取决于训练工作的精细程度。“AI基于训练模型训练,数据越多,训练的时间越长,就越像真人。”曾辛说,得益于云服务技术的发展,算力的成本也大大降低。如今,稍微懂些技术,拥有一些开发能力,便可以下载开源项目,进行训练。曾辛曾经训练“马保国”的脸和声音,训练了两千次左右,仍然有一些“硬伤”,但是训练到一万次、两万次以上,结果便显然不同了。
从一些受访者的回答来看,AI诈骗者利用的仍然是初级、粗糙的AI换脸术居多,但已具有迷惑性。对于大部分普通人,一时间难以分清视频中的人是真人还是AI,是实时视频还是录制视频,往往看到视频便下意识认为是对方本人。
而且,一些AI换脸诈骗案例不像罗雅萱、郭先生等遭遇的那样复杂,甚至不是实时视频诈骗。从案件披露的细节来看,诈骗者应该是对一段视频进行换脸,视频通话时向受骗者播放了该录制视频,受骗者也并未进行实时互动。据曾辛介绍,该技术无需使用电脑,直接使用手机可以实现,不过这种手段无法互动,容易露出破绽。
一位险些被骗的受害者向南方周末记者讲述了其经历。诈骗者盗取了受害者好友的QQ账号,称自己要转账到受害者银行卡,请她代为充值Q币,并发来伪造的转账截图。其间,受害者曾要求视频通话,结果看到一个和朋友一模一样的人拿着身份证,但没几秒便挂断电话。受害者通过微信向朋友求证,得知对方的QQ账号被盗。这位受害者后续和诈骗者聊天时讽刺道:“本人是本人,你嘴巴哑了,不会说话?”诈骗者发来一连串辱骂。
这位受害者当天发了朋友圈,发现一位朋友曾遭遇类似的诈骗。事后想起,这位受害者仍然心有余悸,想起电视剧《猎罪图鉴》中的AI换脸骗局,如今虚构的故事已然成真。
新技术,老骗局
曾辛过去在体制内从事网络安全技术工作。多年来,他接触过大量电信诈骗案例。新技术使得诈骗杀伤力更大。但曾辛认为,诈骗的底层逻辑仍然是“欲望”。
罗雅萱提到,自己接触过的受骗者多为离婚、丧偶或处于分手的情感空窗期,基本为女性,被骗金额在几万元到几百万元不等。受骗周期差异较大,上述提到的杭州女生一个星期便落进了骗局之中。
诈骗者使用的,仍是“杀猪盘”的惯用套路。“全球反诈骗组织”(GASO)成员、从事反诈志愿工作多年的中国台湾人Lina告诉南方周末记者,诈骗手段大同小异,以面貌帅气或漂亮的照片接近,之后在聊天中建立关系,有意无意提及投资项目,用美好的前景诱惑对方。Lina就曾陷入“杀猪盘”,当时她需要用钱,于是掉入对方的投资陷阱。在其接触过的诈骗案例中,熟人诈骗比较少,情感诈骗居多。
难道从未怀疑过吗?罗雅萱曾问过受骗者,得到的答案是“一下子陷进去了”。即使没有AI换脸的加持,恐怕这些受骗者仍然会一步步掉进情感圈套。
在另一名反诈志愿者陈盈盈看来,不管是周期较长的“杀猪盘”情感诈骗,还是短期冒充公检法部门、领导、熟人等的诈骗,AI只是其中的技术性手段,本质上仍然是传统骗局。“杀猪盘”过往使用一些网红、模特的照片,一旦涉及视频便会露馅,现在AI使得诈骗者可以伪装得更久。
陈盈盈向南方周末记者提及,盗用网红模特沈爱舟、刘明雄等人的照片,这些都是被诈骗者“用烂掉的人设”,诈骗者还喜欢使用马来西亚、泰国的男性照片,原因是更不容易穿帮。诈骗者使用通用话术,恋爱则是最容易建立关系的方式,“感情不到位,什么都白费”——这当然包括AI技术在内,若无感情铺垫,很难对陌生人实施AI诈骗。这些受骗者年龄在二十多岁到四十多岁之间,女性居多,“更容易迷恋上网络中的感情”。
受骗者哪里会想这么多?陈盈盈感慨,视频通话时,一旦想让对方频繁扭头以辨别AI换脸,实际上内心已经存有怀疑,而这样警觉的人,又怎么会被骗?受骗者事后回想,这些学历可能是小学、初中文化的95后、00后诈骗者,却要冒充85后、90后的谈吐,总会露出些许破绽,只是它们都淹没在情感冲动之中。
一些受骗者被骗后甚至产生交友恐惧症,“不想再相信网络上的人”。罗雅萱庆幸自己并未投入感情,只是将骗子当作“弟弟”,而许多受害者情感受到巨大伤害。罗雅萱遇到过一个被骗八万美元的女性,那时候她的状态很差,几近崩溃。
80%的受骗者不愿意报警。“怕家人知道,怕没面子、被嘲笑,”Lina对南方周末记者说,“会共情会同理心的人不多。”一些网友会对其网暴,指责其“贪心”,甚至认为他们与陌生网友建立感情“恶心”。许多受害者一度产生轻生的念头。
Lina所知的受骗者包括知识分子、企业家等,就连他们也不了解最新的诈骗形态。而诈骗者则依靠身边的“小组长”“干部”等团队进行针对性诈骗,劝导投资,甚至诱骗去借贷。他们极有耐心,可以放长线到几个月以上,“是完全没有良心,他能在你身上挖多少钱,尽量挖,然后挖到你没钱,他就会叫你去贷款”。
反诈与技术赛跑
陈盈盈是80后,从事研究型工作。两年前,她曾被人以投资名义诈骗,此后开始从事反诈宣传、协助营救性的工作。陈盈盈告诉南方周末记者,事实上,许多人被骗后也无法分辨视频中的骗子究竟是真人抑或换脸。
据她了解,一些诈骗团伙会雇用真人“模特”,整个团伙都用同一个模特的照片进行诈骗,需要语音或视频时,模特本人便“出场”。雇用真人模特的“薪资”较高,“一个月几十万元”,中小型诈骗团伙选择成本更低的AI换脸。
诈骗者曾向罗雅萱致歉,“对不起”。罗雅萱回复:“你对不起的是自己的良心。”很快,罗雅萱发现自己的照片被盗用了,而这些照片只有那个诈骗者看过。一位受害者家属称,盗用这张照片的女生诈骗了一万多元。
“很难预防,只能多加宣导,人们平时很忙碌,希望他们能注意一下新闻报道或者警方资讯。”Lina对南方周末记者说。做反诈两年,Lina发觉被害人的数量持续增加,她由此担忧,未来AI技术更精准的话怎么办?
陈盈盈发现,最近这两年,跨语言诈骗更容易得逞了。而且,她尚未听说过的AI诈骗机器人,也呼之欲出。
“把足够多的套路输进去,然后让AI什么情况说什么话,实际上可以做出这么个AI诈骗机器人。”ChatGPT出现后,曾辛尝试的一个实验是,利用大语言模型训练一个“杀猪盘”中的常见角色“卖茶女”。这个角色有明显的语言套路,喜欢公益、喜欢小朋友,因工作压力大回到老家与爷爷一起经营茶园。曾辛“给予”语言模型该人设,并且模仿年轻人在网络上的发言。目前来看,“GPT3.5,可能有点傻,感觉机器味很浓,但如果是GPT4,调教得更好一点,可能会骗到一些人”。
曾辛担忧换脸、拟声等技术被诈骗者利用的后果,尤其担心那些被互联网“淘汰”的老年人如何应对这样一段“亲人”的语音和视频。
为此,曾辛在视频平台解密骗局,但为了避免变成诈骗者的“学习资料”,他不展开呈现技术细节。有时,一些人吐槽他的换脸和换声有明显破绽,他反而觉得是好事,相比之下,“没有人讨论这件事才是最可怕的”。
作为技术研发人员,曾辛几乎每天都受困扰,AI领域是否会发展到很难辨别真假的地步?“你能感觉到每天都有新东西出来,可能我们在聊天这会儿,已经有团队能够做出一个手机App实时换脸换声音,完全看不出破绽。未来10-20年,能够分辨这个东西,是一种必要的社会技能。”
(应受访者要求,罗雅萱、陈盈盈为匿名)
南方周末记者 张锐
- 2024-09-09 高级数据库十七:优化器估价模型
- 2024-09-09 LTE系统信息 --- MIB、SIB
- 2024-09-09 重制度 扩需求 优环境 强信心 多措并举 推动工业高质量发展
- 2024-09-09 3.0版改革绘就山西优化营商环境新蓝图!《山西省营商环境创新提升行动方案》印发
- 2024-09-09 我国乡村振兴战略的实施路径