一个会议被骗了2个亿,“AI换脸”骗局是怎么发生的?

这位员工并非是没有警惕的“二愣子”。

三步下来,以往“发个语音”、“打个视频”的防诈手段,在AI诈骗面前基本失效。

2017年,名为“Deepfakes”的网友,利用AI技术发布了将色情演员换脸成盖尔·加朵等名人的视频片段,引发轩然大波。

被称为“深度伪造”(Deepfake)的AI换声及换脸技术,自此进入大众视野。

“人工智能之父”杰弗里·欣顿有个末日预言:人工智能可能对人类构成巨大威胁。因为,“很难找到防止坏人用它做坏事的方法”。

不幸的是,这一预言正成为现实。

一、高端局来了

一个跨国公司白领,一杯咖啡的功夫,就让公司损失了2亿港元。

原因是,他被邀请参加了一场公司高管的视频会议,总部首席财务官在会上要求他马上给几个账户共转账2个亿,在其他同事的配合下,他当场就把事情办妥了。

但事实上,这场会议就是个骗局,整场视频会议的出席者,只有他一个“真人”

这是香港警方近期披露的一起多人“AI换脸”诈骗案。被诈骗职员亲眼见到的所有人、亲耳听到的所有声音,全都来自经过“AI换脸、换声”的诈骗人员。

这位员工并非是没有警惕的“二愣子”。

最初收到英国总部CFO的邮件,称公司正在计划一个“秘密交易”,需要他将公司资金转到几个香港本地账户中待用时,他并没有相信,而且认为这是钓鱼诈骗邮件。

但当骗子给他拨了个视频电话,而且还邀请了其他几位“真实亲切”的同事在旁协助时,他彻底放下了戒备。

甚至,事件发生5天之后,他在向英国公司求证时才发现自己被骗了。

同样可怕的“遭遇”,也发生在福州市某科技公司法人代表郭先生身上。

2023年4月20日,一位好友突然打了个微信视频:“老郭,我一个朋友在外地竞标,需要430万保证金。你看看能不能先走你的公司账户,帮忙过个账?”

好友说钱已打过来,还发了银行转账底单截图。

因为是视频聊天,郭先生就没核实钱是否到账,直接给对方账户转了430万。

事后,郭先生给好友打了电话,称“事情办妥了”,对方却惊讶地回应完全没有这回事。

9分钟,430万没了!

坑了郭先生的,也是AI诈骗。

综合公开信息,这种让人防不胜防的骗局,一般分三步:

1. 不法分子用AI机器人骚扰电话,获取用来行骗的目标对象的声音素材,然后进行声音伪造;

2. 盗取目标对象的社交账号,寻找受害人;

3. 用AI换脸技术,和受害人视频通话,博取信任,实施诈骗。

三步下来,以往“发个语音”、“打个视频”的防诈手段,在AI诈骗面前基本失效。

更可怕的是,掌握AI的骗子,越来越多了!

公开信息显示,2021年以来多个省份都出现了AI诈骗及不当牟利案件。中国互联网协会2023年5月24日称,利用“AI换脸”“AI换声”等进行诈骗、诽谤的违法行为屡见不鲜。

当传统认知里,受骗对象还多是经不起诱惑、社会经验少的“冤大头”,以及一些不常上网的老年人。

只要给几张照片和几秒语音,就能复刻出“真人”的AI诈骗,却让每个人都可能难逃一劫。

比如假扮大学同学、亲戚、供货商等AI视频借钱案件,就层出不穷。

如果觉得从不借钱便不会中招,就太天真了。

当骗子伪装成领导,以汇款、资金周转等紧急理由,要求下属立即转账,很少有人能顶住压力。更有甚者,骗子直接伪造子女、父母车祸入院等借口,利用亲人感情实施欺诈。

据湖北网警巡查执法公布消息,AI技术新骗局诈骗成功率竟接近100%,其成功率之高、涉案金额之大、诈骗速度之快令人咋舌。

更令人毛骨悚然的是,信息泄露、隐私不安全的普遍现实,为AI诈骗造就了“天然温床”。

2023年2月15日,一则“几乎无人幸免,疑似45亿条电商或快递信息泄露”的消息,冲上热搜。有网友忍不住吐槽:“要有多强的防范意识,才能想到跟你视频通话的亲友,不是一个大活人啊?要有多强的隐私意识,才能保证自己信息不泄露或被窃取?”

微博大V@全民防诈骗,甚至因此预言:“你目前还没被骗,并不是因为你多聪明,也不是因为你没钱,而是适合你的‘剧本’还在路上。”

二、全球大爆发

2023年4月末,一位叫詹妮弗·德斯特凡诺的美国母亲突然接到电话:“妈妈,救命!”

眼看大女儿布里安娜似乎陷入了大麻烦,詹妮弗吓呆了。

接下来便是对方威胁:

“如果你打电话报警,就永远别想再见到她了!”

挂断后,詹妮弗立马要给赎金。

幸运的是,女儿正好打来电话,骗局不攻自破。但心有余悸的她仍无比惊讶:

“就算隔一栋楼,我也不会认错自己孩子的哭泣声。”

詹妮弗想不到的是,突飞猛进的AI技术,早已比一个母亲更了解自己的孩子。而骗子支付的代价,可能还不到每月5美元。

2017年,名为“Deepfakes”的网友,利用AI技术发布了将色情演员换脸成盖尔·加朵等名人的视频片段,引发轩然大波。

被称为“深度伪造”(Deepfake)的AI换声及换脸技术,自此进入大众视野。

一些从事类似诈骗的不法分子,立马盯上了这一先进技术。

2019年3月,一诈骗犯借助连“微妙的德国口音”也毫无破绽的AI换声技术,冒充一家英国能源公司大老板,忽悠其高管转了22万欧元,这被视为全球首例人工智能诈骗案。

随后,AI技术流行的欧美,迅速成为AI诈骗的温床。

美国联邦调查局年度报告显示,2022年美国AI诈骗同比上涨了50%到75%,美国网络诈骗损失达103亿美元,创五年来新高,面向老年人的AI语音骗局则是重灾区。

世界经济论坛研究与分析主管布鲁内曼的调查则显示,“在过去一年里,26%的小公司和38%的大公司都经历过深度伪造欺诈”。她甚至预测:

到2026年,超90%的网络攻击内容都将是AI合成。

AI诈骗的效果越来越逼真,但技术门槛和成本,却一直在降低。

美国加州大学伯克利分校教授法里德表示,AI换声到现在已经只需要十几秒录音就能实现,换脸则一张照片就可以。相应的AI使用费,也只需每月5美元到数百美元不等。

这基本上意味着,普通人都能“轻松”进行不法活动。

而且,AI还可以通过信息收集及大数据分析,智能筛选出“易骗人群”。比如进行金融诈骗,就可以搜集热衷关注投资信息的人群,成为潜在目标。

甚至,AI还能分析目标对象的社交网络,进而掌握其个性化表达方式、人际关系、兴趣爱好等生活习惯,实现“诈骗剧本”定制化。

法里德因此惊呼:

“这很可怕,就像一场完美的风暴,具备了酿成大祸的所有条件。”

但尽管风险显而易见,AI语音及视频合成技术却仍在狂奔。

今年春节期间,OpenAI文生视频模型Sora横空出世,让AI视频制作更加简单、真实。一夜之间,“现实不存在了”的惊叹,刷遍朋友圈。

当AI签名、AI视频、AI换声换脸等,本应创造美好和便利的高端技术变成坏人手中的“魔杖”,无数人和机构的财产、信息及现实安全,也越来越形同“裸奔”。

三、没有真相的时代

“现在已经到了大规模、集中化讨论AI风险的关键时刻”,清华大学教授沈阳曾如此呼吁。

其实,对AI诈骗的警惕与治理方案,早已在路上。

美国安全中心发布的《人工智能与国家安全》,明确将人工智能伪造技术列为威胁国家安全的重点技术。中国也开始通过政策管理和技术限制等途径,来应对其潜在安全风险。

但AI诈骗,似乎是打不死的“小强”——打击不断升级,案件也屡创历史新高。

根本原因,还是法律法规制定、推广的建设速度,赶不上AI技术的迭代和传播速度。产业、大众对AI危害的反应,也很容易慢半拍。

如今,AI骗局也早已超出“诈骗”范畴,蔓延到社会的各个角落。

今年1月底,明星泰勒·斯威夫特大量AI“不雅照片”在社交平台上传播,此事甚至震动美国白宫,并掀起一波关于人工智能的担忧。

包括白宫,也难以幸免。

上周,很多人都接到了美国总统拜登的AI电话呼叫,要求把选票留给自己而非特朗普。

这当然也是假的,但不少人还是信了。有人因此认为,AI骗局可能会影响美国大选。

在中国,假新闻、假图片案件也甚嚣尘上。

2023年5月,科大讯飞就受一篇名为《科大讯飞出现重大风险的警示文》的文章影响,股价迅速跳水。公司最后紧急回应,股价下跌系某生成式AI写作虚假“小作文”导致。

AI越来越方便着人们的生活,但也方便着不法分子们。

2023年4月13日索尼世界摄影奖颁奖礼,大奖得主却冲上舞台夺过话筒,悲愤地说这是AI伪作。他反问,“如果索尼世界摄影奖的评委都分不清真假照片,其他人还能怎么办?”

当AI骗局从专业级走向“平民化”,我们能做的,除了寄望于监管,或许就是:

对家人的电话,视频等等一切,都要首先报以深深地怀疑。以及把那句,不给任何陌生人汇款变成:

不给任何人汇款。

参考资料:

[1]《AI换脸风暴:骗局、产业与技术防守》36氪

[2]《“AI换脸”诈骗,怎么防?》人民日报

[3]《警惕!美国发生多起AI语音诈骗案件,联邦机构将加强监管》第一财经

本文来自微信公众号:华商韬略(ID:hstl8888),作者:耿康祁

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
Like (0)
Previous 2024年3月1日 12:17
Next 2024年3月1日 14:12

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日