换脸乌克兰美女在中国赚钱,AI已经开始跨国犯罪了

从这个账号发布的各种视频中,不难看出背后的运营团队深谙短视频平台的流量密码:时不时抛出“喜欢中国,想买房子定居”“女性搬到中国是否要务农”这种极富争议的社会话题,显然很清楚如何利用好。

此前颁布的《互联网信息服务深度合成管理规定》中,也明确规定内容提供者需要按照对生成的图片、视频等内容进行标识,但目前主流短视频平台也没有足够有效的方式来应对:在类似没有明确标注的。

在 OpenAI 发布 Sora 之后,很多人惊呼人类已经迈入 AI 视频时代。除了一次次震惊世界的 AI 视频生成能力展示之外,海外网友讨论的最多的话题,还有“未来该如何避免虚假视频充斥着我们的生活”?

但在此之前,AI 虚假视频的发展速度,可能已经远超我们的想象,它们已经走进我们熟悉的社交平台,通过各种流量密码,赚到了比人类视频博主更多的收入。

下面的数据可能更加直观:小红书一个名为“娜塔莎进口食品”的博主,在视频中的人设是一位定居在中国的俄罗斯人,并通过这一身份发布各种关于俄罗斯与中国生活的短视频,和大家科普各种俄罗斯知识,粉丝量在短短数月内突破了 20 万。

但现实是,这个账号的各种视频内容完全是由 AI 生成,甚至这个肖像的真人还是一位乌克兰人,她的真名叫 Olga Loiek。

从这个账号发布的各种视频中,不难看出背后的运营团队深谙短视频平台的流量密码:时不时抛出“喜欢中国,想买房子定居”“女性搬到中国是否要务农”这种极富争议的社会话题,显然很清楚如何利用好 Olga 的“流量密码”,但这些也只会加重受害者的痛苦。

在短视频平台,利用 Olga 肖像权制作虚假视频的内容,往往是关于俄罗斯一方的言论:例如“俄罗斯会感激中国朋友的支持”等在短视频平台反响热烈的话题。

讽刺的是,抖音的老用户可能会觉得这一刻似曾相识:去年六月,一位自称“保尔柯察铁”的“俄罗斯车臣人”走红,依靠分享在前线的最新动态,迅速积攒了超过三十万粉丝,并顺势开启了带货:当然也是包括伏特加糖果在内的各种俄罗斯特色食物。

但在后续他发布的各种“作战”视频中,被不少网友认出了拍摄视频的实际地点经常是河南洛阳某处的发电厂,最终被进一步扒出这位中文过于流利的车臣人,其实只是特效滤镜的效果。被揭开谜底之后的账号不再被网友关注,最终无人问津。

虽然彼时诸如“柯察铁”这样的案例并不少,这些视频尚且需要真人出镜,即使漏洞百出,也吸引了众多没有足够辨认能力的观众,而到了 Olga 的例子中,这些视频产业链已经完全不需要一个漏洞百出的真人出镜,取而代之的是一个完全由视频素材训练出的“克隆人”

事实上,使用真人肖像打造出克隆人短视频的工具已经相当成熟:克隆 Olga 的运营团队使用的是一款名为 HeyGen 的 AI 肖像克隆软件,这是一款已经非常成熟的 AI 应用,网络上能找到众多面向初学者的 HeyGen 上手教程。使用价格上,即使是最贵的商用版本也只需 72 美元/月。

在这些工具之前, AI 视频基本还遵循着输入足够多相关肖像视频素材,根据口型/表情对应生成相应的素材,生产对应的短视频内容,即创作者口中嘲讽 AI 生成视频的“拼尸块”模式,但现在随着 HeyGen 这样的 AI 工具越来越多,生成一条高度逼真的短视频所需要的素材,可能仅仅是原作者的几张照片。

每月仅 500 人民币的投入,创作克隆视频换来的收益却相当可观:这些克隆账号不仅能通过挑动流量话题赚钱,通过带货收入也是另一种主要方式。小红书账号下的清单中充斥着各种“俄罗斯特产食品”的链接,并且随着克隆短视频的带动,给观众灌输“俄罗斯经济需要你们的支持”的思想,促使观众购买这些商品:截至 2 月 19 日,其中一些单品销量已经超过一万。

Olga 也在自己上传的视频中提到,她和她的家人曾多次就这个问题尝试向小红书、抖音等申诉,即使她们都很难理解复杂的中文条款所包含的意思,但这些申诉都没有获得正面的结果,无奈之下,才选择自己真人发布视频,将整件事和盘托出。

在 Olga 发布视频揭开这个问题,并引起全球网友热议的两周内,这个账号仍然在小红书等平台正常存活:账号简介中,最新的一条视频的主题甚至是庆祝中国新年,同时仍然有很多不明真相的网友,在评论区中回复账号运营者刻意煽动起的各种问题。给 Olga 关于“买房”“找中国人当老公”等建议。

与此同时,Olga 的家人所能做的,也只有在社交媒体上呼吁 HeyGen 的开发者采取行动,避免这种被 AI 换脸的事件发生在更多人身上。

直到 2 月 20 日,这个账号才被“封禁”:没有任何常规账号封禁的相关提示,只是如同完全不曾在小红书存在过一般,消失在平台中。

看起来这起事件告一段落,但在过去的数月中,黑产团队赚到了带货收入与流量分成所得,平台坐享其成收获流量,观众收获了心理满足感与“俄罗斯特产”,只有 Olga 本人和家人承受了痛苦。

按照 Olga 本人在 YouTube 发布的视频中所言:“我们的家人在战争中不得不在不断的空袭和轰炸中东躲西藏。在这段时间里,看到自己的脸被用来向数十万人宣传俄罗斯,这并不有趣”。

苹果公司联合创始人史蒂夫·沃兹尼亚克近期也警告称,AI 视频内容行业需要强监管。同时监管机构也应该追究大型科技公司在其中疏于监管乃至纵容的责任。

中国在 2020 年五月发布的《民法典》中第 1019 条,其实已经有相关的条文:

任何组合或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意,不得制作、使用、公开肖像权人的肖像,但是法律另有规定的除外。

未经肖像权人同意,肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或公开肖像权人的肖像。

此前颁布的《互联网信息服务深度合成管理规定》中,也明确规定内容提供者需要按照对生成的图片、视频等内容进行标识,但目前主流短视频平台也没有足够有效的方式来应对:在类似没有明确标注的 AI 生成视频下,小红书会对疑似 AI 内容自动生成的内容自动打上标识,但除此之外并没有更多有效的应对方式。

在小红书社区公约中,也明确表示冒充他人等行为属于侵权,抖音也专门设置了关于人工智能生成内容的平台规范暨行业倡议、人工智能生成内容标识的水印与元数据规范,并推出了虚拟形象账号备案指引。

抖音安全中心相关负责人对电厂表示,抖音安全中心针对技术手段仿冒虚假人设、不当获取粉丝的账号,持续进行专项治理。对于违规账号,平台采取了包括全面禁言和粉丝清零在内的处罚措施,近期已处罚账号67个。下一步平台将加大治理力度,也欢迎用户在发现违规账号时点击举报,平台将在第一时间核实处理。

此前,抖音官方信息发布账号“抖音黑板报”曾发布打击黑灰产违规“涨粉养号”行为的公告,其中涉及多项违规行为,就包括利用人工智能技术(AIGC)创建虚拟人物仿冒真人或批量发布低俗低质内容。

不过,对于Olga这种已经涉及到明确侵犯肖像权的事件,如果内容平台的“正义执行”在两周乃至更长时间之后才姗姗来迟,这不仅是给黑产团队可乘之机,甚至在很大程度上已经纵容了更多类似事件的发生。


远在 Sora 之前,从 deepfake 震惊世界的那一天起,AI 换脸就已经开始快速发展,并随着各种越来越易用的工具被开发出来,黑产产业链也如同影子般迅速成长:从一开始的换脸到变声,直到如今以假乱真的 AI 短视频泛滥,内容监督的技术与管理已经远无法跟上现实的需求。

如果没有行之有效的监管与审核,下一个伴随着流量密码诞生的 Olga,只会更具煽动性且更难以辨别,且近在眼前。

(记者何畅对本文亦有贡献)

本文来自微信公众号:电厂 (ID:wonder-capsule),作者:张勇毅,编辑:高宇雷

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
Like (0)
Previous 2024年2月21日
Next 2024年2月21日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日