换脸乌克兰美女在中国赚钱,AI已经开始跨国犯罪了

从这个账号发布的各种视频中,不难看出背后的运营团队深谙短视频平台的流量密码:时不时抛出“喜欢中国,想买房子定居”“女性搬到中国是否要务农”这种极富争议的社会话题,显然很清楚如何利用好。

此前颁布的《互联网信息服务深度合成管理规定》中,也明确规定内容提供者需要按照对生成的图片、视频等内容进行标识,但目前主流短视频平台也没有足够有效的方式来应对:在类似没有明确标注的。

在 OpenAI 发布 Sora 之后,很多人惊呼人类已经迈入 AI 视频时代。除了一次次震惊世界的 AI 视频生成能力展示之外,海外网友讨论的最多的话题,还有“未来该如何避免虚假视频充斥着我们的生活”?

但在此之前,AI 虚假视频的发展速度,可能已经远超我们的想象,它们已经走进我们熟悉的社交平台,通过各种流量密码,赚到了比人类视频博主更多的收入。

下面的数据可能更加直观:小红书一个名为“娜塔莎进口食品”的博主,在视频中的人设是一位定居在中国的俄罗斯人,并通过这一身份发布各种关于俄罗斯与中国生活的短视频,和大家科普各种俄罗斯知识,粉丝量在短短数月内突破了 20 万。

但现实是,这个账号的各种视频内容完全是由 AI 生成,甚至这个肖像的真人还是一位乌克兰人,她的真名叫 Olga Loiek。

从这个账号发布的各种视频中,不难看出背后的运营团队深谙短视频平台的流量密码:时不时抛出“喜欢中国,想买房子定居”“女性搬到中国是否要务农”这种极富争议的社会话题,显然很清楚如何利用好 Olga 的“流量密码”,但这些也只会加重受害者的痛苦。

在短视频平台,利用 Olga 肖像权制作虚假视频的内容,往往是关于俄罗斯一方的言论:例如“俄罗斯会感激中国朋友的支持”等在短视频平台反响热烈的话题。

讽刺的是,抖音的老用户可能会觉得这一刻似曾相识:去年六月,一位自称“保尔柯察铁”的“俄罗斯车臣人”走红,依靠分享在前线的最新动态,迅速积攒了超过三十万粉丝,并顺势开启了带货:当然也是包括伏特加糖果在内的各种俄罗斯特色食物。

但在后续他发布的各种“作战”视频中,被不少网友认出了拍摄视频的实际地点经常是河南洛阳某处的发电厂,最终被进一步扒出这位中文过于流利的车臣人,其实只是特效滤镜的效果。被揭开谜底之后的账号不再被网友关注,最终无人问津。

虽然彼时诸如“柯察铁”这样的案例并不少,这些视频尚且需要真人出镜,即使漏洞百出,也吸引了众多没有足够辨认能力的观众,而到了 Olga 的例子中,这些视频产业链已经完全不需要一个漏洞百出的真人出镜,取而代之的是一个完全由视频素材训练出的“克隆人”

事实上,使用真人肖像打造出克隆人短视频的工具已经相当成熟:克隆 Olga 的运营团队使用的是一款名为 HeyGen 的 AI 肖像克隆软件,这是一款已经非常成熟的 AI 应用,网络上能找到众多面向初学者的 HeyGen 上手教程。使用价格上,即使是最贵的商用版本也只需 72 美元/月。

在这些工具之前, AI 视频基本还遵循着输入足够多相关肖像视频素材,根据口型/表情对应生成相应的素材,生产对应的短视频内容,即创作者口中嘲讽 AI 生成视频的“拼尸块”模式,但现在随着 HeyGen 这样的 AI 工具越来越多,生成一条高度逼真的短视频所需要的素材,可能仅仅是原作者的几张照片。

每月仅 500 人民币的投入,创作克隆视频换来的收益却相当可观:这些克隆账号不仅能通过挑动流量话题赚钱,通过带货收入也是另一种主要方式。小红书账号下的清单中充斥着各种“俄罗斯特产食品”的链接,并且随着克隆短视频的带动,给观众灌输“俄罗斯经济需要你们的支持”的思想,促使观众购买这些商品:截至 2 月 19 日,其中一些单品销量已经超过一万。

Olga 也在自己上传的视频中提到,她和她的家人曾多次就这个问题尝试向小红书、抖音等申诉,即使她们都很难理解复杂的中文条款所包含的意思,但这些申诉都没有获得正面的结果,无奈之下,才选择自己真人发布视频,将整件事和盘托出。

在 Olga 发布视频揭开这个问题,并引起全球网友热议的两周内,这个账号仍然在小红书等平台正常存活:账号简介中,最新的一条视频的主题甚至是庆祝中国新年,同时仍然有很多不明真相的网友,在评论区中回复账号运营者刻意煽动起的各种问题。给 Olga 关于“买房”“找中国人当老公”等建议。

与此同时,Olga 的家人所能做的,也只有在社交媒体上呼吁 HeyGen 的开发者采取行动,避免这种被 AI 换脸的事件发生在更多人身上。

直到 2 月 20 日,这个账号才被“封禁”:没有任何常规账号封禁的相关提示,只是如同完全不曾在小红书存在过一般,消失在平台中。

看起来这起事件告一段落,但在过去的数月中,黑产团队赚到了带货收入与流量分成所得,平台坐享其成收获流量,观众收获了心理满足感与“俄罗斯特产”,只有 Olga 本人和家人承受了痛苦。

按照 Olga 本人在 YouTube 发布的视频中所言:“我们的家人在战争中不得不在不断的空袭和轰炸中东躲西藏。在这段时间里,看到自己的脸被用来向数十万人宣传俄罗斯,这并不有趣”。

苹果公司联合创始人史蒂夫·沃兹尼亚克近期也警告称,AI 视频内容行业需要强监管。同时监管机构也应该追究大型科技公司在其中疏于监管乃至纵容的责任。

中国在 2020 年五月发布的《民法典》中第 1019 条,其实已经有相关的条文:

任何组合或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意,不得制作、使用、公开肖像权人的肖像,但是法律另有规定的除外。

未经肖像权人同意,肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或公开肖像权人的肖像。

此前颁布的《互联网信息服务深度合成管理规定》中,也明确规定内容提供者需要按照对生成的图片、视频等内容进行标识,但目前主流短视频平台也没有足够有效的方式来应对:在类似没有明确标注的 AI 生成视频下,小红书会对疑似 AI 内容自动生成的内容自动打上标识,但除此之外并没有更多有效的应对方式。

在小红书社区公约中,也明确表示冒充他人等行为属于侵权,抖音也专门设置了关于人工智能生成内容的平台规范暨行业倡议、人工智能生成内容标识的水印与元数据规范,并推出了虚拟形象账号备案指引。

抖音安全中心相关负责人对电厂表示,抖音安全中心针对技术手段仿冒虚假人设、不当获取粉丝的账号,持续进行专项治理。对于违规账号,平台采取了包括全面禁言和粉丝清零在内的处罚措施,近期已处罚账号67个。下一步平台将加大治理力度,也欢迎用户在发现违规账号时点击举报,平台将在第一时间核实处理。

此前,抖音官方信息发布账号“抖音黑板报”曾发布打击黑灰产违规“涨粉养号”行为的公告,其中涉及多项违规行为,就包括利用人工智能技术(AIGC)创建虚拟人物仿冒真人或批量发布低俗低质内容。

不过,对于Olga这种已经涉及到明确侵犯肖像权的事件,如果内容平台的“正义执行”在两周乃至更长时间之后才姗姗来迟,这不仅是给黑产团队可乘之机,甚至在很大程度上已经纵容了更多类似事件的发生。


远在 Sora 之前,从 deepfake 震惊世界的那一天起,AI 换脸就已经开始快速发展,并随着各种越来越易用的工具被开发出来,黑产产业链也如同影子般迅速成长:从一开始的换脸到变声,直到如今以假乱真的 AI 短视频泛滥,内容监督的技术与管理已经远无法跟上现实的需求。

如果没有行之有效的监管与审核,下一个伴随着流量密码诞生的 Olga,只会更具煽动性且更难以辨别,且近在眼前。

(记者何畅对本文亦有贡献)

本文来自微信公众号:电厂 (ID:wonder-capsule),作者:张勇毅,编辑:高宇雷

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年2月21日
下一篇 2024年2月21日

相关推荐

  • 数字人出海背后,隐藏哪些商业机密?

    某上市公司旗下数字人营销视频创作工具负责人Dour介绍,曾有几个客户向其反馈了极为惊人的数据:使用数字人,一个季度可以完成高达1700~2000小时的直播时长,相当于平均每天直播17个小时。

    在亿邦的调研中,一个常被各种数字人服务商所提及的宏伟设想,或许可以更加具象地展现这门方兴未艾的技术究竟有着多大的想象空间:

    数字人的远期定位,并不是抢“真人”的饭碗,而是在算力爆炸、AI永续迭代的背景下,重构整个电商领域的信息呈现方式。

    未来科技 8小时前
  • 迪士尼想用 AI 改造娱乐业,但它准备好了吗?

     
    乐园:迪士尼的技术试验场
     
    迪士尼乐园不仅是“世界上最快乐的地方”,也是迪士尼前沿技术的实验场。
     
    马克·谢弗曾在人民快运航空和大陆航空从事收入管理工作,他来到迪士尼后,领导一个由 250名员工组成的数据分析团队,对迪士尼乐园的各项业务进行动态定价,并推出了。
     
    2022年,迪士尼推出了人工智能工具。
     
    迪士尼的人工智能困境
     
    1928年,迪士尼推出了世界上首部声画同步动画片《汽船威利》。

    未来科技 8小时前
  • 这个世界变得更精彩,但好像也更无聊了

    那是一个下午,办公室的咖啡机坏了,我在楼下买了一杯厚乳拿铁,上楼后发现同事都出去吃午饭了,我一个人坐在窗边的工位上,升起的阳光正好覆盖在了我的电脑屏幕上,浏览器的文字都变得模糊起来,我眯起眼睛,试图看清屏幕上的字,依稀能看到我的代码编辑器,正在用。

    我是热爱并且积极拥抱这些最新最酷的技术的人之一,但我猛然想到,那些不那么乐意拥抱新技术的人,就一定要被淘汰,这也是让人挺不舒服的一件事。

    未来科技 8小时前
  • 工业AI大模型落地应用的最新实践,都在这里

    上述问题,也正是我们即将在“大鲸AI闭门会·制造专场”上深入探讨的焦点!
     
    6月20日,虎嗅智库将在苏州举办“2024大鲸AI闭门会·工业制造专场”,汇聚信通院、美的、隆基绿能、施耐德电气等权威机构、头部甲方企业、工业智能企业的创新者,独家完整呈现甲方头部完整AI应用落地案例,并将围绕、“智能生产与排程”、“质量分析与数字模拟”、“人机协作与智能制造”等话题,共同探寻AI大模型在工业智造领域的落地应用。

    未来科技 9小时前
  • 果然,美国限制AI出口立法的进程又进一步

    Review(ID:Internet-law-review),作者:互联网法律评论,题图来自:视觉中国

    当地时间2024年5月22日,美国众议院外交事务委员会以压倒性多数,通过了一项限制AI模型出口的法案。

    只是从功用上对“涵盖的人工智能系统”进行了一定的概括,不过,这样的“新定义”基本上涵盖了“任何人工智能系统、软件或硬件”,只要这些物项满足以下条件:

    侵蚀美国国家安全或外交政策的方式。

    未来科技 10小时前
  • 微软Build:GPT-4o重塑Windows,奥特曼剧透新模型

    本文来自微信公众号:APPSO (ID:appsolution),作者:超凡、王萌、崇宇,题图来自:微软Build 今天凌晨,微软带来了一系列重磅产品,一口气发布了50多项更新。 …

    未来科技 10小时前
  • 产业政策的迷失:日本AI败局启示

    本来,日本在神经网络和深度学习方面有很强的底蕴,但在全面为第五代计算机服务的背景下,全社会的资源都在向专家系统这一路径倾斜,甚至连福岛邦彦这样的大佬都很难申请到需要的经费。而当第五代计算机的梦想在二十世纪九十年代最终破裂后,日本干脆削减了对整个AI学科的资金扶持,这就导致了最优秀的人才根本不愿意进入这个领域。

    一旦有日本的AI企业率先从类似的领域发起突围,并真正实现了盈利,那么日本全社会对AI兴趣的低迷就会被扭转,人才也会陆续重新回到这个领域。

    未来科技 10小时前
  • AI已经擅长欺骗人类,其阴暗面令人震惊

    从娱乐至生活,AI欺骗在扩散

    诚然,游戏无疑是一个相对可控的环境,我们可能倾向于认为,这种AI欺骗行为的危害并不严重。

    而且,这种欺骗能力并非仅存在于模型规模较小、应用范围较窄的AI系统中,即便是大型的通用AI系统,比如GPT-4,在面对复杂的利弊权衡时,同样选择了欺骗作为一种解决方案。

    AI欺骗的系统性风险

    毋庸置疑,一旦放任不管,AI欺骗给整个社会带来的危害是系统性和深远的。

    未来科技 10小时前
  • 第一个iPhone刺客,可能要倒下了

    //www.cnet.com/tech/mobile/humane-maker-of-wearable-ai-pin-is-exploring-a-sale-report-says/
    https。//techcrunch.com/2024/05/22/humane-the-creator-of-the-700-ai-pin-is-reportedly-seeking-a-buyer/。

    未来科技 10小时前
  • 第一波收割完的AI创企要跑路了?6年来仅做了一款产品

    创办Humane之前,Chaudhri曾在苹果公司担任设计师长达20年,据报道于2017年被苹果公司解雇,Bongiorno在苹果公司工作了8年,担任iOS和macOS的软件工程总监,并于2016年离职。

    Humane与微软的合作主要是体现在其利用微软的云基础设施搭建技术平台,同时,Humane也将OpenAI的技术集成到其设备中。

    未来科技 11小时前