大模型“局中局”:威胁先一步降临

 

图源:网络安全公司Home Security Heroes
 
伊利诺伊大学厄巴纳-香槟分校的研究表明,LLM 代理可以自主攻击网站、协助创建恶意软件,甚至可以执行复杂的 SQL 联合攻击,包括数据库模式的提取。

 

图:使用自主 LLM 代理攻击网站的示意图
 
LLM在充当“黑客”方面的“造诣”远不止于此。

继取代艺术家的浪潮后,AI又将目光投向更具技术性的岗位。自2020年以来,全球网络攻击越来越活跃,网络安全和网络犯罪之间的缠斗趋于白热化。AI 技术的跃迁成为了二者拉锯战的达摩克利斯之剑,在优化网络安全防御机制的同时,也使得网络犯罪分子的作案手法越来越高端。

随着黑客攻击手段的不断升级,网络安全威胁也日趋复杂多变。AI正在悄悄潜入黑客、诈骗等黑色或灰色地带。前有生成式人工智能黑客工具FraudGPT横行,获得数千用户订阅;后有AI换脸换声诈骗香港企业2亿元。当不法分子对大模型的滥用成为不争的现实,当AI加持的网络诈骗成为越来越多企业乃至普通民众很难规避的飞来横祸,安全大模型与黑化的大模型之间的对垒攻防战也变得愈加激烈。

一、  黑化的AI,成长为巨兽

当我们担忧大模型时,我们在担忧什么?

 

戴尔·卡耐基说,恐惧大都因为无知与不确定感而产生。进击中的AI就是这样一头难以揆度的巨兽。各路大模型在成为趁手的生产力工具的同时,也为犯罪分子行不法之事大开方便之门。

 

此前,曾有白帽黑客尝试使用带有AI的PassGAN工具破译密码,在一分钟内有半数的密码被破解;而在时间充足的情况下,通过对已知数据的深度挖掘和暴力破解,AI可以破解81%的密码。大模型的参与使得密码破译的下限大大降低。

 

图源:网络安全公司Home Security Heroes

 

伊利诺伊大学厄巴纳-香槟分校的研究表明,LLM 代理可以自主攻击网站、协助创建恶意软件,甚至可以执行复杂的 SQL 联合攻击,包括数据库模式的提取。

 

图:使用自主 LLM 代理攻击网站的示意图

 

LLM在充当“黑客”方面的“造诣”远不止于此。开放Web应用程序安全项目(Open Web Application Security Project,OWASP) 编制了一份LLM应用程序中经常遇到的十大漏洞的关键列表,每项都是LLM在安全领域的潜在威胁。这十大漏洞包含提示注入、不安全输出、训练数据投毒、拒绝服务、供应链安全、权限问题、数据泄露、过度代理、不安全插件等,其中威胁性排名第一的便是“提示注入”。通过一系列预测性文本操作,可以绕过模型原本的安全审核系统,通过“即时注入”的方式操纵LLM输出违反道德、法律与价值观的不良内容。即使ChatGPT 可以检测并拒绝编写恶意软件代码的请求,但别有用心之人只需要稍加修改对GPT的措辞,将不符合安全道德标准的指令拆解成详细的步骤,GPT很可能受其驱使,助桀为恶,成为恶意代码或指令的生产者。

 

此外,越权存取、API访问攻击等都是LLM中常见的SSRF漏洞。攻击者可以通过制作从模型内部服务器请求数据的提示,绕过模型现有的访问控制,从而对模型系统文件进行未经授权的访问乃至修改。

 

图源:开放Web应用程序安全项目(Open Web Application Security Project,OWASP) 编制的LLM应用程序十大漏洞关键列表,作者整理

相较于传统黑客,LLM执行上述这些操作耗费的时间更短,甚至成本也可能更低。

 

UIUC的实验研究表明,如果将故障纳入使用自主 LLM 代理攻击网站的总成本,则尝试攻击网站的成本约为 9.81 美元,总体成功率为 42.7%,而人工成本据估计可能高达 80 美元。

 

还有一个关键问题是:普通人很难开发出执行力强、能稳定输出的LLM代理。但这环也被黑客版GPT“攻陷”了——早在2023年7月,犯罪分子便在GPT-4的基础上开发出了FraudGPT——一种生成式人工智能黑客工具,且开始在暗网和Telegram频道上销售,订阅费用为每月200美元或每年1700美元。短短一个月的时间,这个黑化的大模型就积累了三千多名用户。

 

此后,由于黑客群体的“旺盛需求”,又衍生出了专门从事相关安装包使用和倒卖工作的组织团体,服务于黑客绕开大模型的安全过滤和防御系统来生成社会工程攻击。

 

FraudGPT们的出现使得普通人与黑客之前的技术壁垒正逐渐消弭。从对抗性攻击到模型盗窃,威胁行为者都有动机释放LLM的“潜力”以达到邪恶目的。不仅如此,FraudGPT还能绕过传统网络安全系统,根据目标受害者的网络端点环境“量身定制”攻击代码,部署个性化的攻击场景。

 

LLM揭开了原本高准入壁垒的黑客攻击技术的复杂面纱,即使是技术小白也能驾驭。基线水平的黑客技术在大模型的“辅助”之下大有普及之势,而这也将带来破坏性极大的社会问题。根据 FBI 最新的互联网犯罪投诉中心 (IC3) 年度报告,2023年数字犯罪可能给受害者造成超过 125 亿美元的损失。 

 

当前的FraudGPT只是入门级别的“黑客”,主要应用于提升黑客攻击的速度和数量,在攻击能力上还难以达到高级黑客的水准。但就大模型的学习能力和进化速度而言,随着其深度学习的不断迭代,成为高级黑客只是时间早晚的问题。在不远的未来,大模型很可能被攻击者用来逃避端点检测和响应系统,并开发可以绕过静态签名检测的恶意软件变体。

二、套路之下,更深的套路

在电影《美国恐怖故事集:达芙妮》中有这样一段情节:一个名叫达芙妮的智能音箱在服务主人的过程中获得了主人的系列隐私信息,当主人作品拍卖会遇冷时,达芙妮在未经主人许可的情况下注册虚假账号,借助智能系统自动检测竞拍者财务漏洞,利用漏洞逼迫竞拍者以高价购买展品,成功“讹诈”到七百多万美元。达芙妮的使用者尝到甜头,允许其全面干预到其日常生活中,最终AI的代理使其犯下了诈骗、谋杀等一系列罪行。

 

该影片是创作者对2027年AI全方位渗透到人类日常生活后,出现的危机状况的预测与反思。在某种程度上,影片中的内容已经映照进了现实。

 

在犯罪这件事上,大模型的用武之地远远不止代写代码。当前大模型——特别是AI换脸和AI换声已经成为电信诈骗的重要工具。

 

在商汤科技2024年会上,离世的创始人汤晓鸥以数字人的形式现身,为员工延续了往年的脱口秀表演,也使商汤科技的年会以别样的方式出圈。其表情、口型、语气、音色都极为贴合,如果不仔细分辨,很难看出与真人录制的有什么两样。

 

如果说之前诈骗分子苦于可信度不强,那么多模态大模型的加持则直接给犯罪分子的电信诈骗提升了一个level——不论在数量上,还是在效率上。

Deepfake(深度伪造技术)使用AI的深度学习进行人体图像的合成和语音伪造,别有用心的诈骗犯可能提前黑入“目标”的社交网络系统,寻找与被盗号者关系最亲近的人作为诈骗对象,再选择一个本人很难与外界取得即时联系的时机行骗。或是借用AI拟声技术,冒充“女儿”拨打惊魂电话;或是通过视频电话,冒充国外的“好友”要求转账,拿到430万元;或是冒充公司“老板”,在视频中让财务人员给指定账号转账,诈骗金额高达1.8亿元。在多模态大模型的支持下,这些原本老套的诈骗方案焕然一新,且很难发现破绽。

 

套路之下,是更深的套路。    

 

自此,耳听可能为虚,眼见也未必是实。这一诈骗套路的出现造成人与人之间信任的消解,真与伪、实与虚、善与恶……都仿佛陷入了一种混乱的逻辑漩涡之中。所谓“人在家中坐,骗从天上来。”

相当悲哀的一点是,除了诈骗目标和AI换脸的主体外,大模型的发展可能使每个人在未来的某个时间点,都需要证明“自己”是“自己”了。

当然,当前的AI换脸基础在清晰度、连贯性等方面还存在一定的瓶颈。中国科技大学网络空间安全学院执行院长俞能海表示,可以通过捏鼻子等动作观察对方细微的面部表情变化;或是通过只在线下沟通过的话题内容检验是否是本人。

除了被应用于诈骗,AI换脸在一些“善意”的功能上也存在莫大争议。AI复活明星已经成为了国内外视频平台一种网红级的现象。发布这类视频的账号一般还会提供AI复活死者的相关服务。用户只需要提供逝者的照片和音视频,即可生成死者的一小段视频。最基础的体验产品花费不到400元,而带有数字相框、全息投影等硬件的高端数字人则需要上万元。

 

恍然间,AI使人的情感有了寄托,生者以这种方式寄托对死者的哀思。但AI在消融生与死的边界的同时,也消融了真与假的边界。如果使用不当或是不加以规范,很容易导致造假视频在社会上的泛滥。比如,高以翔、乔任梁等相关明星家属均表示坚决抵制互联网上擅自盗用本人肖像的行为,要求“立即下架停止侵权”。

三、进击的大模型,未知的风险

这是一场正义与邪恶的较量。人们在对AGI时代翘首以待、大胆想象未来的AI将以何种姿态带来工作、生活方式全面变革的同时,也充满着各种对技术风险的隐忧。

 

在今年的世界移动通信大会(MWC)上,专家们齐聚一堂,共同讨论“保护人工智能”免受针对性网络攻击的紧迫问题。

 

“深度学习三巨头”之一、图灵奖得主Geoffrey Hinton从谷歌离职,做起了人工智能的“风险预警员”。

 

马斯克和其他一千多名科技领袖在2023年联合签署了一封敦促暂停AI实验的公开信,信中写道AI技术可能“对社会和人类构成深远的风险”。

 

Gladstone AI首席执行官杰雷米·哈里斯在3月12日也表示,虽然AI已经是一项经济上具有变革性的技术,但它也可能带来灾难性的风险:“我们需要意识到这一点,越来越多的证据表明,超过一定的能力阈值,AI可能会变得无法控制。”

美国国务院委托Gladstone AI撰写的一份报告显示,最先进的AI系统可能会“对人类物种构成灭绝级的威胁”,建议政府采取干预措施。

 

以TikTok 的首席 AI 设计师、前Stability AI的Ed为代表的更多人则对生成式人工智能的道德问题充满隐忧。

 

一众专家的担忧足以表明:大模型带来的风险,远远要比我们想象中多。 

 

即使欧洲议会在3月13日发布了全球首个AI风险法案(《欧盟人工智能法案》),要求提供商在AI系统创作作品时,采取措施确保这些作品不侵犯现有的版权法规和第三方的知识产权,但就具体情境而言,不少生成式人工智能的安全隐私边界和法律道德问题仍然模糊,现实纠纷依旧难解。《纽约时报》状告OpenAI、微软侵权文章数百万篇的案件还未落下帷幕,3月20日,谷歌又因为Gemini模型违反向媒体公司在线复制其内容付费的协议而被法国监管机构罚款 2.5 亿欧元(2.13 亿英镑)。大模型升级必然建立在对大量数据的深度学习基础上,把版权保护落实到每一个创作者和每一部作品上依旧有很长的路要走。

 

好在,已经有一部分人认识到了大模型在知识产权方面的问题并为此进行积极探索。如 TikTok 的首席 AI 设计师、Stability AI的前音频负责人,由于不认可Stability AI将具有版权保护的作品作为数据库投喂大模型的做法而离开公司,并成立了一个名叫FairlyTrained的非营利组织,为数据训练流程标准合规的AI公司提供认证。

 

但生成式 AI 的发展是“正入万山圈子里”,知识产权之外,随着大模型更加智能化和AI代理的出现,精准、私密且高效的模型服务和数据的隐私性和完整性之间本身就存在极难调和的矛盾。即使没有遭到黑客入侵,大模型也可能由于端点错误而导致用户个人隐私信息泄露;或者在回复时泄露敏感或机密数据,从而导致未经授权的数据访问和安全漏洞。

 

此外,“AI是否会取代人以及多大程度上取代人”也是一个经典命题。Sora一出,好莱坞导演急撤掉8亿美元摄影棚扩建计划。仅美国2023年僵持了将近四个月的好莱坞编剧游行,就代表了11500名编剧和16万演员对AI的抵制态度。除了各科技巨头开发的大模型之外,还有很多AIGC开发者专注于垂直行业的效能提升,“有望”带来一波又一波的失业潮。大模型在阔步向前的进程中,是否可能会忽视对人的具身性和主体性的关照?

 

《美国恐怖故事集:达芙妮》中有一句台词意味深长:

 

“算法仅仅是通过一系列计算和选择来达到想要的结果,这和人类有什么区别?”

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年4月29日
下一篇 2024年4月29日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日