号称超越GPT-4的大模型们,有多少靠的是“抄袭”

让模型走向同质化的“数据捷径”

“如果所有人都用一样的数据,你又怎么会比其他人好呢。

大家都知道,在大模型训练过程中,数据至关重要,并且在不同阶段的侧重点也有所差异。

在训练基座模型时,数据追求的是“量”,对算力要求也是极高,它决定了大模型对事物的基本“理解能力”。

如果按这个标准,现有的高质量文字数据和图像数据加起来体量根本不够,还差。

“大家相互薅羊毛,要用,但要小心用,一不小心就尴尬了。”一位国产大模型算法工程师在接受“甲子光年”采访时的吐槽,可以说是非常到位了。

它准确地阐述 AI 业内一个所有人“心照不宣”的公开秘密。

所有人都知道,大家却都尽量不“直视”它,那就是“偷数据”。

最近,“The Information”戳破了这层纱,道出大模型“套壳”中最糟糕的一种形态。而它背后的数据之战,也在今年获得了更多关注。

让模型走向同质化的“数据捷径”

“如果所有人都用一样的数据,你又怎么会比其他人好呢?”投资了 OpenAI 竞争对手 Anthropic 的门罗风投(Menlo Ventures)总经理 Matt Murphy 评论道。

大家都知道,在大模型训练过程中,数据至关重要,并且在不同阶段的侧重点也有所差异。

在训练基座模型时,数据追求的是“量”,对算力要求也是极高,它决定了大模型对事物的基本“理解能力”。

显然,不是所有初创企业都能给得起这个费用和时间。所以很多创业公司会跳过第一步,直接用 Meta 或 Mistral AI 开源的模型。

在这个基础上,创业公司需要针对自己的产品专注方向来对模型进行微调 —— 数据输入量相对少,但更具针对性和高质量,可以帮助模型成为特定领域的“专家”,做出产品差异性。

在这个阶段,开发者需要输入“问题”“回答”,试图为模型建立特定“联想”倾向。

这也是“偷数据”出现的环节。

因为 OpenAI、Anthropic 和 Google 这类大公司有资源去完善地完成两个阶段的训练,所以它们的模型所输出的结果质量也相对较高。

缺乏自有数据的初创公司,会购买 GPT-4 这类最新模型的付费账户,然后根据自己模型训练的需要去向 GPT-4 提问,再把回答和提问问题一并输入到模型训练。

譬如,主打编程细分领域模型的开发者可以直接输入一段代码,然后问 GPT-4 这段代码有什么问题,这样就生成了一个数据材料。

理论上,大公司们并不允许如此操作。

然而,有消息称 OpenAI 的 Sam Altman 在去年的一次会议上对创业者说,他们可以这样去做。这固然让当下的创业者安心了一些,但谁也说不准哪天 Altman 就决定要把这“特权”收回去。

Google 去年也有自己的“数据门”—— 不仅被指用百度的文心一言生成的中文数据来训练 Gemini,还有员工因 Google 用 ChatGPT 生成的数据训练自己的模型怒而辞职。

在行业整体“默许”下,这种情况变得越来越普遍。

帮助开发者研发对话式 AI 的 Unsloth AI 联合创始人 Daniel Han 表示,其客户中大概有一半的人都会用 GPT-4 或者 Anthropic 的 Claude 生成的数据来优化自己的模型。

原本用来分享有趣 ChatGPT 对话的工具 ShareGPT 成为了不少公司直接扒数据的地方,而类似 OpenPipe 这类工具则甚至可提升整个过程的自动化程度。

结果就是,现在市面上有越来越多创业公司提供大同小异的模型。这甚至衍生出如旧金山的 Martian 一般,专门为需要用 AI 服务的企业寻找“平替”方案的创业公司。

但投资人并不喜欢这种被欺骗的感觉。

正如《纽约时报》在最近文章的指出,目前 AI 行业缺乏标准和评测体系,人们很难统一标准地了解不同模型的表现差异或优势所在。

这让投资人更重视 AI 创业公司训练数据的来源。Radical Ventures 合伙人Rob Toews 强调说:

AI 模型训练数据的质量和来源已经成为其中一个最重要的热点关注之一。没人知道未来会怎样,但任何在数据来源上不谨慎或不具备策略性的 AI 创业公司都将落后。

数据大战中,“沉默”成为了共鸣

如果说“缺芯”是 2023 年 AI 行业的共识,那“缺数据”则是 2024 年的新主题。不仅创业公司缺,大公司更缺。

无论体量是大还是小,为了获得数据,这些公司都开始在灰色地带徘徊。

早在 2021 年,OpenAI 就面临了数据短缺问题。

虽然有员工提出行为不当性忧虑,最后 OpenAI 还是写了一个语音转文字工具 Whisper 来将超过 100 万小时的 YouTube 视频转为文字,用作 GPT-4 训练。

在这次行动中,OpenAI 总裁 Greg Brockman 还亲自出马帮忙收集视频。

知情人士透露,当 Google 发现 OpenAI 的所作所为后,它并没有揭发斥责这些侵害创作者版权的行为,因为,Google 也要做同样的事情。

Google 发言人 Matt Bryant 回应称,公司对 OpenAI 的行为并不知情,且严禁未经授权的数据抓取。

除了 YouTube 以外,三位知情人士表示,Google 也在盯着旗下线上协作文档工具 Google Doc 里的数据,但其隐私政策限制了 Google 使用这些数据的方式。

去年 7 月,Google 更新了隐私政策,明说可通过收集网络上的公开信息或来自其他公共来源的信息来训练 AI 模型。

对于在 AI 领域“起了大早却赶了个晚集”的 Meta 来说,虽然有法务曾警告过版权问题,最后也是决定跟随 OpenAI 的“行业先例”去使用有版权保护的书籍、文章等材料。

泄露出来的录音还表明,Meta 高管们一致同意,出事了可用 2015 年作家协会诉 Google 案失败的先例来辩护。

至于看起来应该是 Meta 最大优势的 Facebook 和 Instagram,事实上可用数据并不多,很多 Facebook 用户都删掉了自己早期发布的内容,而社交媒体通常也不是人们爱用来发布长篇内容的地方。

这些巨头们不愿言说的过往,构成了 AI 行业在训练数据上一致的闪烁其辞。

Adobe 算是其中鲜有积极讨论自家模型训练数据的大公司。

最近,它也“塌房”了。

Adobe 一直以来标榜公司是和创作者站在同一边,坚定只使用自家获得授权的图库来训练模型,不会像 Midjourney、Dall-E 那样擅自用有版权保护的图像素材训练。

直到有人发现,Adobe 的训练数据里其实包括 AI 生成图片,而且 Adobe 也是知情的。

虽然 Adobe 强调,模型的训练数据里只有 5% 左右的图像是 AI 生成的,但无论如何那些图像也是通过侵害创作者版权利益而造的文生图模型做出来的,因此并不完全“道德”。

这个月初,Adobe 高级副总裁 Ashley Still 还在一场公开活动上说:

“我们在推出 Firefly 时,有企业用户会来跟我们说:‘我们很爱你们在做的事,真的非常感激你没有盗取我们在网上的知识产权。’”

不知道“塌房”消息出来后,这位企业用户会作何感想。

“榨干”互联网后,下一步在哪?

我们曾以为互联网“浩瀚无垠”,直到现在大语言模型已经“吃不饱”。

两年前,研究机构 Epoch 的 Pablo Villalobos 指出,高质量数据很有可能会在 2024 年中期出现需求超过供给。他们现在乐观了一点,认为这个情况会在 2028 年才出现。

即便如此,OpenAI 现在可能也已经在行动了。

Epoch估算,GPT-4 所用训练数据约为 12 万亿 token,根据尺度定律(Scaling Law),要训练出被寄予厚望的 GPT-5 大概要 60-100 万亿 token。

如果按这个标准,现有的高质量文字数据和图像数据加起来体量根本不够,还差 10-20 万亿 token。

改变迫在眉睫。

Sam Altman 之前也暗示过,OpenAI 在找寻新的出路:

“我想,那个追求庞大模型的时代已经快要到头了。我们将用其他方法来让它们变得更好。”

与此同时,消息人士称 OpenAI 和 Google 都考虑做一套可以丈量特定数据对模型训练贡献程度的系统,这样好给提供这些数据的人计算要支付的费用,但目前还没有什么进展。

而在这些开拓数据和创新技术实现之前,有一件事 AI 创业公司现在就有能力但不一定愿意做的事 —— 提高透明度,打破沉默。

如果这也做不到,我们又怎能相信这些公司能做出对社会负责任的 AI 产品?

本文来自微信公众号:APPSO (ID:appsolution),作者:方嘉文

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年4月20日
下一篇 2024年4月20日

相关推荐

  • 数字人出海背后,隐藏哪些商业机密?

    某上市公司旗下数字人营销视频创作工具负责人Dour介绍,曾有几个客户向其反馈了极为惊人的数据:使用数字人,一个季度可以完成高达1700~2000小时的直播时长,相当于平均每天直播17个小时。

    在亿邦的调研中,一个常被各种数字人服务商所提及的宏伟设想,或许可以更加具象地展现这门方兴未艾的技术究竟有着多大的想象空间:

    数字人的远期定位,并不是抢“真人”的饭碗,而是在算力爆炸、AI永续迭代的背景下,重构整个电商领域的信息呈现方式。

    未来科技 7小时前
  • 迪士尼想用 AI 改造娱乐业,但它准备好了吗?

     
    乐园:迪士尼的技术试验场
     
    迪士尼乐园不仅是“世界上最快乐的地方”,也是迪士尼前沿技术的实验场。
     
    马克·谢弗曾在人民快运航空和大陆航空从事收入管理工作,他来到迪士尼后,领导一个由 250名员工组成的数据分析团队,对迪士尼乐园的各项业务进行动态定价,并推出了。
     
    2022年,迪士尼推出了人工智能工具。
     
    迪士尼的人工智能困境
     
    1928年,迪士尼推出了世界上首部声画同步动画片《汽船威利》。

    未来科技 8小时前
  • 这个世界变得更精彩,但好像也更无聊了

    那是一个下午,办公室的咖啡机坏了,我在楼下买了一杯厚乳拿铁,上楼后发现同事都出去吃午饭了,我一个人坐在窗边的工位上,升起的阳光正好覆盖在了我的电脑屏幕上,浏览器的文字都变得模糊起来,我眯起眼睛,试图看清屏幕上的字,依稀能看到我的代码编辑器,正在用。

    我是热爱并且积极拥抱这些最新最酷的技术的人之一,但我猛然想到,那些不那么乐意拥抱新技术的人,就一定要被淘汰,这也是让人挺不舒服的一件事。

    未来科技 8小时前
  • 工业AI大模型落地应用的最新实践,都在这里

    上述问题,也正是我们即将在“大鲸AI闭门会·制造专场”上深入探讨的焦点!
     
    6月20日,虎嗅智库将在苏州举办“2024大鲸AI闭门会·工业制造专场”,汇聚信通院、美的、隆基绿能、施耐德电气等权威机构、头部甲方企业、工业智能企业的创新者,独家完整呈现甲方头部完整AI应用落地案例,并将围绕、“智能生产与排程”、“质量分析与数字模拟”、“人机协作与智能制造”等话题,共同探寻AI大模型在工业智造领域的落地应用。

    未来科技 9小时前
  • 果然,美国限制AI出口立法的进程又进一步

    Review(ID:Internet-law-review),作者:互联网法律评论,题图来自:视觉中国

    当地时间2024年5月22日,美国众议院外交事务委员会以压倒性多数,通过了一项限制AI模型出口的法案。

    只是从功用上对“涵盖的人工智能系统”进行了一定的概括,不过,这样的“新定义”基本上涵盖了“任何人工智能系统、软件或硬件”,只要这些物项满足以下条件:

    侵蚀美国国家安全或外交政策的方式。

    未来科技 9小时前
  • 微软Build:GPT-4o重塑Windows,奥特曼剧透新模型

    本文来自微信公众号:APPSO (ID:appsolution),作者:超凡、王萌、崇宇,题图来自:微软Build 今天凌晨,微软带来了一系列重磅产品,一口气发布了50多项更新。 …

    未来科技 10小时前
  • 产业政策的迷失:日本AI败局启示

    本来,日本在神经网络和深度学习方面有很强的底蕴,但在全面为第五代计算机服务的背景下,全社会的资源都在向专家系统这一路径倾斜,甚至连福岛邦彦这样的大佬都很难申请到需要的经费。而当第五代计算机的梦想在二十世纪九十年代最终破裂后,日本干脆削减了对整个AI学科的资金扶持,这就导致了最优秀的人才根本不愿意进入这个领域。

    一旦有日本的AI企业率先从类似的领域发起突围,并真正实现了盈利,那么日本全社会对AI兴趣的低迷就会被扭转,人才也会陆续重新回到这个领域。

    未来科技 10小时前
  • AI已经擅长欺骗人类,其阴暗面令人震惊

    从娱乐至生活,AI欺骗在扩散

    诚然,游戏无疑是一个相对可控的环境,我们可能倾向于认为,这种AI欺骗行为的危害并不严重。

    而且,这种欺骗能力并非仅存在于模型规模较小、应用范围较窄的AI系统中,即便是大型的通用AI系统,比如GPT-4,在面对复杂的利弊权衡时,同样选择了欺骗作为一种解决方案。

    AI欺骗的系统性风险

    毋庸置疑,一旦放任不管,AI欺骗给整个社会带来的危害是系统性和深远的。

    未来科技 10小时前
  • 第一个iPhone刺客,可能要倒下了

    //www.cnet.com/tech/mobile/humane-maker-of-wearable-ai-pin-is-exploring-a-sale-report-says/
    https。//techcrunch.com/2024/05/22/humane-the-creator-of-the-700-ai-pin-is-reportedly-seeking-a-buyer/。

    未来科技 10小时前
  • 第一波收割完的AI创企要跑路了?6年来仅做了一款产品

    创办Humane之前,Chaudhri曾在苹果公司担任设计师长达20年,据报道于2017年被苹果公司解雇,Bongiorno在苹果公司工作了8年,担任iOS和macOS的软件工程总监,并于2016年离职。

    Humane与微软的合作主要是体现在其利用微软的云基础设施搭建技术平台,同时,Humane也将OpenAI的技术集成到其设备中。

    未来科技 10小时前