李开复被大模型绊了一跤

针对外界质疑,11月15日,零一万物在回应盒饭财经中承认,在训练模型过程中,沿用了GPT/LLaMA的基本架构,但“就零一万物的观察和分析,大模型社区在技术架构方面现在是一个处于接近往通用化逐步收拢的阶段,基本上国际主流大模型都是基于Transformer的架构。

具体到大模型方面,丁磊甚至认为,相比算法、算力和数据,“真正有领导力的AI管理者,像山姆·阿尔特曼这样有能力推动新技术落地应用的技术管理人才,才是国内更缺的一块短板。”

除了需要向外界展现如阿尔特曼一般的高超技术管理能力之外,李开复的大模型梦还遭遇着诸多挑战。

立志研发通用大模型底座的李开复,正在陷入一场套壳Meta开源大模型LLaMA的质疑之中。

近期,今年3月份从阿里离职投身AI大模型创业的贾扬清爆料称,在帮助海外客户适配国内某一新模型中,被朋友告知该模型用的其实是LLaMA架构,仅在代码中更改了几个变量名。

尽管贾扬清并未点出开发上述新模型的具体公司名称,但种种迹象都指向了李开复的零一万物。11月6日,零一万物刚刚发布了“Yi”系列开源大模型——Yi-34B和Yi-6B。

针对外界质疑,11月15日,零一万物在回应盒饭财经中承认,在训练模型过程中,沿用了GPT/LLaMA的基本架构,但“就零一万物的观察和分析,大模型社区在技术架构方面现在是一个处于接近往通用化逐步收拢的阶段,基本上国际主流大模型都是基于Transformer的架构……国内已发布的开源模型也绝大多数采用渐成行业标准的GPT/LLaMA的架构。”

如果把模型训练过程比做一道菜,“架构只是决定了做菜的原材料和大致步骤……要训练出好的模型,还需要更好的‘原材料’(数据)和对每一个步骤细节的把控(训练方法和具体参数)。”零一万物进一步解释道。

在贾扬清站出来爆料之前,有关零一万物模仿LLaMA架构的指控已经开始在开源社区内发酵。

9天前,convai高级人工智能应用专家埃里克·哈特福德在Huggingface上发帖称,“Yi-34B 模型基本采用了LLaMA的架构,只是重命名了两个张量。”

8天后的11月14日,Yi团队开源总监Richard Lin在该帖下回复称,哈特福德对张量名称的看法是正确的,零一万物将把它们从Yi重命名为Llama。

在今天盒饭财经收到的最新回复中,零一万物提到:“对于沿用LLaMA部分推理代码经实验更名后的疏忽,原始出发点是为了充分测试模型,并非刻意隐瞒来源。零一万物对此提出说明,并表达诚挚的歉意,我们正在各开源平台重新提交模型及代码并补充LLaMA协议副本的流程中,承诺尽速完成各开源社区的版本更新。”

李开复个人在今天下午也发朋友圈对此事做了回应。

素有国内“AI教父”之称的李开复,在大模型浪潮中收获外界寄予的更大期望之余,也不可避免迎来外界更严苛的审视。

尽管零一万物已经公开承认其借鉴了LLaMA架构,但并不能就此直接给李开复的大模型扣上“套壳”或者“抄袭”的帽子。

同样开发大模型的国内创业者李振告诉盒饭财经,界定某一大模型是否存在套壳行为,取决于具体的实现细节和底层技术。“如果零一万物大模型使用了与Meta LLaMA相同的模型架构、训练方法和数据集,那么它可能在某种程度上是套壳的。但是,如果它使用了不同的技术或进行了额外的改进,那么就不能简单地说是套壳。”

根据零一万物的声明,其投注了大部分精力调整训练方法、数据配比、数据工程、细节参数、baby sitting(训练过程监测)技巧等。

即便模型架构相似,但在不同的数据来源和数据训练方法加持下,最终训练出来的大模型性能依然会表现各异。“前大模型时代,AI的主流是以模型为中心的单任务系统,数据基本保持不变。进入大模型时代,算法基本保持恒定,而数据在不断增强增大。”在产业专家刘飞看来,相比算法和算力,数据可能是眼下阻碍国产大模型追赶OpenAI步伐的更大鸿沟,“魔鬼都藏在这些数据训练的细节里。”

尤其值得一提的是,参数量的大小与最终模型呈现的效果之间,两者“投入产出并不成正比,而是非线性的”。人工智能专家丁磊表示,“数据多只是一个定性,更重要的是考验团队数据清洗的能力,否则随着数据增多,数据干扰也将随之变大。”

这也为新晋大模型团队以更小参数量,在性能上反超更大参数量的模型提供了某种理论可能性。

11月6日Yi-34B预训练模型发布后,李开复将其形容为“全球最强开源模型”,以更小模型尺寸评测超越了LLaMA2-70B、Falcon-180B等大尺寸开源模型。

Yi-34B

但随着越来越多国产大模型在各类测试榜单中登顶,逐一超越业内公认最强的GPT-4,有关这些大模型是靠实力拿下的高分,还是借助了刷榜手段,再次引发外界争议。

知名大模型测试集C-Eval就在官网置顶声明,称评估永远不可能是全面的,任何排行榜都可能以不健康的方式被黑客入侵,并给出了几种常见的刷榜手法,如对强大的模型(例如GPT-4)的预测结果蒸馏、找人工标注然后蒸馏、在网上找到原题加入训练集中微调模型等等。

造成国产大模型屡登测试榜单第一的一大客观原因,在刘飞看来,是因为到目前为止,并没有真正公认的客观评判标准和方法。刘飞说,上一代AI的“单任务模型”有公认的数据集作为黄金标准,但在新兴的大模型时代,“由于大模型多任务、开放式的新特性,变得难以预先定义,数据质量的测试既繁重,也难以全面。”

不过,哪怕不少国产大模型是借鉴LLaMA架构训练而来,其对国内公司而言仍有不可替代的价值。

李振表示,外部公司在接入一个大模型平台时,除了考虑模型的性能和效果外,模型的开放性和可定制性也是需要考虑的重要因素,具体到某些区域,还要特别重视数据隐私和安全合规问题。

尽管目前国内公司可以直接接入Meta LLaMA模型,但是由于Meta LLaMA是一个国际性的大模型平台,它需要遵守更多的国际法规和限制。此外,如果涉及到敏感领域或数据,还需要获得特定的授权或许可,甚至不排除海外开源技术随时关停、切换高额收费或限制地区访问的风险。因此在李振看来,相比冒险接入Meta LLaMA,国内公司直接调用国产大模型是更为经济划算的选择。

通过借鉴LLaMA 基本架构,李开复的零一万物在训练模型速度上快速起步。

今年3月,李开复正式宣布将亲自带队,成立一家AI2.0公司,研发通用大模型。经过三个月筹办期,7月份,该公司正式定名“零一万物”,并组建起数十人的大模型研发团队。团队成型四个月后,零一万物便在11月份推出了“Yi”系列大模型产品,并借助Yi-34B霸榜多个大模型测试集。

据投资界报道,在亮相大模型产品之际,零一万物已完成由阿里云领投的新一轮融资,投后估值超10亿美元,跻身中国大模型创业公司独角兽行列。

零一万物快速崛起的背后,离不开李开复的个人IP加持,就连官网都公开感谢“李开复博士过往40年在人工智能领域的科研和产业经验”。

出任过谷歌全球副总裁兼大中华区总裁,并在微软全球副总裁期间开创了微软亚洲研究院的李开复,通过在2009年创立创新工场,完成了从明星职业经理人到VC投资人的身份转变。

过去十多年间,创新工场投资超过300多个项目,其中不乏旷视科技、美图、知乎、第四范式、地平线等行业知名公司。

在2019年被晚点问及创新工场回报最好的基金是哪一期时,李开复回答:“投AI项目最多的回报最好……比如旷视回报400倍、VIPKID回报1200倍。”

靠着数十年如一日对AI的宣扬布道,李开复一度被称为中国的“AI教父”。尽管其在AI方面的投资可圈可点,但李开复扮演的角色显然不同于山姆·阿尔特曼这样用划时代的产品来引领 AI 行业的企业家。

在2018年9月推出的新书《AI·未来》中,李开复曾谈及中美两国竞争差距,大胆预言:“人工智能实干时代竞争力的天平将倾向商业化执行、产品质量、创新速度和大数据,而这些要素恰是中国优于美国之处。”在书中,李开复甚至写到:“15年前从‘学习’起步的中国互联网初创公司从美国商业模式中获得灵感,激地相互竞争……当这一代中国企业家学会利用人工智能时,将彻底颠覆游戏规则。”

在ChatGPT引发的新一轮AI颠覆性变革现实面前,越来越多人开始重新打量中美在AI方面的差距。

具体到大模型方面,丁磊甚至认为,相比算法、算力和数据,“真正有领导力的AI管理者,像山姆·阿尔特曼这样有能力推动新技术落地应用的技术管理人才,才是国内更缺的一块短板。”

除了需要向外界展现如阿尔特曼一般的高超技术管理能力之外,李开复的大模型梦还遭遇着诸多挑战。

如何尽快追赶上OpenAI的步伐,是横亘在李开复等一众大模型创业跟随者面前的最大拷问。

在国产大模型突飞猛进的大半年间,OpenAI同样进步神速,相继推出了GPT-4、GPT-4V、GPT-4 Turbo。

阿尔特曼还在带领OpenAI继续狂飙。今年10月份,阿尔特曼首次对外明确,OpenAI已经启动GPT-5、GPT-6的训练,并将继续沿着多模态方向持续迭代。

在国产大模型还在努力追上ChatGPT步伐之时,其相比OpenAI更先进模型的差距,反而有了逐渐扩大的趋势。

值得一提的是,2020年发布GPT-3时,OpenAI曾详细公开了模型训练的所有技术细节。中国人民大学高瓴人工智能学院执行院长文继荣表示,国内很多大模型其实都有GPT-3的影子。

但随着OpenAI在GPT-4上一改开源策略,逐渐走向封闭,一些国产大模型就此失去了可供复制的追赶路径。

放眼国内,即便宣称做到了一众测试榜单第一,但留给零一万物的挑战仍难言乐观。

在发布Yi-34B预训练模型后,李开复宣称内部已经启动下一个千亿参数模型的训练。与之相比,国内不少大模型公司已经完成了千亿模型的上市发布。

除了需要提速追赶先行者外,如何在商业落地上胜出,将是李开复需要解决的更大挑战。

经历过AI 1.0 时代的李开复,在投身大模型创业后,便对外提到自己“做的应用一定是朝着能够快速有收入,而且能够产生非常好的利润、收入是高质量的、可持续的,而不是一次性在某一个公司上打下一个单子。”

实现上述商业化的突破口被李开复放在了C端应用上,李开复同样相信AIGC时代将诞生比移动互联网大十倍的平台机会,将出现把既有的软件、使用界面和应用重写一次,改写用户交互和入口的新机遇。“如同Windows带动了PC普及,Android催生了移动互联网的生态,AIGC也将诞生新一批AI-first的应用,并催生由AI主导的商业模式。”

想要实现上述宏伟愿景,除了需要将旗下通用大模型打造得足够先进之外,还需要在一众国产大模型竞争中脱颖而出。

恒业资本创始合伙人江一认为,这波AI大模型浪潮中,国内最终能够存活下来的通用大模型玩家,“可能有个3家就已经不错了。因为训练大模型需要大量投入,要烧很多钱,而且还不一定能追得上GPT-4。”

无论Windows还是Android,每个时代也只拼杀出了一个,李开复该如何让零一万物成为AIGC时代的“唯一”呢?

本文来自微信公众号:盒饭财经(ID:daxiongfan),作者:赵晋杰

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2023年11月15日
下一篇 2023年11月15日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日