大模型前传:一场拍卖会与巨头间的人才战

2013年,谷歌团队乘坐专机去到伦敦与DeepMind接洽,在第二年以6.5亿美元买下DeepMind。

DeepMind亏损压力来到谷歌,电厂根据《CNBC》和《Bloomberg》媒体报道测算,2016年到2019年,DeepMind平均每年亏损4.6亿美元。

Facebook的开源力量

跟Hassabis一样,Zuckerberg在哈佛大学校园里创办Facebook时,第一笔天使投资也来自Peter。

2012年12月,AI领域的一场顶级会议NIPS在美国内华达州太浩湖举办,会议酒店里的一场秘密拍卖拍出了4400万美元的高价。拍卖的是一家在会议前紧急成立的公司,公司成员只有3人,没有发布任何产品。参与拍卖的有谷歌、微软、DeepMind以及百度。

这是一场既豪横又简陋的拍卖,竞拍方通过Gmail邮件远程出价,每一个小时出价一次,每次加价不少于100万美元。60多岁的主办方成员因患有颈椎疾病无法久坐,他在酒店的桌子上倒扣一个垃圾桶,把电脑放在垃圾桶上遥控科技巨头出价。

竞拍价一路攀升,2000万美元以后,场内只剩百度和谷歌,两家公司都势在必得。出价4400万美元后,主办方意外暂停了拍卖,时间被拖到第二天。第二天拍卖开始前,主办方告诉百度,他们更希望加入谷歌。

这个故事被科技记者Cade Metz放在《深度学习革命》一书开头,用来说明科技巨头在人工智能领域对人才的激烈争夺。被拍卖的这家公司是DNNResearch,三名员工是被称为“深度学习之父”的Geoffrey Hinton、AlexNet卷积神经网络创始人Alex Krizhevsky和现任OpenAI首席科学家IIya Sutskever。

这场拍卖之前,“人工智能”还只是科幻小说和电影里的事物,“深度学习”的概念就连前沿的科技巨头内部都少有人知。这场拍卖之后,一切开始发生变化。拍卖3年后,AlphaGo横空出世。5年后,还是同一场NIPS会议中,谷歌8位研究员带着Transformer模型架构技惊四座。10年后,美国几乎所有的顶尖AI实验室里都有来自谷歌的身影。

Google Brain的第一个成功和失败

数学公式组织着从微观粒子世界到宏观宇宙的广阔图景,同时也是人们构建现代计算机和人工智能算法的工具——现代计算机底层逻辑运算的原理是形成于19世纪中期由George Boole发明的布尔计算。20世纪40年代,人们开始尝试把生物神经元的功能抽象化为数学模型,50年代末诞生了第一个Neural Network神经网络算法(NN算法)

Geoffrey Hinton是George Boole的玄孙,在70年代进入NN算法领域,并成为推动NN算法发展的主要人物之一。到21世纪初,GPU的使用和分布式计算大大提升了算法运行的效率,NN算法成为热门领域。Hinton在2006年提出深度信念网络的概念,让训练深度神经网络成为了可能,“深度学习”成为神经网络算法的代名词。

谷歌在当时有一个神秘实验室Google X,专门研究智能驾驶、增强现实等前沿尖端项目,这些项目往往都与人工神经网络有关。2011年,斯坦福大学人工智能教授吴恩达(Andrew Ng)加入Google X,希望把自己的神经网络研究推广开来。

然而即便在谷歌,当时也少有人认识到神经网络可以带来的改变,多次碰壁的吴恩达遇到了Jeff Dean,双方一拍即合,很快把一些研究转化出成果,这次的合作项目最终成为独立的部门Google Brain。

2012年夏天,《纽约时报》详细报道了吴恩达和Jeff Dean合作的“小猫论文”,他们用16000台计算机组成了一个有10亿连接的大型神经网络系统。系统从来自YouTube的1000万张图片中学会了“猫”的概念,并找出了其中含有猫的图片。这让谷歌的科学家大为震惊并深受鼓舞。

不过,吴恩达两人的方法并不是当时最高效的。在当年秋天的ImageNet图像识别大赛中,Hinton领导的三人组使用AlexNet深度卷积神经网络夺得第一,他们的成绩比第二名高出41%。这是ImageNet赛事的高光时刻,也是科技行业的“决定性瞬间”之一。《深度学习革命》一书的作者Cade Metz认为,AlexNet是深度学习的转折点,也是全球科技行业的转折点,推动了后来的人工智能热潮。

这次比赛也直接催生了文章开头提到的拍卖会,Hinton团队因此加入到Google Brain。

在这之后,学术投资成为谷歌具有战略高度的投资方向。虽然深度学习在当时是一个极小的领域,但谷歌创始人Larry Page认为它将会重塑行业,要求寻找其中的人才。在收下Hinton的同时,谷歌开始着手下一个目标。

骄傲的DeepMind和谷歌的豪赌

DeepMind主理人同样有三位,主要创办人Demis Hassabis从小智力超常,8岁开始编写电脑游戏,13岁就获得国际象棋大师的头衔。20岁时,Hassabis在剑桥大学计算机科学专业获得双第一,毕业后成功经营了一家60人的游戏公司。后来,Hassabis转向攻读认知神经科学,最终投入人工智能浪潮。

2010年决定创办DeepMind时,资金问题是重要的考量之一。Hassabis通过一场棋局获得了第一笔投资,来自Peter Thiel。Thiel是Paypal的创始人,通过他,DeepMind又获得了来自马斯克的投资。创办两年内,DeepMind先后完成了两轮融资。

Hassabis首先提出了AGI的概念,DeepMind以AGI为目标保持独立运作。创办早期,DeepMind训练了一个玩游戏的神经网络系统,系统通过观看学会了玩《太空侵略者》《乒乓球》《越狱》等游戏,在很多游戏中的表现超过人类玩家。马斯克在飞机上观看DeepMind的演示视频时,刚好被谷歌的Larry Page注意到,《Wired》报道称,马斯克向Larry Page介绍了DeepMind。

对于DeepMind这样的机构,注定无法独立完成烧钱的AGI豪赌,它需要持续不断的输血,成立后很快陷入到窘境。幸运的是,Hinton团队的拍卖会一举抬高了AI领域人才的身价,同时谷歌正在不计成本的投入其中。

2013年,谷歌团队乘坐专机去到伦敦与DeepMind接洽,在第二年以6.5亿美元买下DeepMind。谷歌同意了DeepMind提出的要求:双方合作技术不能用于军事目的,并成立独立道德委员会监督。

DeepMind亏损压力来到谷歌,电厂根据《CNBC》和《Bloomberg》媒体报道测算,2016年到2019年,DeepMind平均每年亏损4.6亿美元。报道显示,2019年,DeepMind所有公司间贷款和应计利息共计15亿美元,被谷歌一笔免除。

Facebook的开源力量

跟Hassabis一样,Zuckerberg在哈佛大学校园里创办Facebook时,第一笔天使投资也来自Peter Thiel。在DeepMind寻找买家时,Thiel促成了两人的首次接洽。Facebook比谷歌更想要DeepMind,愿意支付更高的收购金额。然而这是一场失败的收购,据《深度学习革命》一书记录,Hassabis认为,他跟Zuckerberg之间没有“化学反应”,更重要的是在AI安全方面没有共同的认知。

2013年是Facebook认识到深度学习重要性的第一年,Zuckerberg决定招揽前沿的研究人才。但跟DeepMind一样,这些来自学界的研究者认为Facebook缺少吸引力。与财务收入相比,学者们看重自己的研究能不能在Facebook持续,却发现后者根本没有设置实验室。

Zuckerberg找到了杨立昆(Yann LeCun)。杨立昆发明了卷积神经网络,在深度学习领域跟Hinton有同样的地位,手下学生众多,如果由他运营实验室,Facebook将能够逆转局面。

杨立昆信奉技术开放,会公布自己最新的研究成果,他认为这一领域的进步由一代代研究人员接力推动。在《Popular Science》的一次专访中,杨立昆谈到同意这次合作的原因——他对实验室的想象与Facebook的开放理念一致。Facebook社交帝国的基础是开源软件,Zuckerberg对开放的理解打消了杨立昆的担忧。

杨立昆帮助Facebook经营FAIR实验室,同时仍然担任在纽约大学的职务。有了实验室的Facebook也有了从谷歌、微软挖掘人才的优势。

开放开源让Facebook保持着在AI领域的领先地位。2022年,来自独立实验室OpenAI的ChatGPT一飞冲天,Zuckerberg选择开源Llama大模型应对,从而迅速占据生态优势。促进这次开源决定的正是杨立昆。

不被看好的OpenAI

深度学习领域有三位学术巨头,除了Hinton和杨立昆,另一位是Yoshua Bengio。谷歌和Facebook掀起AI人才争夺战后,Bengio收到了无数来自科技公司的邀约,但他都一一回绝,这些公司中就包括OpenAI。

当时的OpenAI还没有成立,Greg Brockman和Sam Altman正在召集人才。他们认识到科技公司内部的实验室正在迅速扩张,必须采取行动,这得到了马斯克的支持。根据《Wired》报道,Bengio给了他们一份名单,列出了他所认为的这个领域最有前途的年轻研究人员,其中就包括Ilya Sutskever。

谷歌开出高薪挽留Sutskever,第一年接近200万美元,是OpenAI的两到三倍,这让Sutskever产生了动摇。《深度学习革命》书中详细记录了这个故事,OpenAI原本计划在当年的NIPS会议上宣布成立,但Sutskever的犹豫打乱了计划,最后一天的会议结束之后,他才确定“上车”。

OpenAI作为非盈利组织在2015年12月成立,它把自己定位为科技巨头技术扩张的对抗力量,宗旨是确保AI技术造福人类。然而,秉持类似理想的DeepMind却认为,OpenAI只会加速行业里的技术对抗,从而带来更多风险,OpenAI初创团队的技术人员当中,有5个曾在DeepMind工作。不看好OpenAI的也包括杨立昆,杨立昆告诉Sutskever,他的选择是在犯错,并给出了10多条理由。

谷歌的一团火和满天星

人工智能技术的理论突破几乎全部来自校园里的学术团队,谷歌、Facebook的实验室承担了高校与商业公司之间的纽带,培养了大批学术力量,推动了科研成果的诞生。随着时间推移,很多科研人员意识到事情发生了变化。

Ilya Sutskever在后来的采访中谈到自己离开谷歌的原因,他表示,人工智能的神经网络变得越来越庞大,未来将会是更大的、更有组织的工程项目。研究人员需要用更宏观的视角研究它们,实验室能够提供舒适的环境和优越的回报,但无法给他们调动更多的资源。

OpenAI的成立开启了一种趋势。很快,过去几年加入科技巨头实验室的研发人员开始陆续出走。其中最具代表性的,应当是谷歌发明了Transformer模型架构的8位作者。

2017年,谷歌8位研究员完成的《Attention is All You Need》论文横空出世,推动AI行业进入到大模型时代,Transformer成为几乎所有AI大模型的核心。但从2017年至今,8位作者已经全部从谷歌出走,进入到各个领域的“OpenAI”当中。

2012年以来,谷歌的实验室成了AI技术和人才策源地。过程中,AI研究经历了从论文到落地的阶段,开始走向应用。看着多年学术投资成果散落各地,谷歌终于幡然醒悟。随着Geoffrey Hinton在2023年退休,谷歌一方面宣布不再公布最新的科研成果,另一方面把DeepMind和Google Brain合并成Google DeepMind,由Hassabis担任CEO。

过去几年一直处在弱势地位的微软,却因为OpenAI的崛起重新拿到先发优势。谷歌的战略调整也决定了,始终担心AI安全问题的Hassabis将不得不加快他的“曼哈顿计划”。而先后失去了DeepMind和OpenAI的马斯克,不得不在X上继续呼吁人们警惕AI技术扩张带来的威胁。

本文来自微信公众号:电厂 (ID:wonder-capsule),作者:肖余林,编辑:高宇雷

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2023年12月13日
下一篇 2023年12月13日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日