梭哈大模型的公司,给自己找了条退路

 
虽然面壁智能仍将MiniCPM-2B定义为“大模型”,但在动辄千亿、万亿参数规模的大语言模型(LLM)背景下,很多人认为只有几十亿参数的模型应该叫做“小模型”。
 
Phi是微软在2023年6月公布的一款拥有13亿参数的语言模型,9月公布的Phi-2参数规模扩大到了27亿,在一些常识推理、语言理解、数学和编码任务上,Phi-2甚至超越了70亿和130亿参数的Llama。

2月1日,面壁智能发布了最新的旗舰端侧AI大模型MiniCPM-2B,参数规模为20亿,使用了1TB精选数据进行训练。

 

面壁智能CEO李大海在发布会上称,MiniCPM-2B在多项主流评测榜单、中英文平均成绩均超越了开源的Mistral-7B,英文榜单的平均分甚至超越了Falcon-40B、MPT-30B等百亿参数模型。

 

虽然面壁智能仍将MiniCPM-2B定义为“大模型”,但在动辄千亿、万亿参数规模的大语言模型(LLM)背景下,很多人认为只有几十亿参数的模型应该叫做“小模型”。

 

在2024年1月的达沃斯世界经济论坛期间,微软首席执行官Satya Nadella接受Bloomberg采访时曾夸赞微软的Phi是“最好的SLM(小语言模型)”。Nadella表示,在AI方面微软牢牢“掌握着自己的命运”,不会只依赖OpenAI的大语言模型。

 

Phi是微软在2023年6月公布的一款拥有13亿参数的语言模型,9月公布的Phi-2参数规模扩大到了27亿,在一些常识推理、语言理解、数学和编码任务上,Phi-2甚至超越了70亿和130亿参数的Llama 2。

 

据外媒The Information报道,微软已经组建了一个新团队开发对话式AI。与OpenAI的模型相比,该团队的研究方向更偏向于小规模,低算力需求的模型。知情人士透露,微软已将几位顶尖AI开发人员从其它研究小组调至这个新团队。

 

在AI大模型之外另辟蹊径,或许是微软在AI时代掌握自己命运的最佳选择。而对于那些没有条件“依赖”OpenAI,也很难追赶OpenAI的公司来说,微软的做法似乎成为了一种启示——在业界普遍关注超大规模参数量的时候,反其道而行之的“小模型”,似乎正在成为All in AI大模型的一条“退路”。

 

“小模型”的优势是什么?

 

事实上,AI业界对小模型的定义并不统一。面壁智能首席研究员韩旭表示,“不是20亿参数的模型小,而是1万亿参数的模型太大了,应该称GPT-4这类的模型为超大模型。”中工互联创始人智振则认为,10-30亿参数的模型,比较适合称为轻量化大模型,或是嵌入式大模型。

 

在2023年中发布的大语言模型(LLM)并不都具备超大规模参数。除了几个业内顶尖的大模型之外,主流的开源模型多数为70亿、130亿参数量。Meta发布的LLaMA 2系列模型,最大参数量也只有700亿。

 

对于一些AI公司来说,训练和推理成本是限制模型参数规模的主要原因之一,业内普遍认为,GPT-4训练一次的成本约为6300万美元。

 

LLaMA 2的论文中提到了训练模型过程中使用NVIDIA A100 80GB版本的用量,训练70亿参数模型约需要18万GPU hours,训练700亿参数模型所需的算力资源则相应地翻了10倍,达到172万GPU hours。

LLaMA 2 论文

 

按照阿里云目前的报价,8张40G的A100 GPU服务器,每小时租赁成本是252.66元人民币。即便把40G的A100当成80G的来用,在阿里云上要完成一次LLaMA 2的700亿参数模型训练,也需要5433万元。如果把参数量压缩到20亿,训练一次的成本可能只要不到200万元。

 

GPT-4这样的超大模型在推理成本方面,也比参数量较小的模型高出很多。

 

1月25日,OpenAI宣布了2024年第一次API价格调整,GPT-3.5-Turbo的最新的输入价格将降低50%,至0.0005美元/1000 tokens,输出价格则降低25%,至0.0015美元/1000 tokens。

 

目前OpenAI最贵的API是GPT-4-32k,输入价格为:0.06美元/ 1000 tokens,输出价格为:0.12美元/ 1000 tokens。相比于参数量较小的GPT-3.5-Turbo,GPT-4-32k的定价分别贵了120倍和80倍。

 

GPT-4和GPT-3.5-Turbo之间的参数量还不是很大。如果把模型压缩到十亿级别,那么运行模型的推理成本则可以降低到约等于购买运行模型的端侧设备成本。

 

目前,很多模型已经可以绕开云服务,直接在本地的PC端进行训练和推理。在高端的PC设备方面,已经有开发者尝试用苹果的统一内存架构芯片研究LLM,在配备了M2芯片和192GB内存的Mac Studio上,甚至可以跑700亿参数的LLaMA 2模型。

 

面壁智能最新发布的MiniCPM-2B把“小模型”的运行环境又调低了一个层级,在MiniCPM-2B的发布会上,李大海现场演示了该模型在OPPO Find N3上完成的离线推理。文本处理速度也很快,几乎达到了7 tokens/s。

 

“以配备骁龙855芯片的OPPO手机为例,一台手机的成本约为600元人民币,使用5年。按每秒吞吐7.5 tokens算,输出170万tokens的推理成本仅为1元。”李大海介绍说,目前GPT-4的推理成本约为1人民币4700 tokens。当前手机端还没有针对AI推理进行大规模优化,随着端侧模型的普及,未来手机的推理成本还会进一步下降。

 

除了本身算力需求低、不挑卡以外,参数规模较小的模型还更“喜欢”中低端GPU。

 

2023年11月,麻省理工学院(MIT)的一篇论文中介绍了其在Supercloud高性能计算系统上使用不同规模的LLaMA模型(7B,13B和65B)进行的推理实验,实验显示模型的参数量越小,同等硬件环境下的功耗越低。

 

有趣的是,虽然三种尺寸的LLaMA模型在使用显存、功耗较低的V100 GPU时,每秒能量消耗均比A100有显著下降,但其中参数量最小的7B模型能耗下降更为明显。

 

来源:From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference

 

 

相对于超大参数规模的LLM,“小”模型最大的优势就是更“省”,不仅省电、省钱,还省时间。而这个“省”的特性,也注定了小尺寸模型更容易落地,更容易赚钱。

 

大型公共模型本身几乎没有为企业提供任何价值。”戴尔人工智能战略高级副总裁Matt Baker在谈到与Meta合作的LLaMA 2落地业务时曾表示,客户不应该为那些对他们业务知之甚少的超大AI模型付费。

 

Matt指出了一个关键问题——虽然参数规模较小的LLM在模型能力等方面与超大模型存在一定差距。但今天的很多垂直场景,对于AI大模型的通用性、泛化性要求并没有那么高,有些行业用户甚至希望AI不要太“发散”。

 

“小模型”需求无处不在

 

虽然面壁智能在发布MiniCPM的时候,并没有明确提出应用场景,而只是给出了一个半玩笑式的应用场合——野外生存锦囊。但当AI大模型能够在手机、电脑端流畅运行,则给应用落地提供了巨大的想象空间。

 

事实上,超大AI模型在用户需求层面存在着一定程度的背离,在工业、金融、汽车三个急需AI落地的领域里,尤为明显。

 

“工业领域的知识有其普遍性,因此工业AI并不一定非得要巨大的参数量。”智振认为,在不同工厂和行业中,很多数据和标准高度相似,例如配电和工厂的建筑标准。对于数据和标准差别较大的行业,则可以有针对性地开发专门的模型。AI大模型在工业场景中的作用,更多是理解非结构化的问题,然后帮助人类找到标准答案。目前中工互联已经开源了一款16亿参数的轻量化大模型——智工(Zhigong-1.6B)。

 

工业场景虽多,但工业企业普遍不富,因此落地速度也相对较慢。目前,AI业界普遍认为大模型落地最快的领域是金融。

 

“银行的数据基础好,出手也相对慷慨”,智谱AI首席执行官张鹏告诉虎嗅,很多国内AI公司的早期客户都来自金融行业,智谱AI也为金融行业客户专门定制了行业技术模型FinGLM。

 

在很多金融场景中,基金经理或是股票交易员,每天需要处理海量新闻信息,作为AI Copilots的用户,他们不仅需要技术的泛化能力,更需要能够与特定应用场景紧密结合的解决方案,AI技术的应用可以显著提高他们的工作效率。

 

据The Information报道,微软的“小模型”已经开始在一些金融和银行客户中进行测试,其中高盛就一直在测试微软的Phi模型。

 

金融行业对轻量化大模型的态度明显更加友好。首先,出于安全考虑,金融行业无法接受基于公有云运行的AI大模型,有些场景可能会用到私有云,有些地方则需要离线的端侧设备上运行AI。受基础设施的限制,需要大算力的超大参数模型很难落地。

 

此外,金融行业对于AI的实时响应效率要求很高。参数过大的模型在响应速度方面,不仅受制于运算推理速度,还会被网络速度影响。在一些需要实时交易或者研判的金融场景中,零点几秒的延迟,都有可能错过巨大的利益。因此,能否本地化部署成了一些客户选择AI模型的一个参考条件。

 

微软透露的消息称,面向银行和对冲基金等主要客户的AI Copilot项目,目前能够实现自动编程、撰写报告、数据汇总与分析等很多功能,预计将带来100亿美元的收入。

 

过去一年,包括Jane Street和Intuit在内的金融公司,通过微软购买OpenAI技术,摩根大通也增加了其在微软云上的OpenAI模型采购,用于开发客户服务聊天机器人和自动生成企业收益报告工具。

 

花旗银行、摩根大通和高盛等金融巨头,在2023年下半年均加大了对微软人工智能产品的投入。这些产品不仅有办公软件中的Copilots,还包括了一些定制的人工智能模型开发服务。

 

除了工业和银行外,AI大模型另一个主要落地场景是汽车。

 

2024年初的CES上,奔驰、宝马、大众等纷纷展示了融合最新AI大模型技术的车机系统。国内的比亚迪,也在近期推出了全新的整车智能化架构“璇玑”及其AI大模型“璇玑AI大模型”。

 

汽车无疑是电脑、手机之外的最重要的终端设备,新能源车的快速发展,使车机系统有机会变得像手机一样无所不能。这也使得众多手机厂商纷纷转型造车,以期通过手机端的产品思维,跨界抢占新的终端市场。

 

在AI大模型的爆发之年,“软件定义汽车”的概念迅速崛起,驾驶环境的特殊性,可以说给AI大模型在车上提供了天然的落地环境。

 

然而,基于云服务的主流大模型要上车,难免会受到网络环境的限制。尽管在过去几年中,汽车行业在车联网的发展中投入巨大,但汽车的使用场景过于复杂,很难实现驾驶过程的全程联网。因此,离线运行能力在很多AI大模型“上车”的场景中尤为重要。

 

这也给轻量化模型在车机系统方面提供了很多机会。

 

业界巨头,早已“暗暗”布局

 

在市场对AI需求持续上涨中,供应端在2024年对生成式AI的关注点正在快速发生转移。

 

面壁智能本次发布的MiniCPM-2B并非孤例,轻量化模型、端侧AI已经隐隐成为AI大战新的主战场。

 

在AI大模型的研发侧,国内外最先关注“小模型”的公司,却是在刻板印象里,那些只应钟爱超大模型的头部云厂商。

 

阿里云在2023年12月推出了18亿参数的通义千问-1.8B(Qwen-1.8B),以及利用对齐机制打造的AI助手Qwen-1.8B-Chat。这款模型使用超过2.2万亿tokens的数据进行预训练,包含高质量中、英、多语言、代码、数学等数据,涵盖通用及专业领域的训练语料。

 

阿里云CTO周靖人表示:我们希望有了这款模型之后,大家有更多的开放式探索,像机器人、IoT,可以把这些“小模型”集成到端上,这是一个趋势。

 

除了推出小参数量的LLM,通义千问在模型的量化压缩过程中也表现良好。开源的70亿参数Qwen-7B,在模型的量化和压缩性能方面得到了一些行业的认可。联想正在研发的AI PC功能中,就基于Qwen-7B模型做了一些量化和压缩工作。

 

“原来一个参数用两个字节来存储,经过压缩,一个参数只有半个字节就可以存储,且还能保持原有的模型性能。”联想研究院研究员谢栋表示,压缩后的AI大模型+电脑本身的缓存,大概只要5-6G内存就能运行起来。“在参数量不变的情况下,我们可以把原始大小为14.4GB的Qwen-7B压缩到4GB。

 

MiniCPM-2B也对模型进行了INT4量化,模型的总存储量仅有2GB。

 

模型参数量的大幅下降,使AI不再局限于云,AI大模型的战火也开始从模型烧到终端。

 

在PC端,微软再度成为风暴中心。

 

过去十几年中,虽然微软不断加大云计算的投入,但核心业务始终围绕传统软件和PC。如果AI一直依云而生,虽然对Azure业务促进很大,但在PC业务方面,微软可能需要花更大的精力去“重做”Windows和Windows PC。

 

在2024年CES前夕,微软就宣布了在新款Windows 11电脑上配备了Copilot按钮,可以一键调用AI聊天机器人,Windows PC键盘布局上次重大变革还是在30年前。除了增加按钮,微软也正在尝试使用简化的语言模型(SLM)来处理Bing AI聊天机器人和Windows Copilot用户的基本查询。

 

除了微软和联想等PC厂商,手机厂商也正在积极研发新产品,加速轻量化的AI大模型落地。

 

1月18日,三星推出了首款AI手机Galaxy S24系列手机,具备通话实时翻译、AI图像编辑等多种AI功能。国内手机厂商VIVO也推出了蓝心系列大模型系列,其中包含了参数量较小的十亿级别模型,主要面向端侧场景打造专业文本大模型,具备本地化的文本总结、摘要等能力。

 

在谷歌最新发布的Gemini大模型中,参数规模最小的Gemini-nano也已经预定到了谷歌的Pixel 8 Pro智能手机中。

 

目前,MiniCPM-2B已在多款主流手机中都跑出了较好的成绩。

 

MiniCPM-2B在主流手机上的输出速度

结语

受主流大厂、场景化需求的驱动,市占额达90%的英伟达,也正面临着云端协同的新变局,终端AI的快速发展,或将推动端侧硬件抢走云端独占的AI算力需求。

 

高通在2023年10月推出的最新移动端芯片骁龙 X Elite Oryon CPU,集成了转为AI打造的高通Oryon CPU,支持在终端侧运行超过130 亿参数的AI大模型,运行70亿参数的大模型时每秒可生成30 tokens。

 

2024年1月刚过,轻量化AI模型和AI硬件的市场上,已经推出了多款新品。AI在端侧的落地还在持续加速,轻量化模型,以及针对这些模型开发的硬件产品,正在开启AI硬件的混战之年,或也将给2024打上“AI硬件元年”的标签。

 

在谈到缩小参数规模,是否会限制AGI的未来发展时,清华大学长聘副教授刘知远表示,“在我来看大模型不是产品,而是一项技术。”他认为,如果只是看模型参数规模,今天的MiniCPM可能跟5年前的BERT规模差不多。但大模型的技术体系已经发生了翻天覆地的变化。“技术是一脉相承的,如果我可以让一个20亿参数模型,实现40亿模型的效果,那我也可以用这样的技术做800亿的模型,甚至8000亿的模型。

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年2月1日 21:20
下一篇 2024年2月1日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日