谷歌发开源模型,不Open的只剩OpenAI

 
落到手机、电脑、汽车上的AI
 
谷歌在Gemma的说明页面中提出,要实现先进人工智能模型的“民主化访问”,并特意强调Gemma可以部署在资源有限的环境中,例如笔记本电脑、台式机或用户自己的云基础设施,
 
如今,轻量化的AI模型在业内的受关注度正在快速升温。
 

 MiniCPM在手机端的运行情况

虽然同为20亿参数,但相比于可以运行在4G内存手机中的MiniCPM-2B,Gemma-2B的模型存储容量明显有点大,一般的手机可能很难运行,目前Gemma的技术报告也没有提及在个人设备上的输出速度。

全世界都在为Sora惊艳,而谷歌却仍在默默地发语言模型。

 

当地时间2月21日,谷歌推出了基于Gemini研究和技术开发的新型开源模型系列“Gemma”。与Gemini相比,Gemma展示了更高的效率和轻量化设计,同时依然免费提供全套模型权重,并明确允许商业使用。

 

本次发布的模型包括Gemma 2B和Gemma 7B ,20亿和70亿两种规模版本。每个版本都提供了预训练模型和针对特定指令进行微调的模型。用户可以通过Kaggle、谷歌的Colab Notebook或Google Cloud平台轻松访问这些模型。

 

谷歌的技术报告中称Gemma已经在一系列关键基准测试上超越主流的开源模型,包括LLaMA-2的7B和13B版本,以及Mistral 7B模型。特别是在指令遵循、创意写作、编码任务和基本安全协议测试中,Gemma都展现了良好的性能。

 

此外,谷歌还发布了一系列工具和指南,旨在鼓励开发社区协作并负责任地使用这些模型,推动AI技术的健康发展。

 

谷歌发布开源Gemma之后,OpenAI成了唯一一个在这波AI热潮中没有发布过开源模型的AI公司。在Google Deepmind 联创兼CEO Demis Hassabis的发布贴下,就有人@Sam Altman质疑OpenAI何时才能Open。

 

 

Gemma有何不同?

 

Gemma模型提供了预训练模型以及针对对话、指令遵循、有用性和安全性微调的checkpoint。其中,7亿参数的模型优化了GPU和TPU上的高效部署和开发,而2亿参数的模型则更适用于在CPU上运行,满足不同的计算限制、应用程序和开发人员需求。

 

Gemma对比LLaMA 2-7B、13B,以及Mistral-7B

 

Gemma模型的架构基于Transformer解码器,针对其核心参数进行了优化,训练时的上下文长度为8192个token。

 

此外,谷歌在原始Transformer理论的基础上进行了几项重点改进,优化了模型的处理效率、模型大小、性能和训练稳定性方面。

 

多查询注意力机制:相比传统的多头注意力,多查询注意力机制在2亿参数模型中的应用提高了处理效率和模型性能,特别是在参数规模较小的情况下,能够更有效地捕捉和处理信息。

 

旋转位置嵌入(RoPE):使用RoPE代替传统的绝对位置嵌入,以及在输入与输出之间共享嵌入的策略,有效减小了模型规模,同时保持或提高了模型的性能,尤其是在处理序列数据时的位置敏感性方面。

 

GeGLU激活函数:替代传统的ReLU激活函数,GeGLU提供了更强的非线性处理能力,这对于增强模型捕捉复杂模式和关系的能力是非常重要的,特别是在小模型中尽可能地提高性能。

 

归一化位置的创新应用:通过在每个Transformer子层的输入和输出处都应用归一化处理(使用RMSNorm),Gemma模型提高了训练的稳定性和效果,这种方法的创新在于它提供了一种更加有效的训练深层网络的手段,有助于提高模型的泛化能力和减少过拟合的风险。

 

Gemma另一个值得一提的特点在于对安全性的重视。

 

Gemma模型的全面安全评估中,包括对模型行为的深入分析和测试,以确保其在不同的应用场景中能够安全可靠地运行。同时,Gemma的开发过程中融入了负责任的AI实践,包括确保模型的公平性、透明性和可解释性。这有助于减少AI系统可能带来的偏见和不公平现象,提高用户对模型输出的信任度。

 

随Gemma模型一同发布的还有一套详细的安全使用指南,指导用户如何安全、有效地使用Gemma模型。这包括建议的使用案例、潜在风险的警告以及如何缓解这些风险的策略。

 

作为开源模型,Gemma项目也鼓励社区合作和反馈,通过开源的方式让研究人员和开发者能够贡献自己的见解和改进意见。这种开放的合作模式有助于及时发现并修复安全漏洞,提高模型的整体安全性。

 

事实上,在今天快速迭代的LLM开发环境中,一款轻量化开源模型的安全性能,是模型能够开放到更多应用场景的重要前提。

 

落到手机、电脑、汽车上的AI

 

谷歌在Gemma的说明页面中提出,要实现先进人工智能模型的“民主化访问”,并特意强调Gemma可以部署在资源有限的环境中,例如笔记本电脑、台式机或用户自己的云基础设施,

 

如今,轻量化的AI模型在业内的受关注度正在快速升温。

 

2023年6月,微软就放出了一款17亿参数的轻量化模型Phi,此后的Phi-2版本参数扩充到了27亿。国内则有两家公司推出了7B以下的轻量化LLM,包括面壁智能的MiniCPM-2B,以及阿里Qwen1.5中的0.5B、1.8B和4B三个版本。

 

面壁智能的MiniCPM-2B模型就直指手机端,且已经在多款常见的手机上测试了模型的真实落地效果。

 

 MiniCPM在手机端的运行情况

虽然同为20亿参数,但相比于可以运行在4G内存手机中的MiniCPM-2B,Gemma-2B的模型存储容量明显有点大,一般的手机可能很难运行,目前Gemma的技术报告也没有提及在个人设备上的输出速度。

Gemma在hugging face的下载页面

 

运行速度快、成本低、高端设备依赖性不强,这些特点使轻量化模型明显更容易商业化落地,最典型的就是落地到手机、电脑、车机这些端侧设备的AI。

 

目前,主流、非主流的消费电子、汽车企业都在积极布局AI。

 

国内OPPO和魅族两家手机厂商刚刚更新了AI战略,其中魅族甚至要放弃传统手机,只做AI手机;联想、戴尔、惠普、华硕等都公布了自己的AI PC战略,英伟达最近推出了一款可以在本地运行的Chat with RTX,显卡要求7G显存,其中主要调用的就是Mistral的7B模型;车机方面,奔驰、宝马、大众等也都推出了融合AI大模型的车机系统,国内的比亚迪,也在近期推出了全新的整车智能化架构“璇玑”及其AI大模型“璇玑AI大模型”。

 

Gemma、MiniCPM、Qwen1.5等开源轻量化的推出,给这些设备生产公司提供了一个不必自研大模型,也能在设备上部署AI的路径。

 

事实上,在复杂的算法研究和高昂的训练成本面前,多数企业并不具备从零开始开发大模型的能力。

 

基于LLaMA等开源大模型的再训练或微调成为了一个更实际和成本效益更高的选择。通过Continue Pretrain、finetune等方法,开发者可以在现有模型的基础上进行改进和定制,以适应特定的应用需求。这种方法不仅减少了开发成本,也加速了模型创新的过程,使得即使是资源有限的团队也能参与到大模型开发的竞争中来。

 

国内大模型创业的主流形态正是基于LLaMA等开源模型的再训练或微调。尽管从零开始自研大模型在技术上具有一定的吸引力,但如专家所言,这需要极高的成本和专业知识,且过程复杂且容易出错。因此,利用和贡献于开源大模型社区,不仅是实现快速迭代和创新的有效途径,也是促进技术共享和行业进步的重要手段。

 

一直以来,AI大模型开发和模改的主流生态都被LLaMA占据,直到Mistral出现才略有改观。此番谷歌放出开源Gemma,给开发者提供了更多选择和灵活性,注定会对开源生态起到巨大的刺激作用,促进了开源大模型技术的发展和应用创新。

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年2月22日
下一篇 2024年2月22日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日