12月6日深夜,在没有任何预告下,Google(谷歌)推出了“迄今为止,功能最强大、最通用的人工智能大语言模型”Gemini(双子星)。
谷歌官方表示,Gemini经过了当前LLM(大型语言模型)领域中广泛使用的32个基准测试,在其中大部分基准测试中,表现出了“最先进的性能”,不仅击败了OpenAI的GPT-4,甚至在MMLU(大规模多任务语言理解)基准测试中,成为第一个超越人类专家的模型。
“这是人工智能模型的巨大飞跃,最终将影响几乎所有的Google产品。”谷歌CEO Sundar Pichai(桑达尔·皮查伊)与DeepMind CEO Demis Hassabis(德米斯·哈萨比斯)联名表示。
多模态、多语言、免费
谷歌最早对外公布这一被命名为“Gemini”的模型开发计划是在今年5月举行的I/O(Innovation in the Open,开放中创新)开发者大会上。
彼时皮查伊表示,正在训练中的Gemini表现出了此前所有模型未曾具备的多模态能力,并且这一模型将有不同尺寸和功能应用场景的设计。
实际上,Gemini是由Google DeepMind开发出的原生多模态模型,该项目需溯源至今年4月20日。那天,谷歌选择将Google Brain与DeepMind合并,成立了Google DeepMind,并宣布将公司在AI领域的世界级人才、计算能力及基础设施等资源加以结合,创新研发大模型以对标OpenAI的GPT-4。
今年6月以来,哈萨比斯也不止一次对外提及Gemini系统的强大,例如“将比ChatGPT背后的系统更强大”“正在开发Gemini系统来迎接下一个时代”“Gemini是Google的下一代多模态大模型”等。
当然,让外界对Gemini关注度持续升高、好奇心拉满,还有一个细节。今年7月,辞职已有四年的谷歌联合创始人Sergey Brin(谢尔盖·布林)重返谷歌,有消息称其回归便是要协助开发Gemini系统。
一位在国内专注AI大模型方向的算法工程师对记者表示,在7月时他就预感“Gemini将会是下半年大模型赛道的焦点。”
Gemini共有Ultra、Pro和Nano三个版本,分别适用于不同场景,其中Ultra版可用于大型数据中心等,属于处理高复杂度任务的模型;Pro版则用于各种扩展任务,属于日常使用模型,且已搭载于谷歌的对话机器人Bard中;Nano版则是应用于智能手机等移动设备终端上的模型。
在谷歌给出的长达60页的Gemini技术报告中,上述算法工程师认为其中值得关注的是,Gemini模型的训练数据集既多模态又多语言。其中,前期训练数据集使用来自网络文档、书籍和代码的数据,包括图像、音频和视频数据等。
“Google拿自家海量云存储的图片进行了预训练,确实把模型的多模态能力拉升了一大截。”这位算法工程师还看到,谷歌在Gemini技术报告中如此写到,“当模型多模态能力被真正探索出来时,会提供更多细节。”
12月7日上午,上述算法工程师体验了实际搭载Gemini Pro的Bard,并就多模态能力方面,对Gemini与GPT-4进行了对比测试。
通过识别不同图片中的人物、地点、文字、动物甚至其中可能蕴含的科学知识,综合对比,他发现,Gemini Pro的多模态能力确实足以抗衡GPT-4,前者的响应速度也“快很多”,另外,前者可以免费使用,但后者已经有了“3小时40次的限制”。
能力可与GPT-4“掰手腕”
将Gemini的技术报告看完后,国内一位曾在谷歌工作过的AI企业创始人对记者称,最令其惊讶的是光报告的作者就多达9页,“每页90人,八百余人,超过OpenAI公司的总人数。”
需要提及的是,OpenAI员工总数目前不足800人,这也不难看出谷歌在Gemini模型开发与技术创新方面投入的AI人才之多。
“我对Gemini的期盼,是它可以和GPT-4去‘掰手腕’。”这位算法工程师实际使用对比后的感受是,Gemini达到了上述目的,但这是否表明其已经对GPT-4形成了“全面超越”?
他肯定了Gemini的多模态能力,但他继而指出,Gemini在中文识别理解能力上,相较GPT-4略逊一筹。这也进一步印证了科技媒体The Information早前报道中所指出的“Gemini仍无法可靠处理‘非英语’的任务。”
据悉,在文本分析上,Gemini是通过大模型思维链(Chain of Thought)技术原理提升效果,在上述算法工程师看来,若实际比拼,“Gemini比不过GPT-4”,毕竟谷歌专门针对测试相关领域进行了优化,Gemini只在上述领域中的指标表现好,并不能够说明模型真正的泛化能力强,“至于真正能力,需要在更多的数据集上进行测评。”
谈及Gemini的强大之处,一AI企业的基础科研负责人向经济观察网记者分析,“在于首次验证了原生多模态训练的范式是能走通的。”在他看来,原生多模态训练范式的上限极高,且容易扩展到视频格式,“我们很看好这条技术路线。”
上述AI企业基础科研负责人认为,谷歌产品线积累的海量高质量多模态数据,能够为后续Gemini的迭代提供有力支持。
事实上,Gemini的技术报告中也有这样一段表述,“谷歌发现数据质量对于高性能模型至关重要,并认为在寻找预训练的最佳数据集分布方面,仍有许多有趣的问题。”
为拓展多模态模型的训练数据集,谷歌还对外表示,Bard将在超过 170 个国家和地区提供 Gemini Pro 版本服务,并计划未来扩展到不同的模态,支持更多语言和地区。不仅明年初将推出升级的Bard Advanced版本,在接下来的几个月里,谷歌还将陆续把Gemini应用于搜索、广告、Chrome等更多的产品和服务中。
本文来自微信公众号:经济观察报 (ID:eeo-com-cn),作者:钱玉娟