这是一个比ChatGPT有趣更多的新家伙。先来看看他们的演示(不是聊天框,而是实时的视频和语音互动):
一张纸、一条弯曲的线、看到喙和爪子觉得是鸟,有了水波纹立刻就认出了鸭子(当然,你要非抬杠说是大鹅,也行……)。整个过程就像那个著名的超人梗“It’s a Bird… It’s a Plane… It’s Superman”——简直和人分辨视觉信息的感觉一模一样。
接下来它看出了颜色,而且清楚地知道“蓝鸭子”这玩意可不多见;当画面中沧桑的双手拿出了一个“小蓝鸭”,它也认出了材质,并知道这个“蓝鸭”可以浮在水上——而这是通过挤捏的动作确认的。
它非常清楚,这是一个立体的鸭子放在平面的世界地图上(它还知道蓝色是的海洋,黄绿色的是大陆)。
最有趣的是这部分:三个杯中扣纸团,猜猜是哪个?(后面还有一个猜手中硬币的环节,啥都瞒不过)
它可以识别手势,无论你是在猜拳,还是模仿动物。
还可以识别视频中不断变换的物体,并归类说明。
甚至可以做编织刺绣爱好者的“设计指导”。
还记得这个么?小时候我最爱玩了,一下子被它整得没乐趣了!
可以看懂手绘乐器和与之关联的背景(难为它了,画得的确太糙了……),并随之变换不同音乐风格(后面的完整视频中,你可以听到)。
还能够看懂视频中的视频。
它眼中的世界也许跟你一样
上面演示的,是Google刚刚发布的Gemini(本意为双子座,就是上面演示视频最后出现的那个星座)大模型——这是一款“天生多模态”的AI大模型。
官方称其为“Google 迄今为止规模最大、能力最强以及最灵活的AI模型”。
你大概在过去一年里,伴随着各种“大模型”,反复听到过“多模态”这个词:简而言之,如果一个AI和你的交流方式包括文字、语音、图像等,就是“多”;只有一种,就是“单”。
但这里有一个问题,我们在这一年接触到的大多数“多模态”,其实都是单一模态的不停切换:先在对话框里聊两句天,再来个语音识别转文字,最后整一张画给AI看,或者让AI整一张画给你看——是不是很熟悉的流程?
举个例子,你身边是不是有很多这样的同事:一下午只能做一件任务,剪了视频就不能做表格;做了表格就没法找客户;找了客户就没法剪视频……(除非是摸鱼,一次能摸好几种)这时候你老板通常会表扬他:倒霉孩子,真是一根筋!
但如果优秀如你,也许可以并行同时完成两到三项工作——Gemini就是AI中的你。在上面的演示视频中就可看出,既然号称“天生多模态”,它展现出的其实是一种“跨模态”的“天赋”。文字、语言、画面、声音……做到同时接受和表达,这就非常接近人类天然对于外部世界的理解和交互方式了。
不光是GPT,各种“专家”这回也悬了
Gemini这次公布了三种尺寸:
Gemini Ultra:规模最大且功能最强大的模型,适用于高度复杂的任务;
Gemini Pro:适用于各种任务的最佳模型;
Gemini Nano:端侧设备上最高效的模型。
以保障它能高效运行在从数据中心到移动设备的多平台上。
在这次的发布和展示中,Google公布了Gemini最具先进性的几个特质:
遥遥领先(不信你看今天媒体的说法,都是“完爆/暴打GPT”)
从自然图像、音频和视频理解到数学推理,在被大型语言模型(LLM)研究和开发中广泛使用的 32 项学术基准中,Gemini Ultra 的性能有 30 项都超过了目前最先进的水平。
首次超越人类(这回是真的……)
Gemini Ultra 的得分率为 90.0%,是第一个在 MMLU(大规模多任务语言理解)测试中超过人类专家的模型,MMLU 综合使用了数学、物理、历史、法律、医学和伦理等 57 个科目,用于测试世界知识和解决问题的能力。
真的认识字啦!
在图像基准测试中,Gemini Ultra 在不使用对象字符识别(OCR)系统来提取图像中的文本进行下一步处理的情况下,表现优于以前最好的模型。
目前,在 Bard 已经可以体验 Gemini 的 Pro 版本(暂时限英语),未来几个月将扩展不同的模态,并支持新的语言和地区;手机端,Pixel 8 Pro 是首款搭载 Gemini Nano 的智能手机,它可以支持录音应用中的“总结”等新功能,并在 Gboard 中推出“智能回复”功能;未来几个月,Gemini 也将出现在Google的搜索、广告、浏览器和智能办公助手当中。
大妈不是大妈,大爷还是大爷
大概是过去一年OpenAI占据的太多眼球(无论是技术、产品,还是人),有趣的是,这似乎暗合了Google当年推出Transformer架构时的论文题目Attention is all you need。一年之中,凡谈及AI,则言必称OpenAI和GPT,很多人似乎忘记了Google在AI方面雄厚的基础和持续进步。
看看这张Gemini之前Google的AI里程图:
如今面对Gemini,刚刚动荡平息的OpenAI又将如何应对呢?是传说中的Q*还是人们翘首期盼的GPT-5?
本文来自微信公众号:果壳 (ID:Guokr42),作者:卧虫,编辑:malt