北京时间5月14日凌晨1点，继在AI搜索和GPT-5上虚晃一枪后，OpenAI公司推出了可实时进行音频、视觉和文本推理的全新旗舰AI模型GPT-4o。
相比于去年11月的开发者大会，此次的发布会十分仓促。前后共持续26分钟，OpenAI首席技术官Mira Murati带着两位员工一起现场展示了新模型，一向高调的首席执行官Sam Altman并没有出现。值得玩味的是，明天Google将召开一年一度声势浩大的I/O开发者大会。
GPT-4o仍属于GPT-4系列，是GPT-4的升级款模型，其名字里的“o”是拉丁词缀“omni”的缩写，有包罗万象、全知全能的意思。Mira Murati在模型演示中称，相比GPT-4 Turbo，GPT-4o的速度快了两倍，成本降低了50%，API速率限制（用户可发出的请求调用额度）提高了五倍。
Mira Murati还表示，ChatGPT-4o将免费向所有用户开放，付费和企业用户可以抢先获得体验。她称：“这是我们第一次在便于使用方面真正迈出的一大步。”
一、升级版多模态大模型
据OpenAI介绍，GPT-4o是迈向更自然的人机交互的一步。此前，GPT-4已经可以分析图像和文本，完成从图像中提取文本、以文本描述图像内容这类任务。GPT-4o则是增加了语音功能，并针对原有功能进行了升级。
具体来看，GPT-4o的亮点表现在四个方面：更强的多模态能力、多语言能力的提升、更强的视觉和音频理解、更快的速度。
首先，GPT-4o能够接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合输出，是兼具了“听觉”、“视觉”的多模态模型。对于这项能力，OpenAI做了17个案例展示，其中包括照片转漫画、3D物体合成、海报创作、角色设计等样本。在角色设计案例里，用户向模型输入角色的相关指令，就可以得到一个机器人角色形象。
其次，GPT-4o中50种不同语言性能得到了提高，包括改进了分词器以更好地压缩其中的许多语言。相比Whisper-v3，GPT-4o显著提高了所有语言的语音识别性能，特别是对于语料包匮乏的语言。
第三，与现有模型相比，GPT-4o在视觉和音频理解方面尤其出色。根据传统基准测试，GPT-4o 在文本、推理和编码智能方面实现了GPT-4 Turbo级别的性能。
在演示中，OpenAI研究主管 Mark Chen拿出手机打开ChatGPT，用语音模式（Voice Mode）现场演示，向GPT-4o支持的ChatGPT征询建议。GPT听到Chen过度呼气时，似乎察觉到了他的紧张。反馈道：“Mark，你不是吸尘器”，并告诉Chen要放松呼吸。
另一项演示中，OpenAI的后训练团队负责人Barret Zoph在白板上写了一个方程式3x+1=4，ChatGPT给他提示，引导他完成每一步解答，识别他的书写结果，帮助他解出了X的值。
OpenAI 称，GPT-4o还可以检测人的情绪。演示中，Zoph将手机举到自己面前，要求ChatGPT告诉他自己长什么样子。最初，GPT参考了他之前分享的一张照片，将他识别为“木质表面”。经过第二次尝试，GPT注意到了Zoph脸上的微笑，对他说：“看起来你感觉非常快乐，喜笑颜开。”
Mira Murati表示，GPT-4o将提供与GPT-4同等水平的智能。同时，GPT-4o的运行速度大大提升，最大亮点在于其语音交互模式采用了全新技术，让聊天机器人对话的响应速度大幅提高。OpenAI官网博客显示，GPT-4o在谈话中对音频输入的平均响应时间为320毫秒，最短的响应时间为232毫秒，与人类的响应时间相似。
二、“炸裂”背后的局限
即便GPT-4o再次引发了铺天盖地的关注，但多位业内专家、分析师向时代周报记者表示，GPT-4o的多模态能力并没有实现真正意义上的突破。
“模型能力迭代的速度在变慢，就算发布了新的模态能力也掩饰不了基础LLM能力迭代速度放缓的事实。”科技分析师刘璟珊向时代周报记者称，这些多模态能力并没有本质突破，只是变得更好。原因很简单，大模型企业此前一定程度上忽视了推理优化，降低延迟实际上是产品工程化和英伟达GB200芯片提供了更强的算力。
“OpenAI并未展示对于视觉多模态来说真正称得上‘突破’的功能，我们依旧要考虑大模型解释准确性、空间推理、数目计量、违规内容等方面的局限性。”刘璟珊补充道。
她还称：“虽然GPT-4o可以在对话中增加语气，甚至唱歌的功能，但呈现的内容还是与GPT-4一样缺乏细节校准和创造力。至于OpenAI在发布会后发布的GPT-4o的应用案例探索，如会议记录、手写体和草稿生成等，也是一些比较普通的AI大模型功能。”
对于GPT-4o免费向用户开放，刘璟珊表示，此“免费”并非真正意义上的免费，这背后是OpenAI打造产品闭环的逻辑。她称：“此前GPT的订阅收入不多，OpenAI可能放弃了让用户直接付费。此外，随着英伟达提供的算力逐渐强大，大模型推理成本实现下降。”
“把大模型的收费模式从直接付费变为先体验后付费，OpenAI可通过GPT-4o所宣称的多模态能力扩大用户池，真正想付费的开发者自然会付费且大额付费。”刘璟珊称。
市场分析平台Sensor Tower公布的数据显示，过去一个月，ChatGPT在全球App Store中的下载量为700万，订阅收入1200万美元；全球Google Play市场的下载量为9000万，订阅收入300万美元。
目前，ChatGPT在两个应用商店的订阅价格均为19.99美元/月。由订阅收入推断，ChatGPT Plus在过去一个月通过应用商店付费的订阅用户数为75万。虽然ChatGPT Plus还有大量的直接付费用户，但从手机端的营收看似乎很难匹配OpenAI几近千亿元的估值。
三、多模态AI概念股暴涨
GPT-4o的发布带动了相关概念股暴涨。
截至美东时间周一美股收盘，苹果（AAPL.NASDQ）股价上涨1.76%，报186.28美元/股，市值一夜大涨495亿美元（约合人民币3583亿元），总市值2.856万亿美元。
此前，OpenAI称将为苹果电脑用户带来一款为macOS设计的ChatGPT桌面应用，用户可以通过快捷键“拍摄”桌面并向ChatGP提问，OpenAI还表示，Windows版本将在今年晚些时候推出。
还有媒体称，苹果公司被曝正与OpenAI敲定一项协议，预计今年将后者的部分技术引入iPhone。借此，苹果将能提供由ChatGPT支持的“聊天机器人”，作为iOS 18中人工智能功能的一部分。
在国内，由于多模态AI题材的活跃，A股开盘后网络游戏方向领涨。其中，大晟文化股价涨停，位列涨幅榜首位。汤姆猫股价上涨超过8%，因赛集团、声迅股份、迅游科技、盛天网络、凯撒文化、电魂网络等公司股票亦呈现高开态势。
对于GPT概念股的股市表现，刘璟珊总结道：“虽然OpenAI短暂地偏离了AGI主航道，但是这次的多模态更新对GPT和应用生态有很大帮助。”
本文来自微信公众号：时代周报 （ID：timeweekly），作者：申谨睿，编辑：史成超