本文来自微信公众号：机器之能 （ID：almosthuman2017），作者：Sia，题图来自：视觉中国
当你被 OpenAI Sora 生成的这些视频震撼时，有没有潜意识里总觉得还缺点啥？
视频来自：OpenAI
这些视频和电影诞生时的默片“短视频”是不是差不多？这是 1895 年路易斯·卢米埃尔导演的《火车进站》，固定机位，一镜到底拍摄火车开进站台的场景。
电影《工厂大门》的效果是这样的：
不过，即使是默片也并非一点声音也没有。放映时，影院里会有乐团（大到一个乐团、小到一位钢琴师）根据剧情演奏音乐，用音乐渲染情绪，推动情节发展。现在，AI 语音克隆初创公司 ElevenLabs 也率先为一堆 Sora 创建的视频添加了背景声音，相当逼真。
在这个长达 1 分钟的视频中，所有声音——从城市喧闹背景下繁忙街道上的脚步声、海浪声、火车运行时有节奏的咔哒声、新年热闹的人群、未来机器人的机械声到好莱坞风格的宣传短片人声，等等——都由文本到音频提示生成。
“我们使用‘海浪撞击’‘金属铿锵声’‘鸟鸣声’和‘赛车引擎’等文本提示来生成音频，并将其叠加到我们最喜欢的一些 OpenAI Sora 视频上。”该公司在一篇博文中写道。
开发人员表示，他们正在开发一个新产品，可以根据用户给出的场景描述生成声音，为原本无声的视频片段添加声效。这次给 Sora 生成的内容添加效果，算是一次牛刀初试。预告片出来后，有不少赞叹的声音。
linkedin用户的支持声
x平台用户的支持声
也不乏批评的声音，认为这些 AI 合成的声音没有“爱”和“细节”：
以 Sora、Runway、Pika 等工具为代表，完全由 AI 生成的内容正在兴起，效果逼真，但缺乏背景音频，这就是 ElevenLabs 新模型的用武之地，它允许用户通过描述他们想要的内容来为其内容制作声音效果。
ElevenLabs 表示，尚未准备好发布其文本到音效模型，但上线后它将能够帮助内容创作者创建全方位的声音，包括脚步声、波浪声和氛围声等。
市场上已经有一些文本到音效模型，不过通常围绕音乐 AI 模型构建，包括 myEdit、AudioGen 和 StabilityAI 的 Stable Audio等。除了 AI 生成的内容，新模型产生的声音甚至可以应用于任何其他需要背景音效的视频。比如 Instagram 视频、商业或视频游戏预告片等。最终效果如何，还有待检验。
虽然声效都是文本提示生成，但要生成正确的模拟效果并不容易。系统要同时针对文本和视频像素进行学习。“学习精确的视频-音频映射，还需要在潜在空间中建模一些‘隐含’的物理现象。”英伟达 AI 科学家 Jim Fan 也关注到了 ElevenLabs。
他同时指出，一个端到端的 Transformer 要正确模拟声效，要搞清楚很多事情。比如确定每个物体的类别、材料和空间位置、击中的是木制、还是金属表面？速度如何？处在什么样的空间环境？等等。“目前，我们还没有这么高质量的 AI 音频引擎。”他写道。
ElevenLabs 成立于 2022 年，由前谷歌机器学习工程师 Piotr Dabkowski 和前 Palantir 部署策略师 Mati Staniszewski 共同创立。此后，公司推出了由 AI 驱动的文本转语音软件和自动翻译的 AI 配音工具，可将视频中的演讲翻译成 20 多种语言，依旧“保持原来的语气和风格”。今年年初，这家公司凭借最近 8000 万美元的 B 轮融资跻身 AI 独角兽行列。
新模型可能会给 ElevenLabs 带来先发优势，但值得注意的是，活跃在 AI 语音领域的其他几家公司也有潜力涉足这一领域。其中包括 MURF.AI、Play.ht 和 WellSaid Labs 等知名厂商。接下来，应该会涌现一批能够分析视频内容，并正确自动添加声音效果的工具。
生成式 AI 的梦想之一是能够通过单一提示创建完整、全面的内容。随着文本转音效、AI 视频和合成语音等技术的进步，我们正在逐渐靠近这个梦想。
参考链接：https://elevenlabs.io/blog/ai-sound-effects-are-coming-soon/
本文来自微信公众号：机器之能 （ID：almosthuman2017），作者：Sia