Sora团队首次专访:Sora就是太强了,所以不让普通人用

采访视频截图

16分钟的专访里,Sora的核心团队成员说了很多内容,但都是一些已知的内容,没有什么新的,信息好像还不如Sora的技术文档多。

Sora团队说:Sora是一个视频生成模型,其工作原理是分析大量视频数据并学会生成视频。

Sora生成视频截图

Sora团队先扬后抑的表示到,Sora擅长写实类视频,并且可以生成1分钟时长的视频,很强。

前两天外媒对Sora核心团队做了次专访,看了下原视频,约等于什么都没说,场面神似马科长讲话。

用网友的话来说,就像镜头外有一个律师拿着枪对着这帮人。

Sora已经发布快一个月了,刚发布时Sora惊为天人,带给人们无限遐想,甚至有不少人表示AGI就要来了。

然而,目前为止只有少数人用上了Sora,再好的东西用不上,久而久之人们也就失去了兴趣。

就在人们把Sora翻得底朝天,该聊的都聊完了,好像实在没活了,OpenAI派了几个人出来接受一下采访。

采访视频截图

16分钟的专访里,Sora的核心团队成员说了很多内容,但都是一些已知的内容,没有什么新的,信息好像还不如Sora的技术文档多。

来看看外国人是怎么打太极的。

这次访谈的三位Sora核心成员分别是Bill Peebles、Tim Brooks和Aditya Ramesh。

首先是大家最关心的问题,我们什么时候可以用到Sora?

“别急,普通人短期内还用不上。”

Sora成员表示,Sora目前尚未向公众开放,也没有具体的时间表。OpenAI正在收集用户反馈的阶段,希望进一步聊天人们如何使用Sora,有哪些安全工作要做。

既然用不了,那么探究一下,Sora是如何实现的。

Sora团队说:Sora是一个视频生成模型,其工作原理是分析大量视频数据并学会生成视频。具体工作方法融合了扩散模型(如DALL-E)和大型语言模型(如GPT系列)的技术。架构上Sora类似于介于两者之间,训练方式类似于DALL-E,但在结构上更像GPT。

结构上更像GPT这一点在Sora刚出现的时候就有不少人分析过,这也算Sora的一大技术特点。

接下来,是同样让人好奇的,Sora的训练数据到底来自于哪里?

在官方发布的Sora生成视频中,无论是咖啡杯中的海盗船,还是东京街头行走的女性,都在表示Sora似乎理解了许多世界的物理规律。

之前不少民间说法讨论,Sora极有可能在数据集中添加了用UE5生成的文本、视频当作合成数据。

面对这样的问题,Sora成员Tim Brooks没有明确回应,打了一个太极,表示不方便说得太细,但是他透露,大体上使用的是公开数据和OpenAI被授权使用的数据,并分享了一个“技术创新”。

以往,不论是图像还是视频生成模型,通常会以非常固定的尺寸进行训练,比如只有一个分辨率的视频。

在Sora的训练中,他们将各种各样的图片和视频,不管是高宽比、长短、高清还是低清,都分割成了一小块一小块。研究人员可以根据输入视频的大小,训练模型认识不同数量的小块,这也让Sora能更灵活地学习各种数据,并生成出不同分辨率和尺寸的内容。

这一技术在Sora技术文档里也有提过,就是所谓的patch。

大语言模型建模时把文本拆成了以token为最小单位,而视频大模型中的token就是patch。

这一技术并不是OpenAI创造的,当OpenAI宣布使用了该技术时还引起了讨论,为什么OpenAI能就能通过别人的技术造出好的AI产品出来。

主持又问到:你觉得Sora擅长做什么?哪些方面还有所欠缺?比如我看到有个视频里一只手竟然长了六个手指。

Sora生成视频截图

Sora团队先扬后抑的表示到,Sora擅长写实类视频,并且可以生成1分钟时长的视频,很强。但仍然存在一些问题,比如手部细节(所有AI的噩梦)摄像机轨迹、物理现象变化等。

除此之外,Sora团队还介绍了一些其他酷炫的功能,比如通过除prompt之外,用视频合成的方式生成视频。这实现了在完全不同主题和场景构成的视频之间无缝过渡。

在OpenAI的Tiktok上就有无人机变成蝴蝶在斗兽场转化的珊瑚礁中飞翔的视频。

无论在技术还是体验上,都与原先的视频生成模型完全不同。Aditya Ramesh更是表示,他们做的事情,就是先模拟自然,再超越自然!

目前为止,OpenAI在Tiktok上的AI生成视频都使用了配音,而不是AI无缝生成声音。Sora团队表示,AI声音暂时不是他们考虑的事情,当务之急还是在于视频生成,让它实现更长的时间,更好的画质和频率。

但不知道随着Pika Sound Effects功能的发布,Sora加上声音是否指日可待。

被主持人问到,Sora下一步发展方向时。Sora成员Tim Brooks表示,在真正发布之前,Sora还有两方面的工作要完成:

首先是获得更多用户的反馈,了解Sora如何给人们带来价值。比如有用户希望对生成的视频有更多精细、直接的控制,而不单单是prompts。

另一方面,Sora安全工作需要加强,OpenAI会全面考虑可能带来的各种影响。目前,正在训练应用于视频的溯源分类器,实现识别视频是否由AI生成,并且为每个Sora生成的视频都打上了水印。

此外,Sora团队表示,AI生成视频也带来了许多机遇,它可以大幅降低从创意到成片的成本,一个人拍一部电影完全有可能实现。

更令他们激动的是,随着AI新工具的出现,会有人创造出全新的东西,不断推进创造力的边界,将不可能变成可能。

但打住,这只是科学家们美好的幻想。毕竟对于普通人来说,离真正使用上Sora都要等上挺长一段时间。

而且,Sora成员透露。AI通过从视频数据中学习,将不仅仅在视频创作方面发挥作用。像GPT这样的模型,虽然很聪明,但如果它们无法像我们一样“看到”这个世界,那么它们就会缺失一些信息。类似Sora的模型正在解决这一问题。

这是证实AGI要来了吗?

最后主持人问了一个有意思的问题,Sora生成一个视频需要多长时间?

“取决于各种情况,但你可以离开,去喝杯咖啡,然后回来它还在处理中,反正就是很久。”

以上就是Sora团队的采访内容,简单总结一下就是:Sora很厉害,可以看到世界,正因如此,我们还不能让普通人很快就用到,还有很多安全工作要做。

本文来自微信公众号:新硅NewGeek(ID:XinguiNewgeek),作者:Josie,编辑:董道力

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
Like (0)
Previous 2024年3月13日 10:05
Next 2024年3月13日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日