Sora是怎么训练出来的

简单地说,OpenAI集大成了先前的技术,而其中的每一项技术,都有过论文介绍,OpenAI在前人及同行研究的基础之上,构建出Sora,一个非常重要的原因,是它们坚信数据-Transformer-扩散-涌现这一法则。(2023).

(注:15~18,Transformer已经被证明在计算机视觉中显示出非凡的扩展特征,能训练出适用于任何宽高比和分辨率的视频。2023.

(注:Sora是一个扩散Transformer。2021.

(注:27~28,Transformer在图像生成方面具有非凡的扩展特征。

一分钟长的文生视频大模型Sora,如此逼真。OpenAI再次震惊了世界。

一分钟长的视频,是更漫长的征程的开端。OpenAI称他们所做的事情,是构建一个“物理世界的通用模拟器”。

Sora生成的电影预告片

OpenAI网站上的技术报告,主要提供了训练Sora的方法,以及对其能力和局限性的定性评估。技术报告的13位作者中,有4位华人。

报告也明确地说,不提供模型和实现细节。尤其是公众和监管者最关注的数据来源。但是,这篇报告所列举的32篇参考论文,已经提供了所有的方法和技术。

OpenAI用一句话概括:“我们利用了一种在视频和图像潜码的时空块上操作的transformer架构”。

具体点说就是:这帮大牛训练了一个网络,用于降低视觉数据的维度。许多专家认为其视频来源是Youtube。这个网络以原始视频为输入,输出一个在时间和空间上都被压缩的潜在表示。Sora在这个压缩的潜在空间内接受训练,随后也在此空间内生成视频。他们还训练了一个相应的解码器模型,将生成的潜码映射回像素空间。

应该掌握四个关键词:潜码(latent code),时空块(spacetime patches),扩展 (scaling),通用模拟器 (general purpose simulators)

许多之前的研究已经通过各种方法研究了视频数据的生成模型,包括循环网络、生成对抗网络、自回归变换器和扩散模型。这些工作通常专注于视觉数据的一个狭窄类别、较短的视频,或者固定大小的视频。Sora是一个视觉数据的通用模型——它可以生成跨越不同持续时间、宽高比和分辨率的视频和图像,最长可达一分钟的高清视频。

Sora是一个扩散模型;给定输入的噪声块(和条件信息,如文本提示),它被训练用于预测初始的“干净”块。重要的是,Sora是一个扩散Transformer,在多个领域展示了显著的扩展性能,包括语言建模、计算机视觉和图像生成。

Sora能够适应宽屏1920x1080p视频、竖屏1080×1920视频以及它们之间的所有格式。这使得Sora能够直接以不同设备的原生宽高比创建内容。它还允许我们在使用相同模型以全分辨率生成之前,快速原型化较小尺寸的内容。

简单地说,OpenAI集大成了先前的技术,而其中的每一项技术,都有过论文介绍,OpenAI在前人及同行研究的基础之上,构建出Sora,一个非常重要的原因,是它们坚信数据-Transformer-扩散-涌现这一法则。下面是所有的参考论文及其为Sora所用之处:


1. Srivastava, Nitish, Elman Mansimov, 和 Ruslan Salakhudinov. “使用LSTMs进行视频表示的无监督学习.” 国际机器学习会议. PMLR, 2015.

2. Chiappa, Silvia, 等. “循环环境模拟器.” arXiv预印本 arXiv:1704.02254 (2017).

3. Ha, David, 和 Jürgen Schmidhuber. “世界模型.” arXiv预印本 arXiv:1803.10122 (2018).

(注:1~3,许多之前的研究已经通过各种方法研究了视频数据的生成模型,包括循环网络。)

4. Vondrick, Carl, Hamed Pirsiavash, 和 Antonio Torralba. “生成具有场景动态的视频.” 神经信息处理系统进展 29 (2016).

5. Tulyakov, Sergey, 等. “MoCoGAN: 分解运动和内容以生成视频.” IEEE计算机视觉和模式识别会议论文集. 2018.

6. Clark, Aidan, Jeff Donahue, 和 Karen Simonyan. “在复杂数据集上生成对抗视频.” arXiv预印本 arXiv:1907.06571 (2019).

7. Brooks, Tim, 等. “生成动态场景的长视频.” 神经信息处理系统会议进展 35 (2022): 31769-31781.


(注:4~7,生成对抗网络的方法与技术。)


8. Yan, Wilson, 等. “VideoGPT: 使用VQ-VAE和transformers生成视频.” arXiv预印本 arXiv:2104.10157 (2021).

9. Wu, Chenfei, 等. “Nüwa: 为创造神经视觉世界进行视觉合成预训练.” 欧洲计算机视觉会议. 瑞士: 施普林格自然, 2022.

(注:8~9,自回归Transformer。)

10. Ho, Jonathan, 等. “Imagen视频: 使用扩散模型生成高清视频.” arXiv预印本 arXiv:2210.02303 (2022).

11. Blattmann, Andreas, 等. “对齐你的潜码: 使用潜在扩散模型合成高分辨率视频.” IEEE/CVF计算机视觉和模式识别会议论文集. 2023.

12. Gupta, Agrim, 等. “使用扩散模型生成逼真视频.” arXiv预印本 arXiv:2312.06662 (2023).

(注:10~12,扩散模型,如何逼真。)

13. Vaswani, Ashish, 等. “注意力就是你所需要的一切.” 神经信息处理系统进展 30 (2017).

14. Brown, Tom, 等. “语言模型是小样本学习者.” 神经信息处理系统会议进展 33 (2020): 1877-1901.

(注:13~14,作者从大型语言模型中受到的启发是,通过对互联网级数据进行训练,可以获得通用能力。)

15. Dosovitskiy, Alexey, 等. “一幅图像值16×16个词: 大规模图像识别的transformers.” arXiv预印本 arXiv:2010.11929 (2020).

16. Arnab, Anurag, 等. “Vivit: 视频视觉transformer.” IEEE/CVF国际计算机视觉会议论文集. 2021.

17. He, Kaiming, 等. “掩码自动编码器是可扩展的视觉学习者.” IEEE/CVF计算机视觉和模式识别会议论文集. 2022.

18. Dehghani, Mostafa, 等. “Patch n’Pack: NaViT, 适用于任何宽高比和分辨率的视觉transformer.” arXiv预印本 arXiv:2307.06304 (2023).

(注:15~18,Transformer已经被证明在计算机视觉中显示出非凡的扩展特征,能训练出适用于任何宽高比和分辨率的视频。)

19. Rombach, Robin, 等. “使用潜在扩散模型合成高分辨率图像.” IEEE/CVF计算机视觉和模式识别会议论文集. 2022.

(注:通过把视频压缩成为低维度的潜码空间,把视频转换为时空块。 )

把视觉数据变成时空块

20. Kingma, Diederik P., 和 Max Welling. “自编码变分贝叶斯.” arXiv预印本 arXiv:1312.6114 (2013).

(注:训练出一个能减少视觉维度数据的网络。)

21. Sohl-Dickstein, Jascha, 等. “使用非平衡热力学的深度无监督学习.” 国际机器学习会议. PMLR, 2015.

22. Ho, Jonathan, Ajay Jain, 和 Pieter Abbeel. “去噪扩散概率模型.” 神经信息处理系统进展 33 (2020): 6840-6851.

23. Nichol, Alexander Quinn, 和 Prafulla Dhariwal. “改进的去噪扩散概率模型.” 国际机器学习会议. PMLR, 2021.

24. Dhariwal, Prafulla, 和 Alexander Quinn Nichol. “扩散模型在图像合成上胜过GANs.” 神经信息处理系统会议进展. 2021.

25. Karras, Tero, 等. “阐明基于扩散的生成模型的设计空间.” 神经信息处理系统进展 35 (2022): 26565-26577.

(注:21~25, Sora是一个扩散模型,给定输入的噪声块(和条件信息,如文本提示),它被训练用于预测初始的“干净”块。)

26. Peebles, William, 和 Saining Xie. “用transformers扩展扩散模型.” IEEE/CVF国际计算机视觉会议论文集. 2023.

(注:Sora是一个扩散Transformer。)

Transformer跨越不同的模态,其扩展功能依然有效

27. Chen, Mark, 等. “像素的生成预训练.” 国际机器学习会议. PMLR, 2020.

28. Ramesh, Aditya, 等. “零样本文本到图像生成.” 国际机器学习会议. PMLR, 2021.

(注:27~28,Transformer在图像生成方面具有非凡的扩展特征。)

29. Yu, Jiahui, 等. “扩展自回归模型以生成内容丰富的文生图.” arXiv预印本 arXiv:2206.10789 2.3 (2022): 5.

30. Betker, James, 等. “用更好的图说改善图像生成.” 计算机科学. https://cdn.openai.com/papers/dall-e-3.pdf 2.3 (2023): 8

(注:29~30,使用了Dall.E3的字幕和标题技术,用于视频。)

31. Ramesh, Aditya, 等. “使用CLIP潜码的分层文本条件图像生成.” arXiv预印本 arXiv:2204.06125 1.2 (2022): 3.

32. Meng, Chenlin, 等. “Sdedit: 使用随机微分方程的引导图像合成和编辑.” arXiv预印本 arXiv:2108.01073 (2021).

(注:31~32,用Dall.E2和Dall.E3图像生成视频。)

本文来自微信公众号:未尽研究 (ID:Weijin_Research),作者:未尽研究

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(0)
上一篇 2024年2月17日
下一篇 2024年2月17日

相关推荐

  • 数字人出海背后,隐藏哪些商业机密?

    某上市公司旗下数字人营销视频创作工具负责人Dour介绍,曾有几个客户向其反馈了极为惊人的数据:使用数字人,一个季度可以完成高达1700~2000小时的直播时长,相当于平均每天直播17个小时。

    在亿邦的调研中,一个常被各种数字人服务商所提及的宏伟设想,或许可以更加具象地展现这门方兴未艾的技术究竟有着多大的想象空间:

    数字人的远期定位,并不是抢“真人”的饭碗,而是在算力爆炸、AI永续迭代的背景下,重构整个电商领域的信息呈现方式。

    未来科技 6小时前
  • 迪士尼想用 AI 改造娱乐业,但它准备好了吗?

     
    乐园:迪士尼的技术试验场
     
    迪士尼乐园不仅是“世界上最快乐的地方”,也是迪士尼前沿技术的实验场。
     
    马克·谢弗曾在人民快运航空和大陆航空从事收入管理工作,他来到迪士尼后,领导一个由 250名员工组成的数据分析团队,对迪士尼乐园的各项业务进行动态定价,并推出了。
     
    2022年,迪士尼推出了人工智能工具。
     
    迪士尼的人工智能困境
     
    1928年,迪士尼推出了世界上首部声画同步动画片《汽船威利》。

    未来科技 7小时前
  • 这个世界变得更精彩,但好像也更无聊了

    那是一个下午,办公室的咖啡机坏了,我在楼下买了一杯厚乳拿铁,上楼后发现同事都出去吃午饭了,我一个人坐在窗边的工位上,升起的阳光正好覆盖在了我的电脑屏幕上,浏览器的文字都变得模糊起来,我眯起眼睛,试图看清屏幕上的字,依稀能看到我的代码编辑器,正在用。

    我是热爱并且积极拥抱这些最新最酷的技术的人之一,但我猛然想到,那些不那么乐意拥抱新技术的人,就一定要被淘汰,这也是让人挺不舒服的一件事。

    未来科技 7小时前
  • 工业AI大模型落地应用的最新实践,都在这里

    上述问题,也正是我们即将在“大鲸AI闭门会·制造专场”上深入探讨的焦点!
     
    6月20日,虎嗅智库将在苏州举办“2024大鲸AI闭门会·工业制造专场”,汇聚信通院、美的、隆基绿能、施耐德电气等权威机构、头部甲方企业、工业智能企业的创新者,独家完整呈现甲方头部完整AI应用落地案例,并将围绕、“智能生产与排程”、“质量分析与数字模拟”、“人机协作与智能制造”等话题,共同探寻AI大模型在工业智造领域的落地应用。

    未来科技 8小时前
  • 果然,美国限制AI出口立法的进程又进一步

    Review(ID:Internet-law-review),作者:互联网法律评论,题图来自:视觉中国

    当地时间2024年5月22日,美国众议院外交事务委员会以压倒性多数,通过了一项限制AI模型出口的法案。

    只是从功用上对“涵盖的人工智能系统”进行了一定的概括,不过,这样的“新定义”基本上涵盖了“任何人工智能系统、软件或硬件”,只要这些物项满足以下条件:

    侵蚀美国国家安全或外交政策的方式。

    未来科技 9小时前
  • 微软Build:GPT-4o重塑Windows,奥特曼剧透新模型

    本文来自微信公众号:APPSO (ID:appsolution),作者:超凡、王萌、崇宇,题图来自:微软Build 今天凌晨,微软带来了一系列重磅产品,一口气发布了50多项更新。 …

    未来科技 9小时前
  • 产业政策的迷失:日本AI败局启示

    本来,日本在神经网络和深度学习方面有很强的底蕴,但在全面为第五代计算机服务的背景下,全社会的资源都在向专家系统这一路径倾斜,甚至连福岛邦彦这样的大佬都很难申请到需要的经费。而当第五代计算机的梦想在二十世纪九十年代最终破裂后,日本干脆削减了对整个AI学科的资金扶持,这就导致了最优秀的人才根本不愿意进入这个领域。

    一旦有日本的AI企业率先从类似的领域发起突围,并真正实现了盈利,那么日本全社会对AI兴趣的低迷就会被扭转,人才也会陆续重新回到这个领域。

    未来科技 9小时前
  • AI已经擅长欺骗人类,其阴暗面令人震惊

    从娱乐至生活,AI欺骗在扩散

    诚然,游戏无疑是一个相对可控的环境,我们可能倾向于认为,这种AI欺骗行为的危害并不严重。

    而且,这种欺骗能力并非仅存在于模型规模较小、应用范围较窄的AI系统中,即便是大型的通用AI系统,比如GPT-4,在面对复杂的利弊权衡时,同样选择了欺骗作为一种解决方案。

    AI欺骗的系统性风险

    毋庸置疑,一旦放任不管,AI欺骗给整个社会带来的危害是系统性和深远的。

    未来科技 9小时前
  • 第一个iPhone刺客,可能要倒下了

    //www.cnet.com/tech/mobile/humane-maker-of-wearable-ai-pin-is-exploring-a-sale-report-says/
    https。//techcrunch.com/2024/05/22/humane-the-creator-of-the-700-ai-pin-is-reportedly-seeking-a-buyer/。

    未来科技 9小时前
  • 第一波收割完的AI创企要跑路了?6年来仅做了一款产品

    创办Humane之前,Chaudhri曾在苹果公司担任设计师长达20年,据报道于2017年被苹果公司解雇,Bongiorno在苹果公司工作了8年,担任iOS和macOS的软件工程总监,并于2016年离职。

    Humane与微软的合作主要是体现在其利用微软的云基础设施搭建技术平台,同时,Humane也将OpenAI的技术集成到其设备中。

    未来科技 10小时前