这几位前OpenAI员工,想打造“机器人界的ChatGPT”

2021 年,因缺乏足够的训练数据,OpenAI 低调地终止了内部的机器人研究项目。

现在,我们却有机会看到 OpenAI 那未被实现的愿景。

2017 年,三位 OpenAI 早期研究成员创立了 Covariant,用直接投入行业去解决那个让 OpenAI 止步不前的数据难题 —— 没有数据,那就“创造”数据。

来到 2023 年,专注于打造软件平台的 Covariant 发布了机器人基础模型“RFM-1”。

在这个基础模型的支持上,人们印象冷冰冰的工厂机械臂,不仅能直接和用户对话,甚至还懂得“想象”与“求助”。

为何要让机械臂能“对话”,会“想象”?

我刚意识到我是这个台上唯一一个不是 CTO 的人。    

在上周的英伟达 GTC 活动中,Covariant CEO Peter Chen 在其中一个论坛中说道。

从某个角度来看,这也正好体现了 Covariant 产品的一个重要差异性 —— 关于技术的对话,可以更友好。

一般来说,如果想让机械臂完成流水线上的某项工作,譬如说给机器拧上特定一颗螺丝,工程师必须为此进行专门的编程,让机械臂完成,且只能完成这项工作。

如果要换个任务,那又是另一番的编程工作。

就如 ChatGPT 打破了普通人和 AI 对话的门槛,Covariant 的 RFM-1 也打破了普通人和机械臂对话的障碍。

有了这个底层大模型,用户可以直接像和 ChatGPT 聊天一样和机械臂实时对话:

—— 框里有水果吗?    
—— 有的。我看到了苹果和香蕉。    
—— 拿起所有的红苹果。    

有了这样的灵活性,工厂、仓库里的机械臂能敏捷地适应不同需求。

让我印象更深刻的是,和聊天机器人爱“信口张来”的习惯相比,RFM-1 支持的机械臂在遇到难题时显得更谨慎,甚至会主动“求助”人类。

在演示视频中,机械臂在被要求拿起一筒筒的网球时遇到了困难:

—— 我没法抓住。    
—— 你有什么建议吗?    
—— 移到物件高处两厘米旁,轻轻地把它推倒。    

来自机械臂的“求助”

试过这个建议后,机械臂能把学到的应用到下一个动作中。

从这些自然语言的交互也能看出,RFM-1 也和我们更熟悉的大语言模型一样,在训练时学习了大量的文本、图像、视频等素材。

在这基础上,让它真正区别于其他同类模型的,是大批量真实的机械臂操作视频。

还记得最开始说 OpenAI 是因为缺乏可用训练数据才放弃机器人项目的吗?

Covariant 也不是一开始就拥有了这样宝贵的数据,而是一步步自己“做”出来的。

当 Covariant 于 2017 年成立时,它就开始为真正的商户提供机械臂系统服务。

这些如今分布已遍布全球十多个国家的机械臂日复一日地工作,同时也在“生产”高质量的多模态视频数据。

在现实中,不同物品在容器中的堆叠方式都多种多样,这也只是现实情况多样性的一个小方面

和其他演示类视频数据相比,Covariant 机械臂的“打工视频”不仅涵盖了不同的“工种”,接触了多元商品,也记录了很多真实“意外”:可能是不小心卡在传送带上无止境翻滚的商品,也可能是商品外包装突然坏了。

现实工作中出现的“意外”也是重要学习素材

模型这样大量的数据基础让机械臂不仅可“理解”,甚至能“想象”。

用户可以让机械臂拿起特定物件,也可以让机械臂生成一个视频,以鸟瞰视角呈现它将如何拿起这样物件。

模型自己生成的“想象”

在这个生成的视频中,模型不仅生成了拿起的动作,同时也会生成物件被拿起后置物容器发生的改变。

虽然说这个功能暂时在仓库里无实际用途,但却可展示机械臂对人物和场景的理解:

如果它能预测到视频下一帧画面,那它就可以确定要遵循的正确策略。    

Covariant 联合创始人兼首席科学家Pieter Abbeel 解释道。

最右边图片是模型生成的图像,预测拿起特定物品后框里情况是怎样

当然,现在的 RFM-1 仍存在局限性。“MIT Technology Review”记者在体验演示时就遇上了机械臂表现不佳的情况。

当时,记者通过对话框要求机械臂把香蕉放到二号托特包里,结果机械臂先是拿起了海绵、然后是个苹果,接着还试拿了其他一系列东西,最后才拿起来了香蕉放好,完成任务。

它没有理解那个新概念。但这也是一个很好的例子 —— 在训练数据还不是非常充分的领域,它的运行暂时未必很好。    

Covariant CEO Peter Chen 在旁解释说。

接下来,RFM-1 当然会在更多的真实操作视频数据中继续优化,但在未来,Covariant 最终计划将模型自己生成的视频用作模型训练数据的一部分:

(生成数据)它来训练将成为现实。如果我们在半年后再聊,那就会成为我们谈论的主题。    
  

AI 时代的机器人,要换种方式学习

Covariant 那用模型生成视频来当训练素材的计划,虽然会引来一些质疑 —— 万一模型生成的数据本来就有错那怎么办?—— 但在大语言模型训练领域似乎已经成为一种新主张。

据《大西洋月刊》报道,在过去的几个月里,Google DeepMind、微软、亚马逊、苹果、OpenAI 和其他学术研究实验室都曾发表了用 AI 模型来训练另一个/同一个 AI 模型的论文,并表示模型获得了很大进步。

DeepMind 联合创始人 Demis Hassabis、Anthropic 联合创始人 Dario Amodei 和计算机专家 Yann LeCun 等人都支持这种自训练模式。

来到机器人领域,在“虚拟”中学习似乎也有可能成为新常态。

在上周的英伟达 GTC 主题演讲中,黄仁勋揭晓了英伟达为人形机器人打造的通用基础模型 GR00T,搭配的还有为人形机器人设计的新型计算平台 Jetson Thor。

有了这搭配的机器人,不仅能理解自然语言,还可以在 Isaac Sim 的模拟世界中进行不间断的学习 —— 不必受限于人力物力和空间限制。

据黄仁勋介绍,在舞台上吸睛无数的迪士尼机器人,就是在 Isaac Sim 中学会走路的。

在此前迪士尼发布的视频中,迪士尼研究实验室副总监 Moritz Bacher 表示,这些机器人在虚拟环境中学习不同动作和表达的效率非常高:

在几个小时内就能完成相当于在现实世界中要花费数年才能完成的学习。    

长久以来,人形机器人发展一大瓶颈在于“学习”只能依赖“动作编排”。就和机械臂一样,人形机器人的动作学习也常“一板一眼”,用一套动作就得编一次。

有了“学习”能力时,学习用的数据局限又成了另一个门槛。随着模拟数据的完善,这个情况有机会大幅度改善。原本兼顾步行平衡和完成任务的艰难,在大量的训练中也更有可能获得突破。

有了这个可能性,人们自然把目标放在了“圣杯”一般的通用人形机器人。正如黄仁勋所言:

人形机器人可以更有效率地部署在人类设计的工作站、制造和物流环节中。    
  

现在于机械臂领域有更大优势的 Covariant 的未来目标也充满野心:

我们相信,未来不会只有一种形态的机器人需求。部分会是人形机器人形态,部分会是机械臂形态…… 但所有形态都需要理解同一个真实世界。Covariant 建造的就是那个能驱动所有形态机器人的同一个大脑,能够去理解这个真实的世界。    

正如纽约大学通用机器人和人工智能实验室负责人 Lerrel Pinto 所言:那些能训练出好模型的团体,要不就是要有能力获得大量现存机器人数据,要不就得有能力去生成那些数据。   

本文来自微信公众号:爱范儿 (ID:ifanr),作者:期待未来的

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
(4)
上一篇 2024年3月25日
下一篇 2024年3月25日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日