Altman投资的安全团队,被OpenAI悄悄招募了

图片来自Indent网站

双方紧密的关系,以及日后Indent涉足大模型安全领域,为Indent并入OpenAI做好了铺垫。

三、Indent并非加入超级对齐

将Indent一整个团队招募至麾下,是OpenAI对于超级对齐团队的补充吗。

OpenAI超级对齐团队由伊利亚·苏茨克维和简·雷克共同领导,但两人现在已经离职。据媒体报道,在两人离职后,超级对齐团队已经分崩离析。

Indent团队并非加入超级团队。

在OpenAI首席科学家伊利亚·苏茨克维(Ilya Sutskever)宣布离职8天后,OpenAI悄悄招募了一整个安全相关的团队。

这个团队名叫Indent,是一家位于美国加利福尼亚州的数据安全初创公司。5月23日,Indent的联合创始人、CEO阿福德·马丁(Fouad Matin)在X上宣布自己将加入OpenAI负责安全相关的工作。

图片来自X

虽然双方并未宣布细节,但Indent这家公司大概率将全部并入OpenAI。Indent在其网站上宣布,“经过仔细考虑,我们做出了一个非常艰难的决定,Indent将在未来几个月内关闭”,“7月15日之后服务将停止使用”。

值得一提的是,OpenAI CEO萨姆·奥尔特曼(Sam Altman),曾在2021年参与了Indent约560万美元的种子轮融资,双方算是老相识了。

近期OpenAI风波不断,其中备受关注的是在伊利亚·苏茨克维离职后引发的连锁反应,OpenAI负责安全的超级团队的联合主管简·雷克(Jan Leike)也宣布离职。两人共同领导的超级对齐团队去年7月才刚刚成立,现在已经分崩离析。

然而,仔细一看就会发现,Indent团队的加入虽然是对安全团队新鲜血液的补充,但与超级对齐团队却毫无关系。

Indent团队的加入更加明确了一件事:萨姆·奥尔特曼正把OpenAI变成一家彻头彻尾的商业化公司。

一、Indent是谁?

先介绍一下Indent这家公司。

Indent成立于2018年,从事数据安全相关业务,它所提供的服务也很简单——自动化处理访问权限的审批流程。

比如,当工程师需要查看生产服务器日志或客户支持需要敏感系统的管理员权限时,他们可以使用Indent的应用程序请求访问权限,而无需IT部门的帮助。审阅者可以通过Slack收到消息并直接从那里批准,然后一旦时间到期,访问权限就会自动撤销。

Indent为公司中的每个人提供按需访问控制,让他们可以在需要时访问自己需要的内容。

这项看似简单的服务解决了一个重要的需求——随着团队规模的扩大,越来越多的员工需要访问越来越多的服务,而这些服务的审批可能需要几天、几周甚至几个月的时间。当然可以简化审批流程,但最简单的方法往往不是最正确的方法,因为这可能带来安全问题。如果涉及到关键业务,在几个小时内回复客户还是几天内回复客户,将会带来完全不同的结果。

许多公司至少使用几十个应用程序来处理不同团队的关键服务、协作或客户数据,每个应用程序都有几十个不同的潜在角色或子权限,这很容易失控。

而Indent,就是为团队提供最简单、最安全的方式,来实现民主化的访问管理和问责制度。

2023年,在大模型兴起之后,Indent将数据安全的业务顺势拓展到了大模型领域。

2024年3月,Indent联合创始人、CEO阿福德·马丁发表了一篇文章《价值百万美元的人工智能工程问题》。

他提到,模型权重、偏差和训练它们所用的数据是人工智能皇冠上的明珠,是公司最宝贵的资产。对于开发定制模型或微调现有模型的公司来说,他们会在工程时间、计算能力和训练数据收集上投入数百万美元。

但是,大语言模型存在泄露的风险。他以Llama举例,Meta一开始并没有考虑将Llama完全开源,而是做出一些限制。然而,有人却将其泄露在了4chan网站上。Meta不得不顺水推舟,将Llama完全开源了。

因此,Indent针对性地提出了模型权重、训练数据、微调数据的安全解决方案。

二、与Altman渊源颇深

Indent与OpenAI双方的渊源由来已久。

Indent有两位联合创始人,阿福德·马丁(Fouad Matin)担任CEO,丹·吉莱斯皮(Dan Gillespie)担任CTO。

阿福德·马丁是一位工程师、隐私倡导者,也是街头服饰爱好者,他之前在Segment公司从事数据基础设施产品的工作。2016年,他与别人共同创立了VotePlz,这是一个非党派的选民注册和投票率非营利组织。他热衷于帮助人们找到令人满意的工作,此前他创立了一家通过YC W16计划的推荐招聘公司。

丹·吉莱斯皮是第一个非谷歌员工管理Kubernetes发布的人,并且自项目早期以来一直是定期贡献者。作为他进入K8s的起点,他是一家协作部署工具的联合创始人兼CTO(YC W16),在那里他构建了Minikube。他的公司被CoreOS收购,后来CoreOS成为了RedHat的一部分,随后又成为IBM的一部分。

通过履历可以看出,两人早年间与YC关系紧密。而萨姆·奥尔特曼在2011年投入了创业孵化器YC,并从2014年开始担任YC总裁,直到2019年担任OpenAI CEO。

2021年12月21日,Indent宣布获得560万美元的种子轮融资,领投方包括Shardul Shah(Index Ventures合伙人)、Kevin Mahaffey(Lookout首席技术官)和Swift Ventures,而跟投方的豪华阵容中,就包括萨姆·奥尔特曼以及他的弟弟杰克·奥尔特曼(Jack Altman)

图片来自Indent网站

双方紧密的关系,以及日后Indent涉足大模型安全领域,为Indent并入OpenAI做好了铺垫。


三、Indent并非加入超级对齐

将Indent一整个团队招募至麾下,是OpenAI对于超级对齐团队的补充吗?答案是否定的,因为这是两个完全不同的团队。

OpenAI的安全团队实际上一共有三个:安全系统团队(Safety Systems)、准备团队(Preparedness)、超级对齐团队(Superalignment)

三个团队的分工为安全系统团队关注当前模型的部署风险,专注于减少对现有模型和ChatGPT等产品的滥用;准备团队专注于前沿模型的安全评估;超级对齐团队专注于协调超级智能,为在更遥远的未来拥有的超级智能模型的安全性奠定基础。

图片来自OpenAI网站

安全系统团队是一个相对成熟的团队,分为四个子系统:安全工程、模型安全研究、安全推理研究、人机交互,汇集了一支多样化的专家团队,包括工程、研究、政策、人工智能协作和产品管理等领域的专家。OpenAI表示这种人才组合已被证明非常有效,使OpenAI能够接触到从预训练改进和模型微调到推理时监控和缓解的广泛解决方案范围。

准备团队对前沿人工智能风险的研究远远没有达到需要达到的水平。为了弥补这一差距并系统化安全思维,OpenAI在2023年12月发布了一个名为“准备框架”的初始版本,它描述了OpenAI跟踪、评估、预测和防范日益强大的模型带来的灾难性风险的过程。

图片来自OpenAI

OpenAI还表示将成立一个专门的团队来监督技术工作,并建立安全决策的运营结构。准备团队将推动技术工作,以检查前沿模型能力的极限、进行评估并综合报告。OpenAI正在创建一个跨职能的安全咨询小组,以审查所有报告并同时将其发送给领导层和董事会。虽然领导层是决策者,但董事会有权推翻决定。

超级对齐团队是2023年7月5日刚刚成立的新团队,旨在2027年之前用科学与技术来引导和控制比人类聪明得多的人工智能系统。OpenAI宣称会用公司20%的计算资源投入这项工作。

关于超级对齐还没有明确可行的解决方案。OpenAI的研究方法是,用已经对齐的小模型来监督大模型,然后通过逐步扩大小模型的规模来逐步对齐超级智能,并对整个流程进行压力测试。

OpenAI超级对齐团队由伊利亚·苏茨克维和简·雷克共同领导,但两人现在已经离职。据媒体报道,在两人离职后,超级对齐团队已经分崩离析。

Indent团队并非加入超级团队。根据Indent团队在X上发布的信息,他们加入的是OpenAI的准备团队,负责前沿模型的准备、客户的数据管理。

图片来自X

这意味着OpenAI正在加大前沿模型的投入。

近期在法国巴黎举办的VivaTech峰会上,OpenAI开发者体验主管Romain Huet展示的PPT里,透露了OpenAI的下一款新模型“GPT Next”将在2024年晚些时候发布。

图片为OpenAI在VivaTech分享的PPT,来自X

OpenAI接下来的工作重心,很可能就在这款新模型的能力与安全上。

四、OpenAI的“原罪”

超级团队的解散、Indent团队的加入,如果把一系列相关事件串在一起,只能得出一个结论:OpenAI正在加速追求模型的落地与商业化。

这一点,在超级对齐团队主管简·雷克的离职声明中已经公开化了。

简·雷克认为应该把更多的带宽花在为下一代模型做准备上,包括安全、监控、准备、对抗稳健性、超一致性、机密性、社会影响和相关主题,但过去几个月他的团队“却为计算资源苦苦挣扎”——连最初承诺的20%的计算资源也不能满足了。

他认为,OpenAI的安全文化与流程已经不再受重视,而光鲜的产品备受青睐。

图片来自X

对此,在OpenAI总裁格雷格·布罗克曼(Greg Brockman)长篇大论的回应里有这么一句话:

我们认为这样的(越来越强大的)系统将对人们非常有益和有帮助,并且有可能安全地交付它们,但这需要大量的基础工作。这包括在训练时它们连接到什么的周到考虑,解决可扩展监督等难题的解决方案,以及其他新型的安全工作。在我们朝着这个方向构建时,我们还不确定何时能达到我们的安全标准来发布产品,如果这导致发布时间表推迟,那也没关系。

图片来自X

前面提到,OpenAI在成立超级对齐团队时,把引导与控制比人类聪明得多的超级智能系统的时间表设立在了2027年。格雷格·布罗克曼的回应相当于更改了这一时间表——“如果延迟发布,也没有关系”。

需要强调的是,OpenAI并非不重视安全,但显然它对安全的重视需要加上一个条件——一切安全都要以可落地的模型、可商业化的产品作为前提。显然,在资源相对有限的前提下,即使是OpenAI也要做一个取舍。

而萨姆·奥尔特曼倾向选择做一个更纯粹的商人。

安全与商业化是矛盾的吗?对于世界上其他的所有公司,这并非一个矛盾,但OpenAI就是例外。

2023年3月,在GPT-4发布后,埃隆·马斯克曾发出过灵魂拷问:“我很困惑,我捐赠了1亿美元的非营利性组织,怎么就变成了一个市值300亿美元的营利组织?”

在OpenAI宫斗事件发生时,外界已经或多或少猜测到了矛盾的导火索就是由此产生。今年3月8日,调查结果出炉后,OpenAI在官方通告中除了表示萨姆·奥尔特曼回归之外,还宣布了公司会对治理结构做出重大调整,包括“采用一套新的公司治理准则”“加强OpenAI的利益冲突政策”等。

只是,直到OpenAI的超级团队的解散,我们也没有等到新的政策。这可能才是很多离职员工对OpenAI失望的原因吧。

本文来自微信公众号:甲子光年 (ID:jazzyear),作者:赵健‍‍‍

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
Like (0)
Previous 2024年5月27日
Next 2024年5月27日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日