OpenAI 悄悄招募了 Altman 投资的安全团队,但与超级对齐无关

发布日期:2024-10-04 16:20

来源类型:广州日报 | 作者:彼得·比灵斯雷

阅读提醒: 原文作者:赵健 原文来源:甲子光年 在OpenAI首席科学家伊利亚·苏茨克维(Ilya Sutskever)宣布离职8天后,OpenAI悄悄招募了一整个安全相关的团队。 这个团队名叫「Indent」,是一家位于美国加利福尼亚州的数据安全初创公司。5月23日,Indent的联合创始人、CEO阿福德·马丁(Fouad Matin)在X上宣布自己将加入OpenAI负责安全相关的工...
【2024澳门天天开好彩大全开奖记录】 【澳门天天六开彩正版澳门】 【港澳管家婆7777788888】 【2024年正版资料免费大全】 【澳门最准一肖一码】 【澳门一码一码100准确】 【澳门天天开彩期期精准】 【2024澳门天天六开彩结果】 【精准内部资料长期大公开】 【2024澳门精准正版澳门码】 【澳门六开彩天天开奖结果】 【澳彩历史结果查询】 【2024新澳天天开好彩大全】

原文作者:赵健

原文来源:甲子光年

在OpenAI首席科学家伊利亚·苏茨克维(Ilya Sutskever)宣布离职8天后,OpenAI悄悄招募了一整个安全相关的团队。

这个团队名叫「Indent」,是一家位于美国加利福尼亚州的数据安全初创公司。5月23日,Indent的联合创始人、CEO阿福德·马丁(Fouad Matin)在X上宣布自己将加入OpenAI负责安全相关的工作。

虽然双方并未宣布细节,但Indent这家公司大概率将全部并入OpenAI。Indent在其网站上宣布,“经过仔细考虑,我们做出了一个非常艰难的决定,Indent将在未来几个月内关闭”,“7月15日之后服务将停止使用”。

值得一提的是,OpenAI CEO 萨姆·奥尔特曼(Sam Altman),曾在2021年参与了Indent 560万美元的种子轮融资,双方算是老相识了。

近期OpenAI风波不断,其中备受关注的是在伊利亚·苏茨克维离职后引发的连锁反应,OpenAI负责安全的超级团队的联合主管简·雷克(Jan Leike)也宣布离职。两人共同领导的超级对齐团队去年7月才刚刚成立,现在已经分崩离析。

然而,仔细一看就会发现,Indent团队的加入虽然是对安全团队新鲜血液的补充,但与超级对齐团队却毫无关系。

Indent团队的加入更加明确了一件事:萨姆·奥尔特曼正在把OpenAI变成一家彻头彻尾的商业化公司。

1.Indent是谁?

先介绍一下Indent这家公司。

Indent成立于2018年,从事数据安全相关业务,它所提供的服务也很简单——自动化处理访问权限的审批流程。

比如,当工程师需要查看生产服务器日志或客户支持需要敏感系统的管理员权限时,他们可以使用Indent的应用程序请求访问权限,而无需IT部门的帮助。审阅者可以通过Slack收到消息并直接从那里批准,然后一旦时间到期,访问权限就会自动撤销。

Indent为公司中的每个人提供按需访问控制,让他们可以在需要时访问自己需要的内容。

这项看似简单的服务解决了一个重要的需求——随着团队规模的扩大,越来越多的员工需要访问越来越多的服务,而这些服务的审批可能需要几天、几周甚至几个月的时间。当然可以简化审批流程,但最简单的方法往往不是最正确的方法,因为这可能带来安全问题。如果涉及到关键业务,在几个小时内回复客户还是几天内回复客户将会带来完全不同的结果。

许多公司至少使用几十个应用程序来处理不同团队的关键服务、协作或客户数据,每个应用程序都有几十个不同的潜在角色或子权限,这很容易失控。

而Indent,就是为团队提供最简单、最安全的方式来实现民主化的访问管理和问责制度。

2023年,在大模型兴起之后,Indent将数据安全的业务顺势拓展到了大模型领域。

2024年3月,Indent联合创始人、CEO阿福德·马丁发表了一篇文章《价值百万美元的人工智能工程问题》。

他提到,模型权重、偏差和训练它们所用的数据是人工智能皇冠上的明珠,是公司最宝贵的资产。对于开发定制模型或微调现有模型的公司来说,他们会在工程时间、计算能力和训练数据收集上投入数百万美元。

但是,大语言模型存在泄露的风险。他以Llama举例,Meta一开始并没有考虑将Llama完全开源,而是做出一些限制。然而,有人却将其泄露在了4chan 网站上。Meta不得不顺水推舟,将Llama完全开源了。

因此,Indent针对性地提出了模型权重、训练数据、微调数据的安全解决方案。

2.与Altman渊源颇深

Indent与OpenAI双方的渊源由来已久。

Indent有两位联合创始人,阿福德·马丁(Fouad Matin)担任CEO,丹·吉莱斯皮(Dan Gillespie)担任CTO。

阿福德·马丁是一位工程师、隐私倡导者,也是街头服饰爱好者,他之前在 Segment 公司从事数据基础设施产品的工作。2016年,他与别人共同创立了 VotePlz,这是一个非党派的选民注册和投票率非营利组织。他热衷于帮助人们找到令人满意的工作,此前他创立了一家通过 YC W16 计划的推荐招聘公司。

丹·吉莱斯皮是第一个非谷歌员工管理 Kubernetes 发布的人,并且自项目早期以来一直是定期贡献者。作为他进入 K8s 的起点,他是一家协作部署工具的联合创始人兼 CTO(YC W16),在那里他构建了 Minikube。他的公司被 CoreOS 收购,后来 CoreOS 成为了 RedHat 的一部分,随后又成为IBM的一部分。

通过履历可以看出,两人早年间与YC关系紧密。而萨姆·奥尔特曼在2011年投入了创业孵化器YC,并2014年担任YC总裁,直到2019年担任OpenAI CEO。

2021年12月21日,Indent宣布获得560万美元的种子轮融资,领投方包括Shardul Shah(Index Ventures合伙人)、Kevin Mahaffey(Lookout 首席技术官)和Swift Ventures,而跟投方的豪华阵容中,就包括萨姆·奥尔特曼以及他的弟弟杰克·奥尔特曼(Jack Altman)。

双方紧密的关系,以及日后Indent涉足大模型安全领域,为Indent并入OpenAI做好了铺垫。

3.Indent并非加入超级对齐

将Indent一整个团队招募至麾下,是OpenAI对于超级对齐团队的补充吗?答案是否定的,因为这是两个完全不同的团队。

OpenAI的安全团队实际上一共有三个:安全系统团队(Safety Systems)、准备团队(Preparedness)、超级对齐团队(Superalignment)。

三个团队的分工为安全系统团队关注当前模型的部署风险,专注于减少对现有模型和ChatGPT等产品的滥用;准备团队专注于前沿模型的安全评估;超级对齐团队专注于协调超级智能,为在更遥远的未来拥有的超级智能模型的安全性奠定基础。

安全系统团队是一个相对成熟的团队,分为四个子系统:安全工程、模型安全研究、安全推理研究、人机交互,汇集了一支多样化的专家团队,包括工程、研究、政策、人工智能协作和产品管理等领域的专家。OpenAI表示这种人才组合已被证明非常有效,使OpenAI能够接触到从预训练改进和模型微调到推理时监控和缓解的广泛解决方案范围。

准备团队对前沿人工智能风险的研究远远没有达到需要达到的水平。为了弥补这一差距并系统化安全思维,OpenAI在2023年12月发布了一个名为“准备框架”的初始版本,它描述了OpenAI跟踪、评估、预测和防范日益强大的模型带来的灾难性风险的过程。

OpenAI还表示将成立一个专门的团队来监督技术工作,并建立安全决策的运营结构。准备团队将推动技术工作,以检查前沿模型能力的极限、进行评估并综合报告。OpenAI正在创建一个跨职能的安全咨询小组,以审查所有报告并同时将其发送给领导层和董事会。虽然领导层是决策者,但董事会有权推翻决定。

超级对齐团队是2023年7月5日刚刚成立的新团队,旨在在2027年之前用科学与技术来引导和控制比人类聪明得多的人工智能系统。OpenAI宣称会用公司20%的计算资源投入这项工作。

关于超级对齐还没有明确可行的解决方案。OpenAI的研究方法是,用已经对齐的小模型来监督大模型,然后通过逐步扩大小模型的规模来逐步对齐超级智能,并对整个流程进行压力测试。

OpenAI超级对齐团队由伊利亚·苏茨克维和简·雷克共同领导,但两人现在已经离职。据媒体报道,在两人离职后,超级对齐团队已经分崩离析。

Indent团队并非加入超级团队。根据Indent团队在X上发布的信息,他们加入的是OpenAI的准备团队,负责前沿模型的准备到客户的数据管理。

这意味着OpenAI正在加大前沿模型的投入。

近期在法国巴黎举办的VivaTech峰会上,OpenAI开发者体验主管Romain Huet展示的PPT里,透露了OpenAI的下一款新模型“GPT Next”将在2024年晚些时候发布。

图片为OpenAI在VivaTech分享的PPT,来自X

OpenAI接下来的工作重心,很可能就在这款新模型的能力与安全上。

4.OpenAI的“原罪”

超级团队的解散、Indent团队的加入,如果把一系列相关事件串在一起,只能得出一个结论:OpenAI正在加速追求模型的落地与商业化。

这一点,在超级对齐团队主管简·雷克的离职声明中已经公开化了。

简·雷克认为应该把更多的带宽花在为下一代模型做准备上,包括安全、监控、准备、对抗稳健性、超一致性、机密性、社会影响和相关主题,但过去几个月他的团队“却为计算资源苦苦挣扎”——连最初承诺的20%的计算资源也不能满足了。

他认为,OpenAI的安全文化与流程已经不再受重视,而光鲜的产品备受青睐。

对此,在OpenAI总裁格雷格·布罗克曼(Greg Brockman)长篇大论的回应里有这么一句话:

我们认为这样的(越来越强大的)系统将对人们非常有益和有帮助,并且有可能安全地交付它们,但这需要大量的基础工作。这包括在训练时它们连接到什么的周到考虑,解决可扩展监督等难题的解决方案,以及其他新型的安全工作。在我们朝着这个方向构建时,我们还不确定何时能达到我们的安全标准来发布产品,如果这导致发布时间表推迟,那也没关系。

前面提到,OpenAI在成立超级对齐团队时,把引导与控制比人类聪明得多的超级智能系统的时间表设立在了2027年。格雷格·布罗克曼的回应相当于更改了这一时间表——“如果延迟发布,也没有关系”。

需要强调的是,OpenAI并非不重视安全,但显然它对安全的重视需要加上一个条件——一切安全都要以可落地的模型、可商业化的产品作为前提。显然,在资源相对有限的前提下,即使是OpenAI也要做一个取舍。

而萨姆·奥尔特曼倾向选择做一个更纯粹的商人。

安全与商业化是矛盾的吗?对于世界上其他的所有公司,这并非一个矛盾。但OpenAI就是那一个例外。

2023年3月,在GPT-4发布后,埃隆·马斯克曾发出过灵魂拷问:“我很困惑,我捐赠了一亿美元的非营利性组织,怎么就变成了一个市值300亿美元的营利组织?”

在OpenAI宫斗事件发生时,外界已经或多或少猜测到了矛盾的导火索就是由此产生。今年3月8日,调查结果出炉后,OpenAI在官方通告中除了表示萨姆·奥尔特曼回归之外,还宣布了公司会对治理结构做出重要改进,包括“采用一套新的公司治理准则”、“加强 OpenAI 的利益冲突政策”等。

只是,直到OpenAI的超级团队的解散,我们也没有等到新的政策。这可能才是很多离职员工对OpenAI失望的原因吧。

【2024澳门六开彩开奖结果查询表】 【2024澳门天天六开彩免费】 【2024澳门正版开奖结果】 【管家婆100期期中管家】 【澳门六开彩天天免费领取】 【澳门王中王100%的资料2024】 【2024新澳门天天开好彩大全】 【新澳精准资料免费提供】 【澳门三肖三码必中三肖】 【澳门三码三码精准】 【2024澳门天天六开好彩】 【2024澳门天天开好彩大全53期】 【2024澳门三肖三码100%】 【新澳门六开彩开奖网站】
【新澳2024年精准资料期期】 【2024澳门管家婆资料正版大全′】 【澳门六开彩天天开奖结果生肖卡】 【新奥门特免费资料大全】 【新澳内部资料精准一码】 【2024天天开好彩大全正版】 【澳门一码一肖一待一中】 【新澳天天开奖资料大全】 【2024年澳门挂牌正版挂牌】 【澳门一码一肖一特一中管家婆】 【美国男子枪杀80岁祖父后自杀】 【2024新澳门天天彩开奖记录】 【2024澳门天天开彩】 【2024年澳门的资料】

下载中心

视频封面

视频名称:经济学人全球头条:SpaceX互联网卫星,小米辟谣电子烟,永和回应手搅豆浆

大小: 9.5GB 下载:(955357) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:权威媒体预测国足首发:吴曦重回首发,武磊张玉宁搭档锋线!唐舞桐上演极致凸翘,上半身衣服都快被撑破,V形曲线很魔鬼

大小: 4.4GB 下载:(943822) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:大理新闻|握好“支教”接力棒,清华大学研究生支教团接力帮扶南涧一中

大小: 6.7GB 下载:(791144) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:前有女儿国,后有天庭篇,《黑神话:悟空》DLC内容曝光

大小: 4.6GB 下载:(741637) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:保护普通消费者维权 规制“知假买假”,食品药品惩罚性赔偿司法解释发布

大小: 6.5GB 下载:(538908) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:热闻海肠捞饭全网爆火,有单店月售五千多份!内有菜谱,在家也能做

大小: 3.9GB 下载:(310813) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:先考虑清楚这些问题,再开始一段属于自己的创业旅程

大小: 4.9GB 下载:(974238) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:游戏广告藏身作业软件,如此“投放”要不得秀幸福的胡歌,戳穿了薛佳凝的悲惨处境,秦海璐的话终于有人信了

大小: 4.9GB 下载:(154839) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:中国试点外商独资医院,引起美国高度关注,认为机遇与挑战并存

大小: 7.4GB 下载:(890761) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:小学生喜欢玩的烟卡游戏,究竟存在哪些危害?

大小: 8.6GB 下载:(525210) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:为什么下雨天鸭子站着不动?这种行为背后有玄机?

大小: 9.7GB 下载:(231296) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:头部主播大撤退,抖快淘的直播电商会变成什么样?

大小: 6.2GB 下载:(725747) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:「毁经典系列」《宝莲灯》翻拍,演员令人咋舌,孙悟空造型亮了

大小: 7.6GB 下载:(833667) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:2024年居民医保最新缴费标准公布徐璐是真的越来越敢穿了,美呆了!

大小: 1.8GB 下载:(520591) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:亚洲杯众生相:东亚球队17年来首次无缘决赛舞台在绍兴书圣故里,一个人撑着一把伞,穿行在古老又现代的巷子里

大小: 9.9GB 下载:(396642) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:NHK中国籍播音员脱稿事件:多名主管遭处分,国际广播主管辞职

大小: 6.8GB 下载:(699801) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:《雪迷宫中王子奇与王星越意外同路,命运交织何去何从?》

大小: 4.5GB 下载:(537505) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:消费参考|居民储蓄意愿继续攀升

大小: 4.4GB 下载:(407628) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:99元帮业主带5天娃,物业怎么就“卷起来”了?

大小: 8.1GB 下载:(74077) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:海口57名街面流浪人员妥善完成转移安置

大小: 2.7GB 下载:(225965) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:黑神话·西游记!拔作OR愤作?

大小: 4.9GB 下载:(389369) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:江苏小伙打车11公里被索要800多元,官方回应

大小: 3.6GB 下载:(39891) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:心脉医疗终于降价了,但事情还没完网友25个童年难忘的经历!深感久违的纯真笑容已渐行渐远

大小: 6.5GB 下载:(590099) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:华为苹果终于正面交锋了!三折叠手机v苹果16,谁能成为电子茅台

大小: 6.4GB 下载:(974129) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:曾因涉嫌使用劣药和过期医械被重罚,杭州仁术医美该怎么办?

大小: 5.3GB 下载:(423716) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:三国志战略版(2赛季攻略)

大小: 4.9GB 下载:(586896) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:震惊!摆摊十天挣一万块,换了你,你去不?网友炸锅

大小: 1.6GB 下载:(256410) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:蝴蝶效应!美国科技股崩盘:苹果英伟达谷歌等7巨头,蒸发7万亿太原宝藏地 幸福之城

大小: 8.1GB 下载:(114182) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:和评理|聚焦中非合作论坛峰会:携手同行共谱中非合作新华章

大小: 2.2GB 下载:(222724) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:你早,河北|步入“中度老龄化”社会意味着什么;天上有颗“河北师大”星;乌克兰计划无限期占领俄领土;淘宝接入微信支付,谁是赢家?

大小: 4.4GB 下载:(956369) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)
视频封面

视频名称:【水怪实录】喀纳斯湖之谜:马头怪物的真面目

大小: 8.7GB 下载:(75191) 语言: 中文字幕 最后更新: 2024年10月05日

下载视频 (注:防盗链已开启)

评论

打开APP查看11条评论

理查德·格拉翰

3秒前

许多公司至少使用几十个应用程序来处理不同团队的关键服务、协作或客户数据,每个应用程序都有几十个不同的潜在角色或子权限,这很容易失控。

芦屋小雁

9分钟前

OpenAI的“原罪”

弗拉迪米尔·加林

1天前

OpenAI正在创建一个跨职能的安全咨询小组,以审查所有报告并同时将其发送给领导层和董事会。

发表您的评论: