实在是可惜了，OpenAI安全团队成员纷纷离职

IlyaSutskever和JanLeike于周二宣布离开OpenAI。他们是公司超级对齐团队的负责人——这个团队负责确保AI始终与其制造者的目标一致，不会做出不可预测的行为进而对人类造成伤害。

其实离职的不仅是他们俩人。自去年11月以来——当时OpenAI的董事会试图解雇CEOSamAltman但他很快重新掌权——公司至少有五名最重视安全的员工要么辞职，要么被迫离开。

这到底是怎么回事？

但真正的答案可能与对技术的悲观情绪关系不大，而更多地与对人类——尤其是一个人：Altman的悲观情绪有关。据了解公司情况的消息人士透露，重视安全的员工已经对他失去了信心。

“一点一点地，像多米诺骨牌一样，信任正在崩塌，”一位了解公司内部情况的人士匿名告诉我。

没有多少员工愿意公开谈论这件事。部分原因是OpenAI以让其员工在离职时签署带有不贬低条款的离职协议而闻名。如果你拒绝签署，就会失去公司的股权，这意味着你可能会损失数百万美元。

OpenAI在发表前没有对置评请求作出回应。在我的同事KelseyPiper发表关于OpenAI离职协议的文章后，OpenAI向她发送了一份声明，指出：“我们从未取消任何现任或前任员工的已授予股权，如果员工在离职时不签署解除协议或不诋毁协议，我们也不会这样做。”当Piper问这是否代表政策变化时，因为公司内部消息人士曾暗示政策有变，OpenAI回复道：“这个声明反映了现实。”

在本文发表后不久，Altman在周六下午的一条推文中承认，公司在离职文件中确实有关于“潜在股权取消”的条款，但表示公司正在更改该条款的语言，以消除这种可能性。

但是，一位前员工拒绝了签署离职协议，以便能够自由地批评公司。DanielKokotajlo于2022年加入OpenAI，抱着引导其安全部署AI的希望，在负责公司治理的团队工作——直到他上个月辞职。

“OpenAI正在训练越来越强大的AI系统，目标是最终在各个领域超越人类智能。这可能是人类历史上最好的事情，但如果我们不谨慎行事，也可能是最糟的事情，”Kokotajlo本周对我说。

OpenAI表示，它希望构建通用人工智能（AGI），一种能够在人类或超人类水平上在多个领域执行任务的假设系统。

“我加入时满怀希望，认为OpenAI会在接近实现AGI时更加负责任地行事。但我们中的许多人逐渐发现，现实不是这样的，”Kokotajlo对我说。“我逐渐失去了对OpenAI领导层及其负责任地处理AGI的能力的信任，所以我辞职了。”

而Leike在周五的一条X帖子中解释了他为何辞去超级对齐团队联合领导的职务，并描述了非常相似的情况。“我与OpenAI领导层在公司核心优先事项上存在分歧已有一段时间，直到我们最终达到了一个临界点，”他写道。

要了解发生了什么，我们需要回到去年11月。当时，Sutskever与OpenAI董事会合作，试图解雇Altman。董事会表示Altman“在沟通中不够坦诚一致。”翻译过来就是：我们不信任他。

罢免行动彻底失败了。Altman和他的盟友，公司总裁GregBrockman威胁要将OpenAI的顶尖人才带到微软——实际上这会摧毁OpenAI——除非Altman复职。面对这一威胁，董事会让步了。Altman以更强大的姿态回归，有了新的、更支持他的董事会成员，并拥有了更大的自由来管理公司。

当你射击国王却未能击中时，事情往往会变得尴尬。

公开场合，Sutskever和Altman表现出友谊依旧的样子。当Sutskever本周宣布离开时，他说自己将去追求“一个对我个人非常有意义的项目。”

两分钟后，Altman在X上发帖称，“这对我来说非常难过；Ilya是……一个亲密的朋友。”

然而，自从“政变未遂”以来，Sutskever已有大约六个月未在OpenAI办公室露面。他一直在远程联合领导超级对齐团队，负责确保未来的AGI与人类的目标一致，而不是失控。这是一个很好的愿景，但与公司日常运营脱节，后者在Altman的领导下正急于商业化产品。然后，在Altman被重新任命后不久Sutskever发布了一条推文，随后迅速删除：

所以，尽管表面上关系融洽，但在Sutskever试图驱逐Altman之后，我们有理由怀疑他们是否真的还是朋友。

Altman被解雇时的反应暴露了他的性格特点：他威胁要在董事会重新聘用他之前掏空OpenAI，并坚决要求在董事会中安插对他有利的新成员，显示出他对权力的执着和避免未来权力被制衡的决心。前同事和员工形容他是一个操纵者，表里不一——一方面声称优先考虑安全，另一方面行为却自相矛盾。

例如，Altman正在与沙特阿拉伯等专制政权筹集资金，计划创办一家新的AI芯片制造公司，这将为他提供大量构建前沿AI所需的稀缺资源。这让注重安全的员工感到震惊。如果Altman真的关心以最安全的方式构建和部署AI，为什么他急于积累尽可能多的芯片，这只会加速AI技术的发展呢？同样，为什么他要冒着与可能利用AI加强数字监控或侵犯人权的政权合作的安全风险呢？

对员工来说，这一切导致了他们对OpenAI承诺和价值观真实性的逐渐丧失，据一位内部消息人士透露，这一过程在本周达到了高潮。

超级对齐团队（superalignmentteam）联合负责人JanLeike没有客套话。他在Sutskever宣布离职后几小时内就在X上发帖称：“我辞职了。”没有温暖的告别，也没有祝福公司领导层。

其他注重安全的前员工引用Leike直截了当的辞职声明，并附上了心形表情符号。其中一位是LeopoldAschenbrenner，Sutskever的盟友和超级对齐团队成员，上个月被OpenAI解雇。

媒体报道称，他和同团队的另一位研究员PavelIzmailov因涉嫌泄露信息而被解雇。但OpenAI未提供任何泄密证据。考虑到所有人初入OpenAI时签署的严格保密协议，如果Altman——一个在硅谷有深厚人脉的老手，擅长与媒体打交道——想要摆脱Sutskever的盟友，即使是分享最无害的信息也很容易被描绘成“泄密”。

在Aschenbrenner和Izmailov被迫离职的当月，另一位安全研究员CullenO’Keefe也离开了公司。

综合这些信息和我与公司内部人士的对话，我们看到至少有七个人试图从内部推动OpenAI在安全方面取得更大进展，但最终他们对魅力四射的Altman失去了信心，导致他们的立场变得难以为继。

“我认为公司内部很多认真对待安全和社会影响的人都认为这是一个开放性的问题：为像OpenAI这样的公司工作是件好事吗？”一位内部消息人士说。“答案只有在OpenAI真正认真负责地对待其所做的事情时才是‘是’。”

随着Leike不再领导超级对齐团队，OpenAI已安排公司联合创始人JohnSchulman取代他。

但该团队已经被削弱。而Schulman已经忙于确保OpenAI现有产品的安全这份全职工作。我们还能指望OpenAI在未来进行多少严肃的前瞻性安全工作呢？

可能不多。

“建立超级对齐团队的全部意义在于，如果公司成功构建通用人工智能（AGI），会出现各种不同的安全问题，”一位内部消息人士告诉我。“所以，这是对未来的专门投资。”

需要明确的是，这并不意味着OpenAI现在发布的产品——比如新版本的ChatGPT，即GPT-4o，可以与用户进行自然对话——会毁灭人类。但未来会发生什么呢？

“区分‘他们目前是否在构建和部署不安全的AI系统’和‘他们是否有能力安全地构建和部署AGI或超级智能’是很重要的，”一位内部消息人士说。“我认为第二个问题的答案是否定的。”

Leike在他周五在X上的帖子中表达了同样的担忧。他指出，他的团队一直在努力获得足够的计算能力来完成工作，通常是在“逆风航行”。