OpenAI成立新安全团队，Sam Altman挂帅

OpenAI成立新安全团队，Sam Altman挂帅

OpenAI正在组建一支新的安全团队，由首席执行官Sam Altman领导，董事会成员包括Adam D'Angelo和Nicole Seligman。该委员会将就“OpenAI项目和运营的关键安全决策”提出建议，这也是几位关键的AI研究人员本月离开公司时表达的担忧。

新团队的成立背景

新团队的首要任务是“评估并进一步开发OpenAI的流程和保障措施”。然后，它将向OpenAI董事会提交调查结果。

安全团队的三位领导人均在董事会任职。然后，董事会将决定如何实施安全团队的建议。

该团队的成立是在OpenAI联合创始人兼首席科学家Ilya Sutskever离职之后进行的，Ilya Sutskever去年支持董事会推翻Altman的企图。他还共同领导了OpenAI的Superalignment（超级对齐）团队，该团队的成立旨在“引导和控制比我们更聪明的人工智能系统”。

超级对齐团队的另一位联合领导人Jan Leike在Sutskever离开后不久也宣布离职。Leike在X上的一篇帖子中表示，OpenAI的安全“让位于闪亮的产品”。随后OpenAI此后解散了超级对齐团队。上周，OpenAI政策研究员Gretchen Krueger宣布辞职，理由也是类似的安全问题。

新团队的成员构成

除了新的安全委员会之外，OpenAI还宣布正在测试一种新的AI模型，但并未确认它是否是GPT-5。

本月初，OpenAI发布了ChatGPT的新配音Sky，听起来与斯嘉丽·约翰逊(Scarlett Johansson)惊人地相似（Altman甚至在X上提到了）。然而，Johansson随后证实，她拒绝了Altman为ChatGPT配音的提议。Altman后来表示，Open AI“从未打算”让Sky听起来像Johansson，在公司选定配音演员后，他联系了Johansson。整个事件让人工智能粉丝和评论家都感到担忧。

OpenAI新安全团队的其他成员包括准备负责人Aleksander Madry、安全负责人Lilian Weng、校准科学负责人John Schulman、安全负责人Matt Knight和首席科学家Jakub Pachocki。但由于有两名董事会成员（以及Altman本人）领导新的安全委员会，OpenAI似乎并没有真正解决其前员工的担忧。

OpenAI透露，最近已开始训练下一个前沿模型，“预计由此产生的系统将使我们在通往通用人工智能（AGI）的道路上达到更高的能力水平”。

委员会成员及未来展望

随后达成一致的建议将“以符合安全保障的方式”公开分享。

该委员会的成员包括董事长Bret Taylor、Quora CEO Adam D'Angelo、索尼娱乐前高管Nicole Seligman，以及包括前文提到的Sam Altman和OpenAI研究员兼联合创始人John Schulman在内的六名OpenAI员工。据报道，OpenAI表示还将在此过程中咨询外部专家。

有人士指出：

“我将保留我的判断，等待OpenAI所采纳的建议发布后，我可以看到它们是如何实施的，但直觉上，我并不十分相信OpenAI（在试图赢得人工智能竞赛的同时，会优先考虑安全和道德。

这是一种耻辱。不幸的是，一般来说，那些不顾一切力争做到最好的人往往很少考虑他们的行为的成本和影响，还有他们如何真实的影响他人。”

我们希望这位人士的证明是错的。在理想的世界中，所有科技公司，无论他们是否参与人工智能竞赛，都应该将他们所做工作的道德和安全放在与追求创新同等重要的位置。