刚刚，OpenAI治理研究员Richard Ngo宣布辞职。
在 OpenAI 从事人工智能预测和治理工作三年后，我刚刚在 Slack 上发布了关于我离职的消息。内容并没有什么特别令人惊讶的地方，但你应该比大多数类似的信息更字面地理解它——我试图只说我完全相信的事情。
恩戈说，他对过去一年发生的事件有许多未解答的问题，这让他更难相信自己的工作能够长期造福世界。他逐渐意识到，要实现OpenAI让AGI发展好的使命是多么困难。
Ngo 自 2021 年加入 OpenAI，此前曾在 Google DeepMind 担任 AI 安全研究员。
近期，OpenAI 中专注 AI 安全的员工陆续离职，Ngo 是最新的。
OpenAI 研究科学家、扑克之父诺姆·布朗送上祝福。
一位OpenAI前员工（今年8月辞职）回忆道，自己是通过Ngo的《AGI安全基础》课程才接触到AI安全，并祝愿他未来一切顺利。
辞职信全文
大家好，我决定离开 OpenAI（生效日期为周五）。
过去三年我一直在迈尔斯手下工作，所以在他离开后，我似乎也该离开了。没有任何一个主要因素促使我做出这个决定。
对于过去一年发生的事件，我仍然有很多未解答的问题，这让我更加难以相信我的工作能够对世界产生长期的积极影响。我也更倾向于公开迭代更多内容，并与更多合作者一起探索多个研究方向。
在接下来的几个月里，我计划对人工智能治理和理论人工智能协调问题进行主要的独立研究，然后看看未来的发展方向。
尽管经历了很多坎坷，但我真的很享受在 OpenAI 的时光。我有机会参与许多有趣的主题，包括预测、威胁建模、模型规范和人工智能治理，并与一群不断创造历史的非凡人士一起工作。
当我面对新加入公司的人时，我很难向他们传达 OpenAI 最初的抱负：设定一个使命，让 AGI 变得更好。
虽然任务的“发展通用人工智能”部分似乎走在正确的轨道上，但我（和其他人）逐渐意识到，为任务的“发展良好”部分做出积极贡献比预期要困难得多。尤其是需要防止其对人类生存的威胁。
部分原因是预测未来本质上是困难的，但也因为通用人工智能前景的巨大规模往往会放大人们（包括我自己）的偏见、合理化和部落主义。
PS：合理化是心理学和行为经济学中的一个概念，是指人们在面对自己无法接受的行为、想法或决定时，通过为自己提供看似合理或合理的解释来缓解问题的努力。内心不适或认知失调的感觉。简单地说，合理化是一种防御机制，人们为自己的非理性行为或决定找到适当的理由，以便接受或不感到内疚。这种心理机制可以帮助人们减轻认知冲突，但它也会让不诚实或非理性的行为长期存在。部落主义是一种社会现象，是指人们对某一特定群体有强烈的认同感和忠诚感，从而对其他群体或文化产生排斥、敌视或竞争的态度。部落主义不仅限于传统的部落或族群，还可以表现在各种现代社会群体中，如政治派别、宗教信仰、企业文化、运动队支持者等。
无论好坏，我预计风险将继续增加，因此我希望你们（和 OpenAI）在这些风险中能够以诚信、深思熟虑和清晰的判断来对待自己（和 OpenAI）所扮演的角色，并在何时以及如何做出真正服务于我们使命的决策。
长期深耕AI安全
在 OpenAI 许多专注于人工智能安全的员工离职后，Richard Ngo 的离职尤其具有象征意义。
要知道，他是AI安全界颇具影响力的声音，从2018年开始就一直致力于AI安全研究——而ChatGPT直到2022年底才开始在全球流行。
他是论文《深度学习视角下的对齐问题》的合著者，该论文已发表在 ICLR 上。
论文地址：
他还在网上收集了大量的学习资料，编写了一系列“AI对齐”课程。
课程地址：
Ngo也是一位非常人文的科技实践者。这不难解释他对OpenAI初衷的坚持以及对AI安全未来的担忧。
他在剑桥大学获得机器学习哲学博士学位（2020-2021 年），并在同一所大学获得计算机科学硕士学位（2017-2018 年）。此外，他还获得了牛津大学计算机科学和哲学学士学位（2014-2017 年）。
他还在自己的博客上撰写了《AI Autofiction》，在其中描述了从未来人工智能的角度来看世界可能是什么样子。
博客地址：
AI安全员工外流
近期，不少专注AI安全的员工离开了OpenAI。
在 OpenAI 工作七年的资深人士兼安全副总裁 Lilian Weng 上周宣布辞职。
OpenAI 的六年资深人士兼研究总监、也是 Ngo 老板的迈尔斯·布伦戴奇 (Miles Brundage) 上个月辞职。
更进一步来说，OpenAI 的超级联盟联合领导者 Ilya Sutskever 和 Jan Leike 也在今年早些时候离开了公司。
雷克曾表示，“OpenAI的安全文化和流程已经被令人眼花缭乱的产品所取代”。
许多其他专注于安全的员工，包括 William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo 和 Cullen O'Keefe 也已离职。
参考：
