刚刚,有消息称“GPT之父”Alec Radford已从OpenAI辞职!
谁也没想到,在OpenAI 12号圣诞节特别活动即将结束时,却迎来了这样的一颗炸弹。
OpenAI 这次失去的是一位资深的关键成员,他是真正创造了迄今为止最大的 AI 突破 ChatGPT 的人。
2016年加入OpenAI后,他不仅为GPT-1、GPT-2、CLIP、Whisper做出了贡献,还为GPT-3、GPT-4、DALL-E 2/3等技术突破提供了支持。他是许多 OpenAI 项目的作者。美国专利发明人。
向左或向右滑动即可查看
他在机器学习和深度学习领域非常多产,论文引用次数达到19万次,多篇论文入选NeurIPS、ICLR、ICML等著名会议。他的合作者包括llya和lan Goodfellow等著名学者。
据 The Information 报道,就在周四,雷德福宣布离职,并将很快进行独立研究。据悉,他计划同时与OpenAI以及其他AI开发者进行合作。
OpenAI 研究主管 Mark Chen 表示:“我们对 Alec 及其贡献深表敬意和感谢,并期待在他探索独立研究时继续与他进行项目合作。”
德州扑克之父、OpenAI 的高级研究科学家曾评价道:“OpenAI 真正开始发光发热是在聘请了当时名不见经传的研究员 Alec Radford 的时候。”
也有人提出了有意义的问题:如果OpenAI真的处于AGI的边缘,为什么这些人会离开?
真正的“ChatGPT之父”
2016年注定是OpenAI的转折点。
23 岁的传奇 AI 研究员 Alec Radford 选择加入。这一决定不仅改变了他的职业生涯,也开启了人工智能发展的新一页。
有人说雷德福的角色就像发明PageRank的谷歌创始人拉里·佩奇一样。
他是一位内向、低调的研究员,很少亲自露面,也从未接受过任何采访。
此前,雷德福曾透露,他最大的兴趣是让神经网络能够与人类进行真正的对话。
加入OpenAI后,他开始的第一个实验是利用20亿条Reddit评论来训练预测模型,但没想到却以失败告终。
当时,格雷格·布罗克曼总统鼓励,没关系,再试一次。
由于计算能力有限,雷德福只能在单一领域进行实验。接下来,他选择了亚马逊电商平台评论,尝试让语言模型简单地预测并生成用户评论的下一个字符。
看似平凡的选择却带来了意想不到的收获:模型不仅可以预测评论的下一个字符,还可以独立判断评论的情感倾向(正面/负面),甚至可以根据需求生成不同风格的评论。
文章链接:
正是这一突破引起了OpenAI前首席科学家Ilya的注意。然后,他鼓励雷德福德进一步扩大他的研究范围——在亚马逊评论数据之外再次尝试。
2017年,Transformer基础工作发布,给Radford的研究带来了质的飞跃。
他与 Ilya 合作创建了一个总共 1.17 亿个参数的模型,并将其命名为“生成式预训练 Transformer”(GPT)。
该模型在 7000 种未出版的学习书籍、Quora 问答以及各种考试文章中展示了前所未有的预测理解能力。
更神奇的是,GPT还具备零样本学习的能力,而且在未训练的领域也具有专业水平。
这种超出预期的能力让团队异常兴奋,并引发了他们对AI方向的深入思考。
有趣的是,当第一代 GPT 出来时,Radford 和他的团队选择了低调的做法,直接在 arXiv 上发表论文,而不是提交给各大会议。
a16z著名风险投资家Marc Andreessen曾这样形容,“2018年到2019年间,他躲在人工智能的角落里,静静地潜心于自己领域的研究”。
正是这种坚持,最终改变了人工智能的发展轨迹。
传奇的GPT系列也从这一刻开始。
OpenAI,失去关键员工
亚历克·雷德福的离开就像一颗重磅炸弹,震惊了网友。
有人说,这位资深人士对 OpenAI 和整个 AI 研究的影响被低估了。甚至可以说,他的影响力并不亚于伊利亚。
就在几天前,Ilya 在 NeruIPS 2024 的演讲中还特别提到,他很感谢他的前同事 Alec Radford
因为他不仅是GPT的主要作者,也是公司各个重要研究方向的带头人。
加州大学伯克利分校人工智能博士 Dan Hendrycks 表示,在他的人工智能学术影响力榜单中,何恺明和亚历克·雷德福位居前两位。
CS教授、DeepMind高级顾问Jeff Clune表示,我们应该重新审视Alec Radford的名字。
他是AI研究领域最重要的人物,但他并不出名,他被低估,在取得重大进展后却默默无闻。
克鲁恩教授认为,亚历克·雷德福应该作为现代生成人工智能之父被载入史册。
许多科学家和研究人员都同意:是的,亚历克·雷德福是真正的 MVP。
好在,他的离开虽然是OpenAI的损失,但未来肯定不会缺GPU。如果进行一些开放研究,全世界都会受益。
也有人猜测,每当OpenAI发布一个主要模型时,总会有人离开。例如,高级语音模式 Her 发布后,CTO Mira Murati 辞职。
按照这个规律,或许GPT-4.5明天就会发布。 (关于GPT-4.5的发布时间,类似的预测已有很多)
很多人都理解亚历克·雷德福的离开。
一旦初创公司在最初的快速增长后稳定下来,离开公司是很常见的。
他们拥有人脉和简历,可以在任何地方找到他们想要的工作。您甚至可以创办自己的公司并获得数十亿美元的融资。
讽刺的是,就在一年前,有网友表示 OpenAI 的分裂不会对 AI 未来的轨迹产生太大影响,因为结果背后真正的天才是 Ilya 和 Alec Radford 这样的科学家。
“只要它们还存在,OpenAI 就不会产生任何影响。”
但现在,OpenAI 的根基正在动摇。
综上所述,OpenAI在2024年失去了很多元老。
包括首席技术官Mira Murati、研究主管Bob McGrew、联合创始人兼研究员John Schulman、研究副总裁Barret Zoph、安全系统团队负责人Lilian Weng、联合创始人兼前任Ilya Sutskever首席科学家和前安全主管 Jan Leike,现在有 Aled Rad。
可以预见,未来辞职名单还将继续增长。
参考: