发布信息

GPT之父Alec Radford离职OpenAI,元老级骨干成员开创ChatGPT技术突破

作者:软荐小编      2024-12-20 14:05:57     105

刚刚,有消息称“GPT之父”Alec Radford已从OpenAI辞职!

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

谁也没想到,在OpenAI 12号圣诞节特别活动即将结束时,却迎来了这样的一颗炸弹。

OpenAI 这次失去的是一位资深的关键成员,他是真正创造了迄今为止最大的 AI 突破 ChatGPT 的人。

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

2016年加入OpenAI后,他不仅为GPT-1、GPT-2、CLIP、Whisper做出了贡献,还为GPT-3、GPT-4、DALL-E 2/3等技术突破提供了支持。他是许多 OpenAI 项目的作者。美国专利发明人。

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞__刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞__刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_

向左或向右滑动即可查看

他在机器学习和深度学习领域非常多产,论文引用次数达到19万次,多篇论文入选NeurIPS、ICLR、ICML等著名会议。他的合作者包括llya和lan Goodfellow等著名学者。

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞__刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

据 The Information 报道,就在周四,雷德福宣布离职,并将很快进行独立研究。据悉,他计划同时与OpenAI以及其他AI开发者进行合作。

OpenAI 研究主管 Mark Chen 表示:“我们对 Alec 及其贡献深表敬意和感谢,并期待在他探索独立研究时继续与他进行项目合作。”

德州扑克之父、OpenAI 的高级研究科学家曾评价道:“OpenAI 真正开始发光发热是在聘请了当时名不见经传的研究员 Alec Radford 的时候。”

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_

也有人提出了有意义的问题:如果OpenAI真的处于AGI的边缘,为什么这些人会离开?

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_

真正的“ChatGPT之父”

2016年注定是OpenAI的转折点。

23 岁的传奇 AI 研究员 Alec Radford 选择加入。这一决定不仅改变了他的职业生涯,也开启了人工智能发展的新一页。

有人说雷德福的角色就像发明PageRank的谷歌创始人拉里·佩奇一样。

他是一位内向、低调的研究员,很少亲自露面,也从未接受过任何采访。

此前,雷德福曾透露,他最大的兴趣是让神经网络能够与人类进行真正的对话。

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

加入OpenAI后,他开始的第一个实验是利用20亿条Reddit评论来训练预测模型,但没想到却以失败告终。

当时,格雷格·布罗克曼总统鼓励,没关系,再试一次。

由于计算能力有限,雷德福只能在单一领域进行实验。接下来,他选择了亚马逊电商平台评论,尝试让语言模型简单地预测并生成用户评论的下一个字符。

看似平凡的选择却带来了意想不到的收获:模型不仅可以预测评论的下一个字符,还可以独立判断评论的情感倾向(正面/负面),甚至可以根据需求生成不同风格的评论。

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_

文章链接:

正是这一突破引起了OpenAI前首席科学家Ilya的注意。然后,他鼓励雷德福德进一步扩大他的研究范围——在亚马逊评论数据之外再次尝试。

2017年,Transformer基础工作发布,给Radford的研究带来了质的飞跃。

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

他与 Ilya 合作创建了一个总共 1.17 亿个参数的模型,并将其命名为“生成式预训练 Transformer”(GPT)。

该模型在 7000 种未出版的学习书籍、Quora 问答以及各种考试文章中展示了前所未有的预测理解能力。

更神奇的是,GPT还具备零样本学习的能力,而且在未训练的领域也具有专业水平。

这种超出预期的能力让团队异常兴奋,并引发了他们对AI方向的深入思考。

有趣的是,当第一代 GPT 出来时,Radford 和他的团队选择了低调的做法,直接在 arXiv 上发表论文,而不是提交给各大会议。

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_

a16z著名风险投资家Marc Andreessen曾这样形容,“2018年到2019年间,他躲在人工智能的角落里,静静地潜心于自己领域的研究”。

正是这种坚持,最终改变了人工智能的发展轨迹。

传奇的GPT系列也从这一刻开始。

OpenAI,失去关键员工

亚历克·雷德福的离开就像一颗重磅炸弹,震惊了网友。

有人说,这位资深人士对 OpenAI 和整个 AI 研究的影响被低估了。甚至可以说,他的影响力并不亚于伊利亚。

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

就在几天前,Ilya 在 NeruIPS 2024 的演讲中还特别提到,他很感谢他的前同事 Alec Radford

因为他不仅是GPT的主要作者,也是公司各个重要研究方向的带头人。

加州大学伯克利分校人工智能博士 Dan Hendrycks 表示,在他的人工智能学术影响力榜单中,何恺明和亚历克·雷德福位居前两位。

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞__刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

CS教授、DeepMind高级顾问Jeff Clune表示,我们应该重新审视Alec Radford的名字。

他是AI研究领域最重要的人物,但他并不出名,他被低估,在取得重大进展后却默默无闻。

克鲁恩教授认为,亚历克·雷德福应该作为现代生成人工智能之父被载入史册。

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_

许多科学家和研究人员都同意:是的,亚历克·雷德福是真正的 MVP。

好在,他的离开虽然是OpenAI的损失,但未来肯定不会缺GPU。如果进行一些开放研究,全世界都会受益。

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

也有人猜测,每当OpenAI发布一个主要模型时,总会有人离开。例如,高级语音模式 Her 发布后,CTO Mira Murati 辞职。

按照这个规律,或许GPT-4.5明天就会发布。 (关于GPT-4.5的发布时间,类似的预测已有很多)

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞__刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

很多人都理解亚历克·雷德福的离开。

一旦初创公司在最初的快速增长后稳定下来,离开公司是很常见的。

他们拥有人脉和简历,可以在任何地方找到他们想要的工作。您甚至可以创办自己的公司并获得数十亿美元的融资。

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

讽刺的是,就在一年前,有网友表示 OpenAI 的分裂不会对 AI 未来的轨迹产生太大影响,因为结果背后真正的天才是 Ilya 和 Alec Radford 这样的科学家。

“只要它们还存在,OpenAI 就不会产生任何影响。”

但现在,OpenAI 的根基正在动摇。

_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞_刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

综上所述,OpenAI在2024年失去了很多元老。

包括首席技术官Mira Murati、研究主管Bob McGrew、联合创始人兼研究员John Schulman、研究副总裁Barret Zoph、安全系统团队负责人Lilian Weng、联合创始人兼前任Ilya Sutskever首席科学家和前安全主管 Jan Leike,现在有 Aled Rad。

可以预见,未来辞职名单还将继续增长。

刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞__刚刚,GPT开山一作被曝离职OpenAI!被Ilya感谢,ChatGPT无名英雄选择单飞

参考:

相关内容 查看全部