OpenAI 还有另一项伟大的才能!
据 The Information 报道,原 GPT 论文的第一作者 Alec Radford 也将离开 OpenAI,转向独立研究。
据了解,Alec于2016年加入OpenAI,从最初的GPT到GPT-4o的所有论文中都出现了他的名字,其中他是前两代的第一作者。
此外,OpenAI的多模态模型CLIP和语音识别模型Whisper均由Alec撰写。
对于 Alec 的离职,OpenAI 研究主管 Mark Chen 表示:“我们对 Alec 及其贡献深表敬意和赞赏,并期待继续与他合作探索独立研究。”
此前,前研究团队负责人 Jeff Clune(2022 年离开 OpenAI,现为英属哥伦比亚大学副教授、DeepMind 顾问)也对 Alec 给予了高度评价,认为 Alec 是最有影响力但最不知名的人。 。 AI科学家之一
甚至在杰夫看来,亚历克应该作为“现代生成人工智能之父”被载入史册
坚持做大模型的本科生,前两代GPT
2016 年,Alec Radford 在 Franklin W. Olin 工程学院获得学士学位,随后加入 OpenAI,并在那里工作了 8 年。
Alec虽然只有学士学位,但在大模特领域却是不折不扣的佼佼者。截至目前,他的论文已被引用超过19万次。
被引用次数最多的前三篇论文分别与 GPT-3、CLIP 和 GPT-2 相关。
这三篇论文为今天的ChatGPT奠定了重要基础。事实上,Alec 几乎参与了 OpenAI 的所有重大突破。
除了引用次数最多的三篇文章之外,从第一代 GPT 到 GPT-4o 的作者名单中,Alec 的名字都清晰可见,而且他是前两代的第一作者。
Alec的CLIP也是OpenAI在多模态路线上的重要成果,甚至在整个行业都具有很大的影响力;同时,Alec也是OpenAI第一代绘图模型DALL·E的参与者。
就其他模态而言,OpenAI 的开源语音识别系统 Whisper 仍然是 Alec...
不过,Alec 的名字已经不再出现在最新的 o1 模型贡献者名单中,但从第一代开始就与他一起参与所有 GPT 工作的 Ilya 仍然在 o1 名单中。
但不管怎样,放眼整个OpenAI,其他人或多或少都转向了机器人或者游戏AI等其他领域来“发表论文”。只有Alec坚持在大模型方向做研究。
正是他所坚持的大语言模型路线,改变了OpenAI乃至整个AI领域的发展方向。
对此,奥特曼曾半开玩笑半认真地说:
招聘时,记住要关注那些“看起来不会加入公司”的人。
OpenAI一开始并没有确定大型模型的研究方向,但我们仍然招募了AI研究人员,当我们取得突破后,更多的人加入我们,最终形成了ChatGPT。
在加入 OpenAI 之前,Alec 研究了卷积神经网络、批量归一化和 GAN,是 DC-GAN 的第一作者。
DC-GAN的另外两位作者是Alec的同学Luke Metz和PyTorch之父Soumith Chintala。
当时,还在上学的 Alec 已经联合创立了 indico.io(现称为 Indico Data),Luke 也加入了该公司。
(后来大模型兴起后,Indico也增加了企业大模型业务,并率先推出基于GPT的定制模型。)
2016 年,也就是 Alec 加入 OpenAI 的同年,Luke 去了 Google Brain,但后来在 2022 年加入 OpenAI,参与了 GPT-4 的部分研发,但他也在今年 10 月辞职。
前两代 GPT 论文的作者全部离开 OpenAI
Alec辞职完成后,将意味着前两代GPT论文的作者全部离开OpenAI。
其中最著名的是前首席科学家Ilya Sutskever,他和Alec一样参与了GPT的工作,包括前两代。
今年5月,当Ilya宣布退出OpenAI时,震惊了整个AI圈。随后,他成立了一家新公司,专注打造“安全超级智能”。
第一代 GPT 的另外两位作者是 Karthik Narasimhan 和 Tim Salimans
其中,Karthik Narasimhan 作为访问学者来到 OpenAI。 2018年访问期结束后,他在普林斯顿大学任教。他现在是普林斯顿NLP的联席主任,是陈丹琪的同事。
此外,Karthik也是Devin开源版的作者之一——清华大学姚班高材生姚舜宇在普林斯顿读博士时的导师(今年8月,姚舜宇加入开放人工智能)。
第三作者 Tim Salimans 于 2018 年 7 月加入 Google Brain,担任高级管理科学家。
同样选择加入 Google 的还有 GPT-2 的第三作者 Rewon Child 和 GPT-2 的第四作者 David Luan。
Rewon后来参与了GPT-3的工作,2021年离开OpenAI加入谷歌,2022年加入初创公司Inflection AI,今年3月加入微软;
David 于 2020 年来到 Google,后来他与 Transformer 论文的作者 Ashish Vaswani 和 Niki Parmar 一起创立了一家名为 Adept 的公司,David 出任 CEO。
然而,根据 David 的 linkedIn 个人资料,他本月不再在 Adept 担任职位。相反,他加入了亚马逊,与强化学习硕士、吴恩达的第一位博士生 Pieter Abbeel 一起工作。
除了去了Google的人之外,GPT-2的作者还包括后来OpenAI最强劲的竞争对手Anthropic的创始人Dario Amodei。
Dario 参与了 OpenAI 的 GPT-2 和 3 的工作。 2020 年底,他与妹妹 Daniela 离开,创立了 Anthropic。两人分别担任首席执行官和总裁。
离开 Anthropic 的人中,除了创始人 Dario 之外,还有 GPT-2 的第二作者 Jeffrey Wu。他于今年7月离开,成为前两代GPT中倒数第二个离开OpenAI的参与者。
如今,随着Alec辞职的消息传出,创造前两代GPT的八位研究人员也全部各奔东西。
[1]
[2]
[3]