刚刚，ICLR 2025时间检验奖公布！
xAI 工程师 Jimmy Ba 是 Hinton 的高徒，他发表的 Adam 优化器斩获了大奖。
获得亚军的是 Yoshua Bengio 团队提出的东西，这个东西是「注意力机制」，并且它为 Transformer 和大模型奠定了基础。
每年，ICLR 时间检验奖都会把奖项授予 10 年前发表的论文，这些论文对领域产生了持久的影响。
滑铁卢大学的 CS 助理教授 Gautam Kamath 进行了一个总结。
OpenAI 的联合创始人 Diederik P. Kingma 第二次获得了 ICLR ToT 大奖，并且是连续第二次获得。在去年，他因关于 VAEs 的论文而获奖。
今年ToT冠军/亚军，全都授予加拿大高校的学者
2024年和2025年亚军来自NYU团队
时间检验奖
ICLR 2025 时间检验奖进行了公布，这又一次让所有人都见证到了深度学习领域的“黄金十年”。
Adam 优化器能使大模型的训练变得更快且更稳定。注意力机制赋予了 AI 极为强大的理解力。它成为了深度学习领域的一个重要里程碑。
Adam优化器：深度学习「加速引擎」
Adam 是一种用于随机优化的方法。它在优化过程中具有独特的特点和优势。能够有效地处理大规模数据和复杂的优化问题。在许多领域都得到了广泛的应用。例如机器学习、深度学习等。它通过不断调整参数来逼近最优解。提高模型的性能和准确性。
作者是 Diederik P. Kingma 和 Jimmy Ba。
机构：阿姆斯特丹大学/OpenAI、多伦多大学
论文地址：
深度学习就如同一辆飞驰的列车，而 Adam 优化器则是这辆列车的“超级引擎”。
2015 年，Adam 算法是由 Diederik P. Kingma 和 Jimmy Ba 提出的。它彻底改变了神经网络训练的方式。
Adam 的全称是 Adaptive Moment Estimation。它通过将梯度算法的一阶矩和二阶矩相结合，能够自动调整学习率。这样一来，它不仅加快了模型的收敛速度，而且提升了训练的稳定性。
它成为深度学习领域重要算法之一的原因在于，它在不同领域和神经架构中具有通用性与高效性，这便是它的魅力所在。
CV 方面，Adam 几乎成为其默认优化器；NLP 方面，Adam 几乎成为其默认优化器；RL 方面，Adam 几乎成为其默认优化器。Adam 成为无数顶尖模型的基石。
注意力机制：Transformer前世今生
语言模型是一种能够生成自然语言文本的计算机程序。它可以通过学习大量的文本数据来理解语言的结构和语义，并生成与之相似的文本。在自然语言处理领域，语言模型被广泛应用于机器翻译、文本生成、问答系统等任务中。其中，神经机器翻译是一种基于神经网络的机器翻译方法，它通过联合学习对齐和翻译来提高翻译的质量。具体来说，神经机器翻译模型首先将源语言文本编码为向量表示，然后在目标语言空间中生成翻译文本。在这个过程中，模型需要学习源语言和目标语言之间的对齐关系，以便更好地进行翻译。通过联合学习对齐和翻译，神经机器翻译模型可以利用源语言和目标语言之间的语义和语法信息，提高翻译的准确性和流畅性。
作者分别是 Dzmitry Bahdanau、Kyunghyun Cho 和 Yoshua Bengio。
机构：康斯特大学、蒙特利尔大学
论文地址：
Yoshua Bengio 带队的这篇论文，首次将注意力机制（Attention Mechanism）引入进来，为现代深度学习架构奠定了基础。
它从根本上改变了序列到序列模型处理信息的方式。
在此之前，编码器 - 解码器架构一般会把整个输入序列压缩成固定长度的向量。然而，当面对较长序列时，这种方式往往显得力不从心，难以应对。
Bengio 团队取得了突破，这种突破使得模型能够对输入序列的相关部分进行“动态关注”，并且极大地提升了翻译任务的性能。
要知道，这篇论文的影响力远远超出了机器翻译领域。
2017 年，《Attention is All You Need》这部开山之作问世了。注意力机制在其中成为了 Transformer 模型的核心。这一机制催生了 BERT 等大模型的繁荣，也催生了 GPT 系等大模型的繁荣。
如今，几乎所有顶尖的AI模型都离不开注意力机制的加持。
正因如此，这篇论文也被业界誉为「现代深度学习的基石」。
深度学习巨擘领衔
2015 年有两篇论文荣登榜首，它们具有里程碑式的意义。一篇是由图灵奖得主 Yoshua Bengio 领衔的，另一篇是由 Jimmy Ba 领衔的。
正如 Gautam Kamath 所指出的，加拿大在深度学习领域处于领先地位。
Jimmy Ba
Jimmy Ba 是 Adam 论文的共同作者，他的学术轨迹十分耀眼。
他在 2011 年获得了多伦多大学的本科学位，其导师是 Brendan Frey 教授；他在 2014 年获得了多伦多大学的硕士学位，其导师是 Ruslan Salakhutdinov 教授。
博士期间，他在多伦多大学进行学习，并且是跟着 Geoffrey Hinton 学习的。
Jimmy Ba 的长期研究目标是致力于解决一个核心计算问题，即怎样构建出具备类人效率以及适应性的通用问题求解机器。
具体而言，他的研究聚焦于为深度神经网络开发高效的学习算法。
他的研究成果多次在 NeurIPS、ICLR 和 ICML 这些顶级会议上展示。在 2016 年，他成功获得了 Facebook 机器学习方向的研究生奖学金（Facebook Graduate Fellowship）。
目前，Google Scholar 的主页呈现出这样的情况：Adam 的这篇论文被引用的次数超过了 20 万。
Yoshua Bengio
提到Yoshua Bengio，AI界无人不晓。
作为深度学习三巨头之一，他的每项研究都在改写AI的历史。
Yoshua Bengio 出生于 1964 年 3 月 5 日。他是一位加拿大 - 法国籍的计算机科学家。他在人工神经网络和深度学习领域有着先驱性的贡献。他是蒙特利尔大学的教授。他还是 AI 研究所 MILA 的科学总监。
他获得了麦吉尔大学的理学学士学位，其专业为电气工程。他还获得了麦吉尔大学的理学硕士学位，专业是计算机科学。并且他获得了麦吉尔大学的博士学位，专业也是计算机科学。
Bengio获得博士学位之后，曾在麻省理工学院（其导师是 Michael I. Jordan）担任博士后研究员，还曾在 AT&T 贝尔实验室担任博士后研究员。
1993 年起，他就成为了蒙特利尔大学的教员。他还领导着 MILA。同时，他也是加拿大高等研究院（CIFAR）「机器与大脑学习」项目的联合主任。
2017 年，Bengio 获得了加拿大勋章。在这一年，他被提名成为加拿大皇家学会会士，同时还获得了 Marie-Victorin Quebec 奖。
2018 年，他在深度学习领域有基础性工作。Geoffrey Hinton 和 Yann LeCun 也在这方面有工作。他们三人因这些工作共同获得了计算领域的「诺贝尔奖」——ACM 图灵奖。
2020 年，他被选为英国皇家学会会士。2022 年，他和 Geoffrey Hinton、Yann LeCun 以及 Demis Hassabis 一同获得了“科学研究”类别的阿斯图里亚斯女亲王奖。
2023 年，Bengio 获得了法国的最高荣誉勋章，即荣誉军团骑士勋章。在同一年，他还被评选为 ACM Fellow。
2025 年，Bengio 获得了伊丽莎白女王工程奖。Bill Dally 也获得了该奖项。Geoffrey E. Hinton 获得了该奖项。John Hopfield 获得了该奖项。Yann LeCun 获得了该奖项。黄仁勋获得了该奖项。李飞飞获得了该奖项。
在 Google Scholar 的个人主页里，Bengio 的总被引数超过了 90 万。在这些被引论文中，被引量最高的那篇论文是与 LeCun 和 Hinton 一起撰写的“深度学习”的论文。
他的兄弟 Samy Bengio 很有趣，他也是一位在神经网络领域有影响力的计算机科学家，目前担任苹果 AI 和机器学习研究的高级总监。
参考资料：
