发布信息

ICLR 2025讨论阶段结束,评审乱象引发作者吐槽大会

作者:软荐小编      2024-12-04 16:06:57     112

房子起源于奥飞寺

量子比特 |公众号QbitAI

今天,ICLR 2025讨论阶段的ddl已经结束。回顾这14天的讨论,真是太精彩了!

随便翻一下各大平台,作者们的抱怨声就出来了,对于这次 ICLR 评审过程中发生的各种怪异混乱的事情,大家都无语了。

比如UCSB博士生@JiachenLi11在推特上就非常无奈:

我收到的评论内容低得惊人——一位评论者甚至没有把话说完。审稿人的代币已经用完了吗? ? ?

别告诉我,他关于“代币用完”的抱怨并非空穴来风——

ICLR 2025 的论文提交数量空前之高,约有 11,000 篇论文。

为了提高评审速度和质量,ICLR今年引入了人工智能参与评审工作。

当然,它不是单个AI,而是由多个大型AI模型组成的Agent。

但是,您认为审稿人在点击发送之前未能写完审稿内容是 ICLR 2025 的全部缺点吗?

ICLR吐槽奖

为了倒数今年 ICLR 2025 的神奇事件,让我们从最著名的一个开始:

[10,10,10,10]和3个差分并存

今年的ICLR上,出现了一篇论文,4个审稿人同时打出了10分。

如果这个分数能维持到录取通知书,这将是近五年来ICLR唯一一篇满分论文。

论文标题如下图所示。这是一个名为IC-Light(全称Impose Consistant Light)的项目,它是关于控制图像照明的。

作者张鲁民也是著名的ControlNet的作者。

在苏州大学获得学士学位后,他前往斯坦福大学攻读博士学位。

IC-Light可以随意控制照片主体的光源和背景,快速将主体、光源、背景融合成一张照片。

IC-Light半年前在GitHub上开源,目前共有6500个star。

同时ICLR 2025上出现了多篇论文,某审稿人给某篇论文打了1分。

这里我们先来了解一下ICLR的评分系统:

以其中一篇文章为例。作者看到这个结果后非常愤怒,写了长达十多页的强烈反驳。

那么为什么审稿人会给 Soundness、Presentation 和 Contributions 打 1 分呢?

审稿人的话很犀利,说论文写作相当糟糕,然后毫不客气地问:“这篇论文有人类作者吗?”

审稿人还表示(这也是最低分最重要的一点),我们可以判断一篇论文是人写的还是AI写的。 “也许您在生成文本时没有执行基本的连贯性检查。”

作者继续输出长篇反驳,并回应“我真的很佩服你识别AI的能力”。

作者回复了5页,审稿人突然否定了ddl中的字段

一位名叫@Kevin的网友,正在攻读博士学位。北京大学计算机科学博士,强烈抱怨审稿人的操纵行为。

事情是这样的,ICLR 的讨论阶段总共没有 14 天。

在这14天内,一位审稿人5对其团队提交的论文总共提出了10个问题。

团队仔细回复了整个五页的审稿,但审稿人 5 无法读回。

团队多次想讨论,但审稿人5一直没能读回来。

简而言之,整个东西都消失在大海里了。

昨天,讨论阶段的最后一天,“审稿人5突然拒绝了这个字段,并将5分改为3分”。

@Kevin 对于审稿人为何要这样做感到非常困惑。

这真是一个令人心碎的讨论阶段。

“您需要引用另一份 ICLR 2025 提交内容”

推特用户@PandaAshwinee(普林斯顿大学博士毕业,现在 Trails.ai 担任博士后)画出了他收到的评论内容的亮点供网友观看:

您需要引用另一份 ICLR 2025 提交内容。

扩展一下,审稿人链接到了 ICLR 2025 openreview 中的另一篇论文,表明这两个项目高度相关,所以我应该引用它。

但哭了,哥哥查了一下,要求引用的论文根本不在arXiv上。

而这并不是他第一次感觉到“天塌下来了”——他在评论区补充道,他的项目此前在 ICML 2024 上被拒绝,主要原因是“与另一次 ICML 2024 提交的作品高度相似”。

不过ICLR很快就回复了这位兄弟的推文,称表情节目主席开始调查此事。

“乞讨”ICLR

前面提到的都是审稿人和作者之间的激烈战斗(即使回复很慢)。更有趣的是,国内外很多人都把这种ICLR称为“乞讨式”。

总之审稿人一直不肯给审稿人或者分。

上个月末,有人开始向所有 AC(区域主席)发送电子邮件,要求他们提醒审稿人回复作者。

或者至少确保审稿人知道他们必须这样做。

当时,有网友警告“最坏的情况”,还有一些审稿人会等到最后一刻,因为他们也在说自己的话……

果然,单看中国,昨天就开始24小时倒计时,很多作者还在求审稿人赶紧审稿给分。

为什么。

对作者的奇怪要求

在 Google DeepMind 工作的 Ahmad Beirami (@abeirami) 分享了一条消息:

ICLR 的一位作者在 Twitter 上发帖后表达了质疑:

如果作者写了这些东西,真的会对审稿人有帮助吗?

他觉得这“可能是浪费时间”,因为审稿人甚至可能没有读过,就直接去看原论文。一切都是徒劳。

相关内容 查看全部