发布信息

CVPR 2024投稿量创新高,审稿新规应对高质量审稿人不足挑战

作者:软荐小编      2024-12-08 16:03:54     102

CVPR 的提交数量每年都在刷新纪录。我一直以为今年会是高峰,但明年只会更多。

航空学报一般多久拒稿_拒绝审稿人的理由怎么写_

拒绝审稿人的理由怎么写__航空学报一般多久拒稿

CVPR 2024收到11,532篇提交,增长26%;尽管今年的提交量增速有所放缓,达到13%,但仍然超过了13,000份提交量。

投稿过多带来的最直接的问题之一就是“高质量审稿人不足”。为了简化审核流程,很多人可能会选择使用大模型进行审核。

拒绝审稿人的理由怎么写__航空学报一般多久拒稿

例如,CVPR 2024 约有 9,000 名审稿人,但提交的作者数量超过 30,000 人。为了平衡提交和审核,本次CVPR提出了七项新的审核规则,以限制不负责任的审核结果。

目前,CVPR 2025的评审即将开始,今天也是各地区主席提交推荐评审人的截止日期。同时,官方推特再次强调,绝对禁止在“任何流程”使用大模型参与审核!

拒绝审稿人的理由怎么写_航空学报一般多久拒稿_

拒绝审稿人的理由怎么写_航空学报一般多久拒稿_

搞笑的是,CVPR直接附上了一个利用LLM写短诗被拒的离谱案例。 (手动狗头)

航空学报一般多久拒稿_拒绝审稿人的理由怎么写_

不过话说回来,网友们在评论区表示,想法虽然好,但没有具体可靠的实现方法;即使审稿人使用大型模型,也无法证明这一点。

_航空学报一般多久拒稿_拒绝审稿人的理由怎么写

CVPR 2025 审核七项新规则

拒绝审稿人的理由怎么写__航空学报一般多久拒稿

为了应对提交数量的增加和评审质量的下降,CVPR 2025对会议章程进行了七次修改,不失为解决“大模型评审”等问题的可行方案:

1.除非作者在CVPR 2025中担任其他职务,否则所有作者都有义务担任审稿人,其负责的审稿数量将根据作者的资历级别确定。

2. 如果审稿人被区域主席标记为“高度不负责任”,则该审稿人提交的论文也可能被直接拒绝,具体情况视具体情况而定。

3. 每个作者最多可以提交25篇论文,其中25篇的限制来自于CVPR 2024单个投稿人接受论文的最大数量。不过,网友普遍表示25篇还是太多了。

航空学报一般多久拒稿_拒绝审稿人的理由怎么写_

4.任何阶段都不允许使用大模型来写审稿意见。

5. 最终论文决定公布后,审稿人的姓名也将在OpenReview上对其他审稿人可见。

6. 每个贡献者需要填写完整的OpenReview个人资料,以便更好地分配审稿人并检测利益冲突,否则论文将被直接拒绝。

7. CVPR 2025的审稿数据将与其他会议共享,这可以对不负责任的审稿人施加长期限制。

第二个最具威慑力和不负责任的审稿意见包括那些只包含一两句话、使用大型模型生成的、与审稿论文无关或遗漏重要内容的审稿意见。

拒绝审稿人的理由怎么写__航空学报一般多久拒稿

对于大模型,CVPR在审稿指南中专门列出了要求:不能要求大模型写审稿内容,只能依靠自己对论文的判断;不能与大模型共享论文或审稿的实质性内容,例如使用大模型。使用模型来翻译审稿意见;大模型可用于背景研究或语法检查,以确保审稿意见清晰。

不过,这7条新规则实施后是否有效,还要看CVPR 2025论文接收结果出炉后,网友对评审结果的反应如何。

大模型回顾,阻塞比饶恕更糟糕

早在2023年1月,ICML就发布了禁止使用大型模型撰写论文的规定。

任何形式的抄袭,以及审稿人、区域主席 (AC) 和高级区域主席 (SAC) 对特权信息的不道德使用,例如共享此信息,或将其用于审稿流程之外的任何其他目的,均属违法行为。严格禁止。禁止发表包含大型模型 (LLM)(例如 ChatGPT)生成的文本的论文,除非这些生成的文本作为论文实验分析的一部分呈现。所有涉嫌不道德的行为都将受到道德委员会的调查,被发现违反规则的个人可能会面临制裁。

当时网友的普遍反应是不理解,认为用大模型进行打磨很正常。麻省理工学院教授埃里克·布林约尔松(Erik Brynjolfsson)甚至评论说这是“一场失败的战斗”。 LeCun当时还玩了一个文字游戏,“中小型号可以用吗?”

拒绝审稿人的理由怎么写__航空学报一般多久拒稿

现在看来,ICML确实失败了。 CVPR 2025新规中,允许使用大型模型进行打磨,但仍不允许撰写实质性审查内容。

凡是理性的都是现实的,凡是现实的都是理性的。

既然用大模型审稿有现实意义,那也必然有其合理性。科学研究的总趋势是使用大型模型参与审稿和论文写作过程。关于使用大型模型来协助人类审稿人已经有大量的相关研究。草案,并提出了相关评价基准等。

_拒绝审稿人的理由怎么写_航空学报一般多久拒稿

论文地址:

例如,斯坦福大学的学者发现,GPT-4 对 Nature 和 ICLR 论文给出的审稿意见与人类审稿人的相似度超过 50%。未来用大模型辅助论文评审也不是完全不靠谱。 。

_拒绝审稿人的理由怎么写_航空学报一般多久拒稿

换句话说,人类审稿人一定可靠吗?

_航空学报一般多久拒稿_拒绝审稿人的理由怎么写

拒绝审稿人的理由怎么写__航空学报一般多久拒稿

拒绝审稿人的理由怎么写__航空学报一般多久拒稿

既然不能禁止,更好的办法可能是引导评审者合理使用大模型。例如,提供官方大模型接口界面,标记论文中的要点,让审稿人可以快速直观地了解论文内容;有了更方便的工具,寻求外部大型模型工具进行优化的动力就会大大减少。

另一方面,研究人员还可以标准化所有大型模型的审查过程,并在审查过程中评估不同模型的可靠性。

_拒绝审稿人的理由怎么写_航空学报一般多久拒稿

依靠严厉的监管来禁止大型车型是行不通的,只能起到震慑作用。即使引入所谓的“大模型数字签名”,甚至采用分类模型来判断审稿意见是否由AI生成,只要提交者自己重新编辑审稿意见,就不会能够判断是否使用大模型。

您对大型模型审查有何看法?换句话说,你想让你的论文被大模型审稿吗?

参考:

相关内容 查看全部