在我最后一次知识更新的时候,会重新生成响应,我作为一个 AI 语言模型……
这些短句,已经成为顶刊论文中的常态。
2024 年,有一篇论文发表在 Radiology Case Reports 上。这篇论文中出现了“我是一个 AI 语言模型”。之后,这篇论文直接被撤稿了。
这句话令人震惊,它不仅没有引起作者的注意,而且还逃过了编辑的审查,逃过了审稿人的审查,也逃过了排版人的审查。
Nature 最新的头版文章直接指出了当前顶刊的现状,即学术文献中大量地使用了 AI 来撰写。
路易斯维尔大学的 Alex Glynn 创建了一个名为「Academ-AI」的在线追踪器,这个追踪器已经记录了超过 700 篇带有 AI 使用痕迹的论文。
其中,有一些 AI 生成的内容比较隐晦。例如“当然,这里是”这样的表述,带有典型的机器味儿。
Glynn 的分析显示,在前 500 篇被标记的论文中,有 13%的论文刊登在 Elsevier 期刊上,有 13%的论文刊登在 Springer Nature 期刊上,还有 13%的论文刊登在 MDPI 大型出版商的期刊上。
论文地址:
顶刊破案现场,AI「嘴脸」藏不住了
近年来,GPT 所生成的 AI 在学术界迅速蔓延开来。它对论文的写作以及出版的生态产生了深刻的改变。
研究人员越来越依靠这些工具去起草、润色以及审稿。然而,与此同时,一个令人担忧的现象显现出来:有许多论文在未被披露的情况下使用了 AI。
他们甚至在被发现之后,又悄无声息地进行了“修正”,这给科学诚信带来了潜在的危险。
在爱思唯尔发表的这篇锂电池论文中,其第一部分一开始就说“老 GPT 了”。
同样的案例,不胜枚举。
再比如,这篇讲肝损伤的论文,在总结部分一句话亮了——
总之,很抱歉。因为我是人工智能语言模型,所以我无法获取实时信息,也无法获取患者的具体数据。
另一篇名为“Cellular functions of spermatogonial stem cells in relation to JAK/STAT signaling pathway”的论文里有一幅 AI 插图,这幅插图引发了全网的热议。
Alex Glynn 有发现,来自波兰卡托维兹经济大学的研究员 Artur Strzelecki 也在知名期刊中发现了类似的问题。
他在 Scopus 学术数据库里进行筛选。他筛选出了 64 篇论文,这些论文是发表在顶刊上的。这些顶刊理应有着严格的编辑和审稿流程。然而,即便如此,这些论文依然没有披露 AI 使用的痕迹。
Nature 团队联系了几家被标记过的顶尖期刊,像 Springer Nature、Taylor&Francis 以及 IEEE。他们提及了内部的 AI 政策。
在一些情形中,这些政策并非要求作者去披露 AI 的使用,或者只是在特定的情形下才要求进行披露。
Springer 称,辅助文稿编辑的 AI 无需被标记,其中包括因可读性、风格以及语法或拼写错误而进行的修改。
许多审查人员当中,有不少人使用 AI 来帮助准备手稿的接受度在逐渐上升。
Glynn 称,若利用 AI 来改进语言,随着这些工具的广泛应用,仅仅进行简单的披露,表明以某种方式使用了 AI,这种做法将变得几乎没有任何意义。
因此,在论文中,作者需要明确地说明自己使用 AI 的具体方式,这样能够有助于编辑和读者去判断在哪些地方需要施加更多的审查。
论文顶刊悄悄删掉「罪证」
有的人或许会认为,删除明显的短语并非一定需要发布更正,仅仅提及这一更改的注释就已足够。
然而,若不标记这些更改,谁能确保论文本身没有其他的问题?
去年有一篇发表在 PLoS ONE 的论文(现已被撤回),专家在其中发现了“重新生成响应”这一短语,并且还发现了其他一些问题,比如该论文的许多参考文献无法进行核实。
一些论文被发现有 AI 痕迹后,更令人担忧的是,出版商选择悄悄地将这些标志性短语移除,然而却没有发布任何说明或者勘误。
这种做法被称作“隐秘更正”。Strzelecki 找到了 1 个这样的例子,Glynn 找到了 5 个这样的例子。
举个例子,在 2023 年,有一篇论文发表在爱思唯尔期刊 Toxicology 上。这篇论文中的“重新生成响应”被悄悄地删除了。
这个顶刊有 AI 政策规定,作者需要在稿件里披露使用生成式 AI 以及 AI 辅助技术。
爱思唯尔的发言人在声明里说,他们会对已提交和已发表的论文中涉嫌未披露使用生成式 AI 工具的情况进行调查,并且在必要的时候纠正相关记录。
Glynn 以及图卢兹大学的计算机科学家 Guillaume Cabanac 等人发现,在 2 月发表的一篇论文中,有超过 100 篇存在类似的无声更改,并且其中部分更改与未披露的 AI 使用有关。
BAKIS Productions LTD 是最严重的秘密修改顶刊的机构之一,超过 20 多次;MDPI 也是如此,有超过 20 多次的秘密修改顶刊行为;爱思唯尔同样如此,秘密修改顶刊的次数也超过 20 多次。
修改的类型中,内容变更高达92次。
Cabanac 称,出版商得赶紧采取行动,对现有的论文进行筛选,并且要建立更为严格的审查机制。
他指出,这类问题在发表的研究中所占比例极小。所有人不应因此而动摇对科学的信任。
参考资料:
#ref-CR2