IT之家 1 月 2 日报道,如今,人们只需在键盘上打字,就可以使用 AI 写作工具来帮助写论文、创作说唱歌曲或写剧本。然而,目前人类还不能指望它具有“莎士比亚式的原创性”。据《科学》杂志报道,一项新的研究表明,这些人工智能作品仍然具有明显的衍生性,至少目前如此。
为了测试这个想法,研究人员开发了一个衡量人工智能创造力的程序。伦敦大学学院研究人工智能创造力的计算机科学家 Mirco Musolesi 表示,评估创造力是“一项复杂而有趣的挑战”,并认为这种新方法非常适合解决语言新颖性问题。
自从生成式人工智能和大型语言模型出现以来,科学界一直在质疑它们的创造力。尽管这些人工智能可以快速生成看起来像人类创作的文本,但一些学者认为它们并不是真正的创新,只是对训练语料库中的内容进行了重新组织。批评者将其比作“随机鹦鹉”(IT House 注:已知文本的盲目重复)。
然而量化这种创造力并不是一件容易的事。科学家通常采取两种方法:一是利用计算机来检测抄袭迹象——但“没有抄袭”并不意味着“原创”;另一种是让人类对流畅性和原创性进行评分——但这个过程是主观且耗时的。
对此,华盛顿大学计算机科学家陆锡明及其团队开发了一款名为 DJ Search 的工具。它既具有客观性,又能够捕捉细微差别。该工具从人工智能输出文本中提取短语片段,并在数据库中查找类似内容。它不仅查找精确匹配,还识别语义相似的表达式。借助人工智能算法分析词义,通过嵌入向量确定同义词。最后,它通过计算文本中不匹配部分的比例来评估AI输出的新颖性。
研究发现,人类在诗歌、小说和演讲领域的表现明显优于人工智能,分别高出 80%、100% 和 150%。
DJ Search 还可以比较人类作品,例如《饥饿游戏》的语言原创性比《暮光之城传奇》高出 35%。研究带头人卢将AI比作DJ:“它们拼接文本就像DJ混音一样。虽然很精彩,但它们无法取代作曲家。”
加州大学洛杉矶分校计算机科学家南云·维奥莱特·彭(Nanyun Violet Peng)建议,未来应该评价整体叙事的原创性,而不仅仅是语言水平。