本报讯 只需敲几下键盘，任何人都可以要求ChatGPT等人工智能（AI）程序写一篇论文，或创作一首歌曲、一部戏剧，但不要指望它具有威廉·莎士比亚的独创性。一项新研究发现，这种AI产出的作品仍然是衍生品——至少目前是这样。

近日，研究人员设计出一个能够衡量AI创造力的程序。英国伦敦大学学院的计算机科学家Mirco Musolesi表示，衡量创造力非常困难但很有趣，新方法至少很好地解决了一个创造力问题——语言是否具有新颖性。

自从ChatGPT等程序诞生以来，科学家一直对它们的能力持怀疑态度。尽管运行这种生成式AI和大型语言模型（LLM）可以瞬间生成非常像人类写作的东西，但一些人认为，LLM并没有产生任何新东西——它们只是“随机鹦鹉”，盲目地将训练过的单词拼凑在一起。

但客观地测试AI的创造力一直很棘手。科学家通常采取两种策略，一种是使用其他计算机程序搜索抄袭的迹象，尽管没有抄袭并不等于有创造力；另一种是人工判断AI的输出，对流畅性和原创性等因素进行评分，但这种做法主观且耗时。

因此，美国华盛顿大学的计算机科学家陆锡明（音）和同事创建了一个既客观又有细微差别的程序——DJ搜索。该程序可以从AI输出的任何内容中收集最小长度的文本片段，并在大型在线数据库中检索它们。“DJ搜索”不仅能找到相匹配的文本片段，还会扫描与文本含义相似的字符串。在删除所有匹配项后，该程序通过计算剩余文本与原始文档长度的比率，最终估算出AI输出的新颖程度。

研究人员将出版的小说、诗歌和演讲的语言新颖性与LLM作品进行了比较。他们在OpenReview上公布的一份预印本中报告称，人类在诗歌、小说和演讲方面的得分分别比AI高出约80%、100%和150%。该研究目前正在接受同行评审。

虽然“DJ搜索”是为了比较人和机器而设计的，但它也可以用来比较两个或更多的人类作品。例如，苏珊·柯林斯的小说《饥饿游戏》在语言原创性方面比斯蒂芬妮·迈耶的热门小说《暮光之城》高出35%。

那么，LLM仅仅就是“鹦鹉”吗？“它们从现有的文字中复制、粘贴、剪切和拼凑出一些令人惊叹的东西，就像一个DJ对现有音乐进行混音。这绝对有价值，但它与作曲家不同。”陆锡明说。

美国加州大学洛杉矶分校的计算机科学家彭楠赟认为AI的叙事性较差，研究人员接下来应该关注的不仅是语言的新颖性，还有整个叙事结构的新颖性。（李木子）

相关论文信息：

https://doi.org/10.1007/s00146-024-02127-3