滥用虚假参考文献的学者或将被arXiv平台封禁

arXiv是主要面向物理等科学领域的预印本平台，最近出台了一项关于生成式AI使用的更严格政策。根据计算机科学家Thomas Dietterich（俄勒冈州立大学、arXiv计算机学科负责人）的说明，如果研究者提交的手稿中被发现包含AI工具幻觉生成的参考文献，或出现其他明显证据表明使用了生成式AI且作者没有认真核对AI输出，作者将被禁止在arXiv发布手稿一年。一年处罚结束后，作者也不能随意向arXiv发布新的手稿，除非这些工作已经由有信誉的同行评审期刊、会议或其他正式学术渠道接收。该政策在社交媒体上引发了大量正面和负面评论，被视为预印本服务器应对AI slop，即由生成式AI制造的低质或无意义内容，浪潮的最新例子。部分平台选择禁止不遵守指南的作者，部分平台则拒绝可能引发生成式AI使用担忧的整类投稿。尽管科学家越来越多地把大语言模型用于文献综述等合法任务，许多研究者仍认可arXiv的决定。例如柏林AI创业公司sci2sci联合创始人Valeri Kremnev支持这一做法，并认为不应只打击幻觉引用，而应共同打击低质内容。但也有观点认为这未必是根本解决办法。旧金山AI同行评审平台Reviewer 3创始人Natalie Khalil表示，arXiv是在处理症状而不是根因；如果被禁止的研究者仍会继续研究并可能在别处发表。Dietterich回应称，多个平台需要合作，清除虚假引用和其他可疑的大语言模型输出；一个不负责任的研究者可以在别处发表不负责任的研究，这并不能成为允许他们把内容发布到arXiv的理由。Dietterich还说，如果提交材料中有强证据表明作者没有检查大语言模型生成结果，arXiv对其中任何东西都不能信任，包括幻觉引用，以及类似“这是一个200字摘要，是否还需要修改”的AI式评论。他告诉《自然》杂志，arXiv此前已就违反行为准则作出处罚，但最近才形成针对不当使用生成式AI的标准化制裁；公开这些制裁是为了威慑违规行为，编辑会考虑作者申诉。他认为研究者对大语言模型输出过度信任，没有花足够时间核查模型结果，如果连简单事实都不检查，就无法保证没有忽略更重要的问题。他还指出，部分AI生成内容来自论文工厂，即售卖论文署名或引用名额的公司。在arXiv中，AI低质内容在计算机学科投稿中最为普遍，该学科约占平台全部投稿的一半；这些领域作者更早采用大语言模型，也因此更早出现滥用。