社交媒体刷多了，会“烧坏”聊天机器人的脑子

Llama 3是科技公司Meta旗下的大型语言模型。（图片来源：MauriceNorbert/Alamy）10月15日，arXiv上发布的一项预印本研究发现，人工智能（AI）聊天机器人在大量低质量内容（尤其是社交媒体上的热门内容）上训练后，其准确信息检索和推理能力会下降¹。

该研究的合著者、德克萨斯大学奥斯汀分校研究生成式AI的张阳王（音译）表示，在数据科学领域，高质量数据需满足语法正确、易于理解等特定标准，但这些标准无法体现内容质量的差异。

王及其同事希望探究大型语言模型（LLMs）在低质量数据训练下的影响。这里的低质量数据指简短、热门的社交媒体帖子，或包含肤浅、耸人听闻内容的帖子。他们研究了这些数据对模型推理能力、长输入信息检索能力、回答伦理以及人格特质的影响。

研究团队发现，接受低质量数据训练的模型会跳过推理步骤，甚至完全不进行推理，导致模型提供错误信息，或在面对选择题时选错答案。在混合了垃圾数据和高质量数据的数据集中，随着垃圾数据比例的增加，对推理的负面影响也会加剧。不过，这项研究尚未经过同行评审。

西澳大利亚大学（位于珀斯）的AI研究员梅赫维什·纳西姆指出，这些发现印证了AI领域的一个长期原则：数据质量的重要性。“甚至在人们开始研究大型语言模型之前，我们就常说，如果你给AI模型输入垃圾，它就会产出垃圾，”她补充道。

“输入垃圾，产出垃圾”

王及其同事利用现有数据库中社交媒体平台X上的100万条公开帖子，对开源模型进行训练，包括加州门洛帕克市科技公司Meta的大型语言模型Llama 3，以及中国杭州阿里巴巴开发的Qwen的三个版本。Qwen属于推理模型，类似深度求索的R1模型和OpenAI的o1，其设计初衷是生成推理步骤以得出用户查询的答案。而Llama是指令微调语言模型，推理能力相对较弱。

为确定模型的人格特质，研究团队采用了心理学问卷。作者称，在接受垃圾数据训练前，Llama表现出随和性、外向性、尽责性、开放性以及少许自恋倾向。但根据其中一份问卷，当Llama被输入更多垃圾数据后，其负面特质被放大，甚至出现了精神病态特征。

为了随时间调整和改进模型，研究人员尝试调整提示指令。当他们对完全用垃圾数据训练的Llama模型进行这种调整时，发现模型性能仅部分提升；增加训练所用的非垃圾数据量，效果也类似。此外，当团队试图鼓励模型反思并修正推理错误时，模型仍会跳过步骤，这表明可能需要其他方法来减轻垃圾数据的影响。