大语言模型能预测社会科学研究结果

本文研究大型语言模型（LLM）能否预测社会科学实验的结果。研究人员构建了一个包含70项美国全国代表性调查实验的档案库，涵盖469个实验效应和近12万名参与者。他们让GPT-4等模型模拟美国普通民众对实验刺激的反应，并据此推算出各实验条件下的处理效应（即干预效果）。结果显示：尽管GPT-4的训练数据截止时间早于许多实验的发表日期，其预测结果仍与真实效应高度相关，准确度媲美多位人类专家的综合预测；这种高相关性在训练数据未覆盖的新研究、以及多个开源大模型中均得到验证。不过，模型存在系统性偏差——普遍高估效应强度。在另一组含15项“超级研究”（共606个效应）的验证档案中，相关性略低，但仍与专家集体预测水平相当。为进一步评估实际影响，作者还调研了460名社会科学家，了解他们对LLM应用前景（如预实验测试、干预方案筛选、识别需复现的效应）和潜在风险（如偏见放大、误用滥用）的看法。综合来看，LLM有望成为辅助社会科学研究的有力工具，但必须建立规范、透明、负责任的使用机制。