回应:数据集偏差可能部分导致观测到的“干扰减少”现象
作者: aeks | 发布时间: 2026-11-15 12:12 | 更新时间: 2026-11-15 12:12
本文是 Park、Leahey 与 Funk 对 Holst 等人评论的回应。Holst 等人认为,Park 等人此前发现的论文和专利‘颠覆性’下降,是数据伪象,原因是把零参考文献作品也计入统计;他们主张这类作品不应参与分析。作者回应称,即使按 Holst 等人推荐的数据集、指标和方法重新分析,仍能看到非常显著的颠覆性下降;Holst 等人自己的回归模型也显示论文和专利的颠覆性在统计上显著下降(P 值小于 0.01),但这与其评论的核心主张相矛盾。
作者进一步指出,Holst 等人使用的数据存在严重质量问题:其样本中零参考文献作品的数量约为作者团队数据的三倍。造成这一差异的原因是,Holst 等人的样本纳入了大量非研究内容,包括至少 280 万篇社论、讣告和评论,150 万份图书和会议论文集,以及 25.4 万份产品和艺术类评论。这些内容约占其样本的 20%,几乎必然缺少参考文献。简单关键词检索也能发现其样本中包括 456 本《For Dummies》入门指南、50 本苏斯博士和好奇猴乔治系列书、《内裤队长》系列等,均没有参考文献。
作者用更细的分类表明,1945 年至 2010 年间,Holst 等人样本中的非研究内容比例从约 40% 下降到 8%。这种下降足以人为造成零参考文献作品的减少,而 Holst 等人把这一变化归因于作者研究中的元数据错误。作者认为,科研文献计量分析通常会剔除社论、讣告、图书、产品评论等混合内容,以避免其质疑的元数据质量问题;但 Holst 等人的数据集本身恰恰体现了这些问题,而不是解决了它们。Holst 等人补充的 Web of Science 分析虽然声称是直接重复研究,但其方法说明前后不一致,甚至不可能成立。作者强调,约一百项基于不同数据库、指标和非引用指标的研究都记录了科学颠覆性下降,现有证据不支持‘这只是数据伪象’的解释。
文章还包含两个主要图示:图 1 表明,在回应 Holst 等人提出的顾虑后,颠覆性下降依然存在;图 2 表明,偏离文献计量学中常见规范的做法会增加零参考文献作品数量。扩展数据图 1 显示,即便剔除零参考文献论文,使用 CYG、IsD、CD noK 和一个带多重引用阈值的 CD 指标等独立开发的颠覆性指标,在 Web of Science 和 SciSciNet 数据中仍均显著下降(P 值小于 0.001)。扩展数据图 2 显示,Holst 等人的 SciSciNet 数据中 CD=1 的作品比例高达 23.1%,远高于 Park 等人论文数据中的 4.3% 和专利数据中的 4.9%,超出约 5.4 倍;这类作品往往表示被引用但不引用其他文献的极端类型,可能与其样本中非研究内容过多有关。
数据来自 Funk 等公开的 Zenodo 资源、SciSciNet、Dimensions.ai 和 Li 等的数据集;代码基于 Funk 等的研究构建,额外脚本可按要求提供。文章研究领域为科学共同体和社会科学。作者单位分别是法国 INSEAD、美国亚利桑那大学社会学学院和美国明尼苏达大学 Carlson 管理学院。研究得到美国国家科学基金会、Wellcome Leap 基金会和 Alfred P. Sloan 基金会资助;资助方未参与研究设计、数据收集分析或手稿准备。作者声明无利益冲突。