人工智能会“记住”不该记的数据，能强迫它“遗忘”吗？

本文介绍了一种名为Hubble的新开源研究工具，用于深入探究大型语言模型（LLM）的“数据记忆”问题——即模型在训练中意外记住并复述敏感信息（如信用卡号、个人住址）或受版权保护文本（如新闻报道、书籍段落）的现象。该问题不仅带来法律与隐私风险（例如OpenAI正因此被《纽约时报》起诉），也因研究成本极高而长期难以系统攻关。Hubble由南加州大学与马克斯·普朗克软件系统研究所等机构联合开发，获英伟达提供20万小时算力支持，成功训练了近24个定制化模型。研究发现：训练后期输入的数据更容易被模型逐字记住；但若将敏感数据提前加入训练，则可能引发“灾难性遗忘”（即模型丢失早期学到的重要能力）。这揭示了模型“保留有用知识”与“避免不当记忆”之间存在根本权衡。Hubble免费开放，有望推动更多团队开展严谨实验，例如测试让模型主动“遗忘”特定数据的可行性（即“反学习”技术）。该成果将于4月23日在巴西里约热内卢举行的第14届国际学习表征会议（ICLR）上发布。