用大脑活动“读”出内心想法：AI 自动生成心理内容描述

神经科学的核心挑战之一是解码大脑活动，以揭示由多个组件及其相互作用构成的心理内容。尽管在从人类脑活动中解码语言相关信息方面已有进展，但生成与结构化视觉语义相关的复杂心理内容的全面描述仍具难度。本研究提出了一种方法，通过深度语言模型计算的语义特征，生成能反映大脑表征的描述文本。

该方法构建线性解码模型，将视频诱发的脑活动转化为对应字幕的语义特征，然后通过词语替换和插值使候选描述的特征与脑解码特征对齐，从而优化描述。这一过程产生了结构良好的描述，能准确捕捉观看内容，甚至无需依赖经典语言网络。此外，该方法还能推广到描述回忆内容，充当心理表征与文本之间的解释界面，同时展示了基于非语言思维的脑-文本交流潜力，可为失语症等语言表达困难者提供替代交流途径。

研究中，首先训练线性解码模型，将受试者观看视频时的全脑功能磁共振成像（fMRI）活动解码为语言模型（LM）提取的视频字幕语义特征。然后，利用这些模型解码新视频刺激或回忆这些视频时的脑活动，并通过词语替换和插值迭代优化候选描述，使其实义特征与脑解码特征对齐。优化过程从无信息词（“<unk>”）开始，避免生成描述时引入先验假设，重复100次。

结果显示，基于刺激诱发脑活动解码特征的文本优化，使描述文本逐步演变，从碎片化、无明确意义发展为结构连贯、能有效捕捉视频关键内容的文本，甚至能传达多个物体间的相互作用。生成的描述在多种指标上均表现出高区分度，能准确区分视频内容，在100个候选视频中识别准确率约达50%。此外，打乱词语顺序会显著降低描述的区分度，表明其捕捉的信息远超简单词汇列表。

该方法无需依赖语言网络即可生成准确、结构良好的描述，表明大脑中存在语言网络之外的结构化视觉语义表征。同时，它能将感知训练的解码器推广到解码回忆内容，证明语义特征可作为连接感知和想象的中间表征，为将非语言思维转化为文本提供了可行途径，尤其对语言表达障碍者具有重要应用价值。