用脑机接口实时翻译中文的完整语言信息

大脑-计算机接口（BCI）有望帮助因肌萎缩侧索硬化症（ALS）或脑干中风等神经系统疾病导致失语的患者恢复沟通能力。目前的语音解码研究主要集中在英语，采用基于音素的架构，而像汉语普通话这样的声调单音节语言的实时解码仍是一大挑战。本研究展示了一种实时普通话语音BCI，能直接从神经信号中解码单音节单元。

研究团队使用256通道高密度皮层脑电（ECoG）接口，仅基于神经信号就实现了对394个不同音节的稳定解码，在单字阅读任务中音节识别准确率中位数达71.2%。借助这一高性能音节解码器，研究进一步实现了实时句子解码。

实验中，一名43岁右利手女性参与者因临床癫痫治疗植入了256通道柔性ECoG阵列，覆盖中颞回、上颞回、腹侧感觉运动皮层（vSMC）等区域。参与者完成了两项任务：单字阅读（屏幕呈现汉字，大声朗读三次，对不认识的字同步播放语音辅助）和句子阅读（朗读整句）。单字任务用于训练解码器，句子任务评估实时解码效果。

解码流程包括：预处理神经信号提取高γ活动，检测语音起始点，通过双流解码器计算音节和声调的概率分布，匹配候选汉字后结合3-gram语言模型输出最可能结果。研究比较了多种神经网络架构，发现四层LSTM模型性能最优，音节解码准确率达71.2%，声调解码准确率69.1%。

在实时句子解码中，仅神经解码的字符准确率（CAR）为61.5%，结合语言模型后提升至73.1%，沟通速率达49.7字/分钟。该系统还成功用于控制机械臂、驱动数字化身及与大型语言模型交互，证明了其实际应用潜力。

本研究证实了整合声调的直接音节神经解码方法对普通话的有效性，为声调单音节语言的全覆盖脑机接口系统开辟了道路。未来可通过多模态信号融合、无线植入设备及扩展神经靶点等方向进一步提升技术的临床适用性。