用“达勒反向传播”和结构优化法打造更接近生物大脑的神经网络
作者: aeks | 发布时间: 2025-12-17 00:04 | 更新时间: 2025-12-17 00:04
循环神经网络(RNN)是模拟大脑皮层功能的重要工具,但其传统结构在生理和解剖学真实性上存在不足,影响了所得结论的有效性。本研究开发了基于数学原理的方法,将戴尔定律(神经元仅具有兴奋性或抑制性作用的生物学原则)和高度稀疏的连接模式同时整合到RNN训练流程中,使受约束模型的性能在实验上与无约束RNN相当。
具体而言,研究提出了“戴尔反向传播”(Dale’s backpropagation)方法,通过修改标准反向传播过程,在训练中强制权重满足兴奋性神经元非负、抑制性神经元非正的符号约束,并从理论上证明了其在特定条件下的线性收敛性。随后,采用“拓扑感知概率剪枝”(top-prob pruning)方法,基于拓扑原理保留高强度连接,将密集网络修剪为目标稀疏连接模式,再通过戴尔反向传播重新训练稀疏子网络。这两种方法易于实现且具有生物学合理性,模拟了突触发育中先形成大量连接再修剪弱连接的过程。
在验证方面,该方法在神经科学启发任务(如1位触发器、波形重建)和机器学习任务(如序列MNIST)上表现与传统RNN相当,甚至收敛更快。将其应用于小鼠视觉行为的双光子钙成像数据时,研究构建了具有细胞类型特异性连接约束的RNN模型(CelltypeRNN),以重建跨多个皮层 layers 和脑区的神经活动。结果表明,模型推断的多区域神经交互在长、短时间尺度上均与预测编码理论一致:例如,视觉刺激变化时,前馈连接增强以传递预测误差;反馈连接则根据预测是否符合实际动态调整,且不同细胞类型(如VIP神经元)在处理预测违反(如刺激缺失)中发挥特定作用。
综上,该研究提供了构建兼具生物学真实性和高性能的RNN工具,为揭示大脑皮层电路的功能连接机制(如预测编码)提供了新视角。
标签: 拓扑感知剪枝 生物约束循环神经网络 钙成像 预测编码