广义潜在平衡:通过时空与大脑的反向传播新框架

《Nature Communications》:Backpropagation through space, time and the brain

【字体: 时间:2025年12月27日 来源:Nature Communications 15.7

编辑推荐:

  本文推荐一项关于物理神经元网络时空信用分配机制的研究。作者提出广义潜在平衡(GLE)框架,通过引入神经元局部前瞻性(+Dτr)与回顾性(-Iτm)算子,构建了具有时空局部性的连续时间学习算法。该框架实现了对时间反向传播(BPTT)的实时近似,在MNIST-1D、语音命令识别等任务中达到与门控循环单元(GRU)相当的精度(93.5%),为神经形态计算和大脑学习机制提供了新模型。

  
在复杂动态环境中,生物神经系统如何实时分配信用信号始终是计算神经科学的未解之谜。传统深度学习采用的反向传播通过时间(BPTT)等算法需要存储完整时间轨迹,违反神经系统的局部性约束。而实时递归学习(RTRL)等方法虽满足因果性,却存在计算复杂度高的问题。这种时空信用分配的困境,促使研究者探索更贴近生物机制的学习框架。
伯尔尼大学团队提出的广义潜在平衡(GLE)框架,巧妙利用神经元的双重时间特性:膜电位的回顾性整合(-Iτm)和输出速率的前瞻性微分(+Dτr)。通过构建基于神经元局部失配误差的能量函数,推导出完全局部的时空动力学方程。该框架的核心突破在于,通过前瞻性编码实现对未来误差的估计,使网络能够在线近似BPTT的梯度计算。
研究采用教师-学生范式验证GLE的性能。在MNIST-1D任务中,包含瞬时神经元(τmr)和回顾性神经元(τmr)的六层网络达到93.5%的准确率,与时间卷积网络(TCN)和门控循环单元(GRU)性能相当。在Google语音命令数据集中,GLE网络处理41个梅尔频谱序列,准确率达91.44%,接近长短期记忆网络(LSTM)的94.0%。特别在Mackey-Glass混沌时间序列预测任务中,GLE网络仅使用186个神经元即可实现14.25%的对称平均绝对百分比误差(sMAPE),优于回声状态网络(ESN)。
关键技术方法包括:1)构建具有多时间常数神经元的层次网络,每个隐藏层包含瞬时、中等和慢速三种神经元群体;2)采用基于能量函数的局部学习规则,权重更新遵循ΔWij∝eirj的三因子可塑性;3)使用向前欧拉法进行数值积分,时间步长根据任务调整(MNIST-1D任务dt=0.2,语音任务dt=0.05);4)基于公开数据集(MNIST-1D、Google语音命令v2.12、CIFAR-10)进行性能评估。
网络动力学
GLE神经元动力学遵循τmu?=-u+Wφ(+Dτr{u})+b++Dτm{-Iτr{φ'WTe}}方程。误差传播通过e?=+Dτ?m{-Iτ?r{φ'?°W?+1Te?+1}}实现分层耦合,其中前瞻性算子+Dτ产生相位超前,补偿前向信号的延迟。
皮质/神经形态电路
GLE预测金字塔神经元(PYR)的树突区室分别处理前向信号和误差信号。体细胞整合基底树突的输入,顶树突接收来自高层误差神经元的反馈。这种形态学分离使单个神经元能同时表示输入、误差和整合信号,实现局部三因子可塑性。
最小GLE示例
在双神经元链任务中,GLE通过相位校正的误差信号成功学习时间偏移模式,而瞬时反向传播因无法对齐输入与误差时序导致失败。当截断窗口小于信号周期时,BPTT性能显著下降,而GLE保持稳定学习。
小规模GLE网络
包含瞬时和回顾性神经元的双层网络演示了误差频谱对齐机制。傅里叶分析显示,GLE误差与伴随变量在相位谱上完全重合,振幅谱在ωτ?1范围内近似匹配。这种频率特性使权重更新方向与真实梯度保持一致。
挑战性时空分类
在MNIST-1D任务中,六层GLE网络通过组合不同τmr的神经元群体,形成多时间尺度感受野。网络对参数噪声表现出强鲁棒性,在时间常数标准差为0.1时性能仅下降3%。权重失准实验表明,当反馈权重B?与W?+1T夹角小于30°时,学习效果几乎不受影响。
混沌时间序列预测
GLE在Mackey-Glass预测任务中展现长程依赖处理能力。通过四个延迟输入神经元构建时空特征,网络在10个李雅普诺夫时间范围内保持预测稳定性。这种性能源于前瞻性编码对混沌系统初值敏感性的补偿机制。
研究结论表明,GLE框架通过统一时空信用分配机制,为神经形态计算和大脑学习理论提供新范式。其双重时间算子设计既符合生物神经元实验观测(如钠通道失活引发的前瞻性),又能映射到状态空间模型(SSM)等现代机器学习架构。该工作为开发低功耗神经形态芯片和理解皮层微电路学习机制奠定理论基础。
讨论部分指出,GLE与潜在平衡(LE)的继承关系揭示:当τmr时系统退化为纯空间信用分配。与随机反馈在线学习(RFLO)相比,GLE通过精确相位控制实现更深的误差传播。未来方向包括将框架扩展至脉冲神经网络和复杂树突计算模型,进一步弥合生物与人工智能的鸿沟。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号