基于电导的反向电位在脉冲循环神经网络中提升能效与任务表现

《Frontiers in Computational Neuroscience》：Conductance-based reversal potentials in spiking recurrent neural networks enhance energy efficiency and task performance

　　

研究人员提出一种具有生物接地特性的脉冲循环神经网络（Spiking recurrent neural networks, SRNNs），该网络在实现Dale定律的同时引入基于电导的α?氨基?3?羟基?5?甲基?4?异恶唑丙酸（α?amino?3?hydroxy?5?methyl?4?isoxazolepropionic acid, AMPA）与γ?氨基丁酸（gamma?aminobutyric acid, GABA）反向电位。这些反向电位根据突触后膜电位调节突触增益，研究人员从理论上推导其如何使每个神经元的等效动力学与阈下共振依赖于输入。研究人员在Spiking Heidelberg Digits（SHD）数据集上训练SRNNs，结果表明带反向电位的SRNNs在维持或提升任务准确率的同时，将脉冲能量降低至多3倍。这使得高性能的Dale型SRNNs较无反向电位的Dale网络有显著提升。带反向电位的SRNNs表现出更接近泊松统计的脉冲串统计特性（类似于生物神经元），并显著减少振荡活动，从而增加响应特性的异质性。因此，作为生物神经网络核心特征的、带反向电位的Dale定律可使SRNNs更准确且节能。

研究背景方面，脉冲循环神经网络（Spiking recurrent neural networks, SRNNs）作为生物神经网络的直接类比，在复杂任务上可与经典循环神经网络架构及前馈人工神经网络取得相当甚至更优的性能，并为神经形态计算提供节能方案。尽管通过替代梯度实现随时间反向传播（back?propagation?through?time, BPTT）、采用带适应机制的脉冲神经元、增加神经元间异质性等进展提升了SRNNs性能，但生物神经元的许多特性尚未在SRNNs中实现，这些特性对其性能与能效的影响仍部分未被探索。现有任务求解SRNNs中使用的自适应线性积分发放（adaptive Linear Integrate Fire, adapLIF）神经元仍存在电压动态大幅波动、缺乏生物合理性的问题。生物神经元中电压动态受特定机制约束，即反向电位的存在使突触电流呈电压依赖性，甚至可反转GABA能（gamma?aminobutyric acid, GABA）与谷氨酸能突触输入的极性。因此研究人员开展本研究，定义新型神经元模型，使GABA能与谷氨酸能神经元产生的递归突触输入受反向电位调控，网络包含两类神经元并遵循Dale定律（即神经元使用单一神经递质），根据其突触后膜电位表现为兴奋性或抑制性，旨在探究反向电位对SRNNs性能与能效的影响。研究人员通过在标准Spiking Heidelberg Digits（SHD）分类任务上测试不同模型得出结论：引入反向电位可显著提升SRNNs的任务表现与能效，同时使网络动力学更具生物合理性，这对神经形态计算具有重要意义。该论文发表在《Frontiers in Computational Neuroscience》。

关键技术方法方面，研究人员采用离线监督学习在两种规模网络（单隐藏层Arch?1L、双隐藏层Arch?2L）上训练脉冲RNNs，通过随时间反向传播（back?propagation?through?time, BPTT）优化参数；使用辛欧拉（symplectic?Euler, SE）离散化自适应线性积分发放（adaptive Linear Integrate Fire, adapLIF）神经元模型；设置基线模型（baseline model）、仅遵循Dale定律模型（Dale model）、同时遵循Dale定律并实现电压反向电位模型（AM+GA models），以及仅实现AMPA或GABA反向电位模型（AMPA、GABA），其中固定版本采用生物估计值θ_exc≈?1、θ_inh≈+2，可训练版本将反向阈值设为层内可学习参数；在Spiking Heidelberg Digits（SHD）数据集上评估，以测试集准确率衡量任务表现，以缩放中位绝对偏差（Scaled Median Absolute Deviation, SMAD）与脉冲能耗（Spike energy consumption）衡量能效，后者按E_t^m=c₁ˉs_t^m+c₂ˉτ_t^m等公式计算，其中c₁=1/3、c₂=2/3，分别加权神经元发放本身与突触传输的能耗。

研究结果部分保留原文小标题并说明如下：

2 Results

研究人员以自适应线性积分发放（adaptive Linear Integrate Fire, adapLIF）神经元模型为基线，对比引入Dale定律与AMPA、GABA反向电位的模型。通过在Spiking Heidelberg Digits（SHD）数据集上训练单隐藏层（Arch?1L）与双隐藏层（Arch?2L）网络发现：相较于基线，Dale模型降低脉冲能量与电压波动；引入电压反向电位较基线与Dale模型进一步大幅降低能耗与电压范围，Arch?1L中AM+GA模型脉冲能量约降低3倍，SMAD约降低1.5倍，Arch?2L亦有类似提升；单独AMPA或GABA反向电位均可降低能耗与波动，二者联合效果最优。任务表现上，Arch?1L中Dale模型准确率较基线降约1.5%，而引入反向电位恢复准确率，Arch?2L中AM+GA模型准确率显著高于基线与Dale模型；可训练AM+GA模型各指标迭代间标准差更小，表现更稳定。所学反向阈值与生物先验一致。神经元分析表明，带反向电位模型振荡单元比例更低（Arch?1L中从0.85降至0.26）、共振频率更低，脉冲模式更接近泊松过程（变异系数Coefficient of Variation, CV接近1），适应变量a更大；理论上反向电位使状态转移矩阵A依赖于递归电导J，增大J严格减小特征值幅值|λ|=√detA=√β[α?ˉαJ]，缩小振荡区间，使频率平均随J增大而降低，从而减弱振荡。

讨论部分总结：研究人员指出SRNNs性能提升虽源于替代梯度BPTT、适应机制、神经元异质性等，但许多生物特性尚未引入且其影响未明；本研究定义的带反向电位Dale型SRNNs在SHD任务上脉冲能量降至多3倍且准确率维持或提升，伴随振荡单元减少与频率降低，反向电位使阈下共振依赖电导，增强电导抑制振荡与降频。研究人员推测可能原因包括反向电位约束电压范围改善替代梯度消失、赋予抑制输入对兴奋输入的分式而非减法效应增强计算能力、使共振频率输入依赖从而产生时变特征选择性响应；反向电位源于离子通道电化学梯度，生物中GABA能反向电位随发育与脑区变化，本研究固定生物估计与可学习阈值均收敛且提升稳定性，暗示生物阈值优化带来跨初始化的稳定能效与表现。研究人员提及Baronig et al.（2025）中需调参的q与非必要输入预处理未在本研究采用；近期耦合振荡器RNN（coupled oscillator RNN, CoRNN）研究表明振荡倾向未必提升性能，本研究反向电位大幅减振荡却提效，类似生物静息低频、刺激去同步现象。综上，该研究推动SRNNs生物真实性，助力神经形态计算中能效与稀疏性应用。

研究结论部分翻译：性能提升伴随振荡单元数与振荡频率降低。反向电位使阈下共振依赖电导，从而增强电导抑制振荡行为并降低频率。带反向电位的AM+GA模型振荡单元显著更少且振荡更弱。反向电位进一步导致振荡减弱及共振频率对电导J的非线性依赖。