《Biological Cybernetics》：Multiple mechanisms of rhythm switching in recurrent neural networks with adaptive time constants
编辑推荐：
尽管在认知任务上训练的循环神经网络（RNNs）已成为研究神经计算的一种广泛使用的框架，但RNNs在多个频段之间切换节律的内部机制，以及这些机制与神经元时间常数的关系，尚未得到系统分析。研究人员在四波段（theta、alpha、beta、gamma）节律切换任务
尽管在认知任务上训练的循环神经网络（RNNs）已成为研究神经计算的一种广泛使用的框架，但RNNs在多个频段之间切换节律的内部机制，以及这些机制与神经元时间常数的关系，尚未得到系统分析。研究人员在四波段（theta、alpha、beta、gamma）节律切换任务上训练了具有神经元特异性可学习时间常数的漏积分器RNNs，并分析了20个独立训练的网络。低频节律由许多神经元的分布式参与产生，而高频节律则由一小群短时间常数神经元主导，时间常数与匹配模式振幅之间的负相关随频率单调增强。节律切换由多种共存机制支持：活跃亚群的更替、将工作点重新定位到不同不稳定不动点附近的网络级基线偏移，以及选择性取消或支持群体输出中波段成分的神经元间相位重组。对学习到的循环连接性的分析将这些机制与网络结构联系起来：短时间常数神经元形成了一个连接更强的模块，基线偏移通过循环相互作用的增益调制重新调谐振荡频率。每个模式对所采用的机制在不同训练运行中有所变化，揭示了学习解的退化性。这些发现与生物回路中报道的节律特异性中间神经元和多节律中间神经元的共存相平行，并为解释神经系统中频段特异性功能分化提供了一个候选框架。
**研究背景与问题**
在计算神经科学中，分析循环神经网络（RNNs）通过任务学习涌现的动态计算结构已成为核心方法论。已有研究表明，训练后的RNNs并非"黑箱"，而是获得了可解释的内部结构。然而，现有研究大多关注稳态和慢时间动态（如决策和工作记忆）或相对简单的节律振荡，且主要集中在振荡生成的宏观动力学层面（低维流形、极限环等），尚无研究系统分析单个神经元如何在频段间发生功能分化——即哪些神经元服务哪些波段，以及节律切换时神经元群体如何重组。在生物神经回路中，单个神经元以多种方式参与多个节律：海马CA1中间神经元中既有在theta节律期间特异性放电的O-LM细胞，也有同时参与theta和gamma节律的篮状细胞和双-stratified细胞。生物回路因此同时包含节律特异性专家和灵活参与多节律的通才。这种多样的功能分化能否通过监督学习在RNNs中自发涌现，尚未得到系统检验。此外，关于时间常数与功能分化的关系，Yamashita和Tani（2008）提出的多时间尺度RNN虽然确立了时间常数差异可以驱动功能分化，但时间常数被先验地固定为两个离散值且本身未被学习。Perez-Nieves等（2021）和Quax等（2020）展示了可学习时间常数多样性可增强RNNs的效率和鲁棒性，但学习到的连续时间常数分布如何映射到神经元群体的频段特异性功能分化，尚未被直接分析。
**研究内容与结论**
本研究在训练用于在跨多个频段的节律之间切换的RNNs中，系统研究了：（i）学习到的连续时间常数分布如何对应频段特异性功能分化；（ii）节律间转换的内部机制。研究人员采用漏积分器RNN，其中每个神经元的泄漏率是可学习参数，并设计了基于频谱波段功率比的可微损失函数。网络在四个频段（theta：4–7 Hz，alpha：8–13 Hz，beta：14–29 Hz，gamma：30–50 Hz）的节律切换任务上训练，引入幅度加权同步度量（绝对同步强度）以同时捕捉幅度和相位同步。对多个独立训练模型的分析揭示了以下主要发现：低频节律（theta、alpha）通过许多神经元均匀贡献的分布式机制产生，而高频节律（beta、gamma）依赖少数高幅度神经元主导的集中式机制；这种功能分化系统性地对应于学习到的时间常数——短时间常数神经元被选择性招募用于更高频段；节律切换的内部机制不能由单一原理解释，至少三种不同机制协同作用。这些发现表明，RNNs能够响应任务需求自发获得与生物神经回路类似的功能组织。
**关键技术方法**
研究人员采用具有神经元特异性可学习泄漏率的漏积分器RNN（N=100），在四波段节律切换任务上训练20个独立网络。损失函数基于快速傅里叶变换（FFT）的频谱波段功率比，仅约束群体输出的相对频谱组成。分析中采用四阶Butterworth带通滤波和Hilbert变换提取瞬时幅度和相位，定义绝对同步强度（振幅加权相位锁定）量化神经元对同步。通过不动点搜索（L-BFGS-B优化）和离散时间Jacobian稳定性分析检验基线偏移机制，通过 coherence ratio量化相位干涉，通过因果沉默实验（zero-ablation和freeze方法）检验快神经元的因果作用，并分析学习到的循环连接结构。此外进行了时间常数初始化控制实验（对数均匀5–300 ms和均匀200 ms初始化）。
**研究结果**
**训练收敛并重现目标节律**：20个独立运行中18个达到早期终止标准（L<10??），其余2个达到迭代上限但仍充分收敛，所有20个运行均用于后续分析。群体输出z(t)在脉冲输入后干净地在节律间切换，各间隔功率谱在指定波段内显示尖锐峰值。
**幅度分布及其与时间常数的相关性**：低频模式（theta、alpha）中幅度分布较为均匀，许多神经元参与振荡；高频模式（beta、gamma）分布集中在零附近并具有重右尾，仅少数神经元表现大幅度。偏度从theta的?0.30±0.20单调增至gamma的1.60±0.61，Gini系数从0.21±0.03增至0.53±0.04。时间常数与匹配模式幅度的Spearman相关从theta的?0.15±0.11增强至gamma的?0.82±0.06。
**频率依赖性同步结构**：theta和alpha模式中高同步强度广泛分布于神经元对，beta和gamma模式中高值仅出现在短时间常数神经元对区域。平均同步度从theta的36.1±9.6降至gamma的2.1±1.3。同步度与时间常数的相关随频率增强，与幅度相关平行。
**模式间群体相似性与运行间变异**：theta模式幅度模式与其他模式弱相关（ρ=0.10–0.30），且该独立性在20个运行中基本保持。alpha–beta和beta–gamma对显示中等正相关（分别为0.45±0.17和0.69±0.15）。Jaccard系数显示theta与其他模式间低（0.15–0.25），beta与gamma间较高（0.44±0.14）。alpha、beta、gamma间的相似性模式在训练运行间变异显著，beta–gamma幅度相关范围从0.46到0.92。
**基线偏移驱动节律切换**：在beta–gamma群体重叠显著的运行中（J=0.667），固定点分析显示每个模式的固定点仅在其对应波段内不稳定（beta：27.7 Hz，gamma：34.4 Hz），自由运行模拟从各模式平均活动初始化可重现对应波段的自主振荡。基线偏移是涉及整个网络的集体现象，包括低幅度神经元。
**快神经元是高频率节律的因果基础**：使用freeze方法沉默最快10%神经元几乎立即消除beta和gamma功率（中位保留功率均为0.00），而沉默最慢10%神经元则基本保留高频节律（gamma中位保留0.96，beta为0.79）。这种不对称性向低频减弱并在theta中消失。
**相位干涉控制波段功率**：低频模式一致性比率低（theta：0.10±0.03），高频模式高（gamma：0.52±0.09）。alpha→beta转换中，13个运行被分类为相位干涉型（单个神经元alpha波段振荡在beta模式中保持甚至增强，但群体输出中alpha成分因破坏性相位干涉而消失），7个为幅度抑制型。
**结构与动力学基础**：快神经元 tercile 内的平均绝对循环权重（0.102±0.004）显著大于慢神经元 tercile 内（0.085±0.002）和二者之间（0.084±0.001），20个网络中均为最快内部耦合最大。循环耦合产生的慢集体弛豫时间常数（中位211 ms）在18/20网络中超过最长内在时间常数（中位72 ms）。基线偏移通过增益调制（1?r?2）重新调谐振荡频率，保持W_rec和泄漏率固定而插值增益曲线可将主导不稳定特征频率从beta波段连续移至gamma波段。
**时间常数初始化的鲁棒性**：在对数均匀（5–300 ms）和均匀200 ms初始化方案中，幅度–时间常数相关仍从theta到gamma单调增强，网络将大部分时间常数驱动至短值，表明频率依赖性分化不依赖50 ms初始化。
**讨论与结论**
研究人员提出了三种节律切换机制框架：机制A（群体更替）——低频和高频振荡 engage 不同亚群，节律切换伴随活跃群体更替；机制B（基线偏移）——活跃群体不大规模更替时，平均活动水平偏移重新定位动力系统工作点至不同不稳定不动点附近；机制C（相位干涉）——单个神经元维持振荡，但神经元间相位一致性重组改变群体信号频谱峰值。这三种机制并非互斥，不同机制可在同一网络的不同模式对中占主导，且特定模式对采用的机制本身可随训练运行变化。研究还发现，时间常数与功能分化的关系定性依赖于频段：gamma模式中时间常数直接决定功能角色，theta模式中循环动力学发挥主导作用，这与Stern等（2023）的理论观察一致。学习解的多样性与生物神经回路中的退化性概念相呼应。研究结果与生物神经回路中节律特异性与多节律中间神经元的共存定性对应，为解释神经系统中频段特异性功能分化提供了候选框架。研究结论：低频节律由分布式机制产生，高频节律由短时间常数神经元集中式机制产生；节律切换由群体更替、基线偏移和相位干涉三种共存机制支持；学习解存在退化性，同一任务和损失函数下多种内部结构可作为学习解涌现。
