动态增益神经调节减弱了持续联合训练期间的稳定性差距

《Neural Networks》：Dynamic gain neuromodulation attenuates stability gaps during continual joint training

　　

# 摘要

近期持续学习领域的研究揭示了一个重要现象——**稳定性间隙**（stability gap）：当引入新任务时，模型在先前已学习任务上会出现短暂的性能下降。这一现象反映了在任务边界处，快速适应与强记忆保持之间的失配，凸显了需要一种优化机制来在急剧的分布变化下平衡可塑性与稳定性。尽管动量SGD（momentum-SGD）和Adam等优化器引入了隐式的多时间尺度行为，但它们仍然存在显著的稳定性间隙。重要的是，即使在理想的联合训练下，这些间隙依然持续存在，因此有必要在此设定下研究它们，以将其成因与其他遗忘来源区分开来。受去甲肾上腺素能（神经调质）爆发在不确定性条件下瞬时提高神经元增益的启发，我们引入了一种**动态增益缩放机制**，作为双时间尺度优化技术，通过在瞬时提高有效更新幅度的同时动态重参数化前向传递中的权重，来平衡适应与保持，从而在实证上缓解过渡引发的曲率放大效应。在领域增量和类增量的MNIST、CIFAR及mini-ImageNet基准测试中，在无任务先验的联合训练条件下，动态增益缩放能有效减弱稳定性间隙，同时保持有竞争力的准确率，提升任务转换处的鲁棒性。

# 引言

人工神经网络中的持续学习（Continual Learning, CL）旨在模拟生物中观察到的终身适应性，使网络能够持续获取新数据，而不会灾难性地覆盖过去样例中的知识（Kudithipudi et al., 2022; Mei et al.; van de Ven et al., 2022）。传统上，该领域的大部分研究集中于缓解这一现象，通过近似所有已遇任务的理想联合损失函数来实现（De Lange et al., 2023; van de Ven et al., 2022）。然而，近期研究已识别出**稳定性间隙**的存在（De Lange et al., 2023; Hess et al., 2024）——即在每次任务切换时出现对过往任务知识的短暂遗忘（见图1）。关键在于，这一间隙即使在理想的联合训练下依然存在，表明其源于优化动力学，而非表示漂移或有限的记忆容量（Hess et al., 2024; Kamath et al., 2024），这与稳定持续学习系统的核心目标背道而驰。实际上，尽管模型在初步下降后可能恢复部分性能，但这种暂时的准确率下降在频繁更新模型时引入了重大风险（De Lange et al., 2023）。因此，模型往往倾向于较少更新，或完全从头重新训练，这非常耗费计算资源。

动量SGD（MSGD）（Rumelhart et al., 1986）和Adam（Kingma & Ba, 2015）等标准优化器通过动量或自适应学习率引入了隐式的多时间尺度正则化，但它们仍然存在稳定性间隙。近期分析表明，动量项可能使更新偏离真正的梯度方向（Kamath et al., 2024），在任务边界处损失景观急剧变化时导致过冲。因此，我们将稳定性间隙视为稳定性-可塑性两难困境的早期适应表现，源于快速获取新信息时暂时扰动先前获取的知识。这使得稳定性间隙成为一个由动力学引发的未解决问题，在在线持续学习中尤为有害，因为模型在部署期间可能被查询，因此必须在整个训练过程中保持鲁棒性。

然而，在生物学中，神经环路展现出终身适应性，持续整合新信息，同时最小化对已建立记忆的干扰（Kudithipudi et al., 2022）。这种可塑性与稳定性之间的精细平衡源于皮层网络中的内在神经调质动力学（Mei et al.; Shine, 2019）。支撑这种灵活性的关键机制之一是**增益神经调质**（gain neuromodulation）——即神经元反应性的瞬时变化，它调整输入对神经活动的影响强度而不改变选择性（Ferguson & Cardin, 2020; Jordan, 2024）。虽然增益调节可通过多种生物途径产生，但一个特征明确的来源是去甲肾上腺素能活动，它在感觉证据整合过程中因应对意外不确定性而增加神经增益，从而在保持稳定表示的同时实现对演化感知估计的快速更新（Aston-Jones & Cohen, 2005; Munn et al., 2021; Shine, 2019; Wainstein et al., 2025）。

我们假设这些瞬时增益提升诱发了权重适应的快速和慢速时间尺度，使网络能够对新信息进行快速调整，同时保持稳定表示，类似于快慢权重优化范式——即快权重在新学习过程中瞬时提升早期任务性能，而不干扰慢权重中正在进行的巩固（Hinton & Plaut, 1987）。此外，增益调节在梯度下降更新的基权重与前向传递中表达的有效权重之间诱导了动态重参数化（Dinh et al., 2017）。我们假设这种前向传递重参数化减弱了较大有效更新通常会伴随的过渡引发的曲率放大和损失敏感性。

由于对稳定性间隙的理解促使我们认识到，不仅要关注优化什么，还要关注如何优化（即优化技术）（Hess et al., 2024），我们引入了一种**不确定性调节的增益机制**，作为近似的双时间尺度梯度下降调整，以在无任务先验的在线持续学习场景中缓解稳定性间隙。我们将该机制与Adam（Kingma & Ba, 2015）和MSGD（Rumelhart et al., 1986）进行基准对比，因为二者都是广泛使用的多时间尺度优化器，同时也纳入朴素的SGD（Goodfellow et al., 2016）作为非自适应单时间尺度基线。因此，本工作的主要贡献为：

- 我们引入不确定性引导的增益动力学，并分析性地证明了梯度下降更新中的瞬时增益提升会诱发出快速的慢速权重适应时间尺度，与多时间尺度优化方法相呼应。
- 我们推导了神经元增益如何在梯度下降更新的基权重与前向传递中表达的有效权重之间转换梯度和曲率，并实证表明这能减弱快速适应相关的任务转换引发的曲率放大。
- 基于这些洞见，我们提出NGM-SGD优化器，用于在线持续学习，在领域增量和类增量的MNIST、CIFAR及mini-ImageNet基准测试中实证减弱了无任务先验联合训练条件下的稳定性间隙，在转换稳定性方面优于MSGD、Adam和朴素SGD。

需要注意的是，我们的贡献关注优化如何进行，而非采用何种持续学习策略，因此NGM-SGD与现有的灾难性遗忘方法（如回放方法，见附录E）和正则化技术是互补的。尽管此处在理想化联合训练下进行评估以隔离稳定性间隙，但它可以直接与这些方法结合使用。

# 增量学习任务与感知更新

AI系统中的增量学习任务（van de Ven et al., 2022），其中网络必须响应变化的数据分布来调整内部表示，可以被视为神经科学实验中的感知更新形式——即动物顺序获取新感觉信息的过程。在生物系统中，这种更新不仅通过突触可塑性介导，还通过神经调质信号协调，调节何时应该修订内部表示。具体而言，蓝斑（locus coeruleus, LC）发出的去甲肾上腺素能（NA）爆发——对于调节觉醒、应激反应、注意力和睡眠-觉醒周期至关重要——通过在不确定性条件下促进知识获取，在这些行为中发挥关键作用（Sales et al., 2019）。

实验和理论研究已表明，从机制上看，阶段性LC-NA爆发——传递诸如新颖刺激等紧急行为需求——瞬时增加神经元增益，全局放大神经反应性而不改变选择性（Ferguson & Cardin, 2020; Jordan, 2024）。这种增益增加有效地平坦了潜在的神经状态能量景观，使竞争性表示之间的快速转换成为可能，并促进感知切换（Munn et al., 2023; Wainstein et al., 2025）。特别是，Wainstein等人（2025）证明，在感知模糊条件下，瞳孔直径——阶段性LC活动和神经调质张力的间接且非特异性读出信号（Samuels & Szabadi, 2008）——与感知内容的切换紧密相关，因为瞳孔关联的增益波动重现了LC动力学典型的阶段性-恒调性放电模式，并作为瞬时"网络重置"，促进感知分类的转换。因此，有趣的是，诱发的瞳孔扩张可靠地与感知模糊的解决相吻合，支持了不确定性驱动NA增益调节在感知更新中起因果作用的观点（Sales et al., 2019）。

基于这些洞见（见附录C，我们证明我们的增益动力学可归约为Wainstein等人（2025）的公式），我们假设这些瞬时增益提升在神经环路上也诱发了权重适应的快速和慢速时间尺度，促进知识获取，同时驱动一种重参数化，在任务之间产生快速而稳定的转换（Dinh et al., 2017; Hinton & Plaut, 1987）。因此，我们将这一受生物启发的思想应用于人工网络的学习动力学，探讨不确定性驱动的增益调节如何塑造训练过程中的优化轨迹。然而，虽然生物环路中的增益调节通过脉冲放电和群体水平动力学产生（Munn et al., 2023; Whyte et al., 2025），但在人工网络中，我们通过在与整流线性单元（ReLU）激活函数配合使用时对输入权重进行增益系数缩放来实现。因此，本工作构成了一个最小且具生物学可解释性的抽象，保留了去甲肾上腺素能增益作为输入敏感性调节器的功能角色，使有效权重损失景观的瞬时重塑和网络表示的自适应更新成为可能。

# CL中的稳定性间隙

直到最近，才有一项研究指出，传统的AI系统评估范式存在根本性不足（De Lange et al., 2023; Hess et al., 2024）。考虑一个任务序列{T?}?=??，具有对应的数据分布{D?}?=??，令Fθ表示由θ参数化的模型。在传统的基于任务的评估中，Fθ按顺序训练，在完成任务Tk时更新参数θ?，并且其性能仅在接受Tk训练完成后进行测量（De Lange et al., 2023）。值得注意的是，这种基于任务的评估对模型准确率在训练过程中的演变情况是"盲"的。作为一种替代，持续评估策略在学习任务Tk时每ρ个训练迭代测量Fθ的性能（De Lange et al., 2023）。有趣的是，持续评估揭示了即使在大型语言模型中也存在稳定性间隙（Caccia et al., 2022; De Lange et al., 2023; Guo et al., 2025）。这些短暂的准确率下降通过在任务之间引入临时遗忘，损害了CL的目标，并限制了系统的整体学习能力。具体而言，这在持续安全关键应用中尤其成问题，因为即使是瞬间的故障也可能造成严重后果（De Lange et al., 2023; Hess et al., 2024）。人们可能会天真地将稳定性间隙归因于CL方法对联合目标的不完美近似。然而，这一假设并不成立，因为该现象即使在完美联合训练下（L_joint = L_new + L_old）仍然存在（Hess et al., 2024; Kamath et al., 2024）。因此，这一发现意味着，暂时的性能崩溃不仅仅是记忆或正则化近似的产物，而是从顺序优化的基本动力学中涌现出来的，凸显了在理想化联合损失设定下研究其重要性（Kamath et al., 2024）。

除了评估范式和稳定性间隙的识别之外，越来越多的工作试图确定其成因并提出补救措施。Hess等人（2024）认为，θ_old和θ_joint之间存在一条非递增损失路径，表明持续学习者只需跟随这条山谷即可。然而，通过梯度投影方法强制这样的轨迹在实际中收效甚微。在齐次CIFAR设定中，Kamath等人（2024）进一步证明，虽然确实存在一条线性低损失路径，但MSGD在每次任务转换时都会偏离它。尽管存在缓解稳定性间隙的成功方法，但许多方法依赖于增加架构模块或任务特定细节，使其不适用于轻量级的、无任务先验的在线使用。例如，?apacz等人（2025）随每个新任务扩展分类器——导致模型复杂度不断增加——并证明大部分临时遗忘源于最后一层线性层。

Harun和Kanan（2024）以及Guo等人（2025）依赖于预训练骨干网络和低秩更新，而Soutif-Cormerais等人（2023）则在任务切换过程中维持权重的平滑平均值，以计算成本为代价提升稳定性。这些局限性凸显了轻量级、优化器层面的干预方法的需求，该方法需兼容与任务无关的在线训练。我们的方法正是沿此路线展开，引入了一种受生物启发的增益调制更新规则，通过更新动力学来缓解稳定性差距。神经元增益调制神经元增益表征神经元的输入敏感性。其形式定义为输入-输出传递函数的斜率，反映输出放电率随输入电流变化而变化的速率（Aston-Jones, Cohen, 2005, Ferguson, Cardin, 2020, Jordan, 2024）。这一特性在皮层回路生物物理模型中得到了广泛研究，凸显了增益调制在适应性计算中的作用（Bos, Miehl, Oswald, Doiron, 2025, Munn, Müller, Medel, Naismith, Lizier, Sanders, Shine, 2023, Rodriguez-Garcia, Whyte, Munn, Mei, Shine, & Ramaswamy）以及微调运动反应（Stroud等人, 2018）。此外，理论神经科学研究还探讨了增益调制与突触可塑性之间的因果关系，提出两者之间存在复杂的相互作用（Swinehart和Abbott, 2005）。然而，尽管其具有生物学意义，增益调制在人工学习系统中受到的关注有限。最近的一项研究将增益调制用于层级模型中的注意力门控，但仅作为权重学习后的微调步骤，忽略了其与权重更新的相互作用（Haimerl等人, 2022）。另一项研究将其作为自适应白化的孤立机制使用（Duong等人, 2023a），并通过将快速增益变化与较慢的突触可塑性配对，将其扩展到多时间尺度白化（Duong等人, 2023b）。然而，其增益调制仅限于单层架构中的中间神经元（Duong, Lipshutz, Heeger, Chklovskii, Simoncelli, 2023a, Duong, Simoncelli, Chklovskii, Lipshutz, 2023b）。尽管如此，一个关键的理论见解是增益神经调质重塑了神经状态能量景观：去甲肾上腺素输入使其平坦化，从而支持灵活的切换，而胆碱能输入使其加深以稳定记忆（Munn, Müller, Medel, Naismith, Lizier, Sanders, Shine, 2023, Munn, Müller, Wainstein, Shine, 2021, Shine, 2019）。最近关于循环神经网络的研究支持了这一观点，表明不确定性驱动的增益调制通过推动系统沿高速度轨迹运动来促进知觉切换（Wainstein等人, 2025）。然而，在该模型中，增益在训练期间固定不变，仅在之后进行调制，限制其与权重更新的相互作用。我们通过在训练过程中纳入增益动力学并将其应用于减少联合持续学习中的稳定性差距来扩展这一方法。分节片段增益提升作为多时间尺度优化器将处理时间尺度引入人工神经网络提供了一种原理性的策略，以协调稳定的长期记忆巩固与快速的上下文驱动适应。快-慢权重范式体现了这一原则，通过维持独立的"慢"和"快"权重分量，即 $W_{\text{eff}} = w_{\text{slow}} + w_{\text{fast}}$（Hinton和Plaut, 1987）。这使得网络能够通过快权重的瞬态更新迅速适应分布偏移，这些快权重会快速衰减趋近于零，同时……讨论我们的工作从视角上为近期的持续学习范式转变做出了贡献，即将关注点从"优化什么"转向"如何优化"（Hess等人, 2024）。受去甲肾上腺素相性爆发在不确定性期间增强皮层响应性的启发（Jordan, 2024, Shine, 2019），我们提出增益调制作为受生物学启发的机制来重新构建优化过程。它不是通过固定的参数化方式进行适应，而是通过不确定性驱动的增益提升动态重塑学习动力学，支持……方法我们考虑一种联合训练场景，学习者 $F_\theta$ 在 $K$ 个上下文序列 $C = \{c_k\}_{k=1}^{K}$ 上进行训练。每个上下文 $c_k$ 是一个不相交的数据集 $\{(x_j, y_j')\}_{j=1}^{N} \sim D_k$。上下文依次以在线方式呈现，每个上下文训练固定的迭代次数 $I_C$。由于这是……贡献者声明Alejandro Rodriguez-Garcia：审阅与编辑、撰写初稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念构思。Anindya Ghosh：审阅与编辑、监督。Srikanth Ramaswamy：审阅与编辑、监督、资源、项目管理、资金获取。利益冲突声明作者声明他们没有已知的可能影响本文报告工作的相互竞争的财务利益或个人关系。致谢本研究得到了以下项目支持：Marie Sk?odowska-Curie全球博士后奖学金协议842,492（资助S.R.）；纽卡斯尔大学学术轨道（NUAcT）奖学金（资助S.R.）；富布赖特研究奖学金（资助S.R.）；Lister研究所奖学奖学金（资助S.R.）；医学科学院Springboard奖项（资助S.R.）；美国空军科学研究办公室（AFOSR, FA9550-23-1-0533）拨款（资助S.R.）；冲绳科学技术学院（OIST）理论科学访问项目（TSVP）；A.G. Alejandro Rodriguez-Garcia | Anindya Ghosh | Srikanth Ramaswamy