受记忆启发的泛化与特化解耦机制，以实现鲁棒的领域增量学习

《Neural Networks》：Memory-Inspired Decoupling of Generalization and Specialization for Robust Domain Incremental Learning

　　摘要
虽然人类能够从非平稳数据中持续学习，但机器却容易发生灾难性遗忘，这突显了持续学习的必要性。一个典型的例子是领域增量学习（Domain Incremental Learning, DIL），在这种学习中，标签保持不变，但输入分布在不同的领域中有所变化。现有的方法虽然有效，但往往过于依赖利用先前的知识。这种倾向可能会降低对领域间多样性的敏感性，并限制领域不变表示的学习。因此，它们在抵抗灾难性遗忘与保持足够可塑性之间的平衡能力仍有提升空间。相比之下，人类大脑通过记忆机制能够高效处理这种动态场景。受到情景记忆和语义记忆的存储、形成和巩固机制的启发，我们提出了一种新颖的DIL框架。我们的框架在架构层面和优化层面分离了领域不变表示和领域特定表示的学习。在架构上，我们借鉴了大脑中两种记忆的分工，设计了一种可扩展的领域感知适配器库增强架构（Domain-Aware Adapter Bank-Enhanced Architecture）。该架构为领域不变表示和领域特定特征的学习分配了独立的参数，为协作式且互不干扰的优化奠定了坚实基础。在算法上，我们基于互补学习系统理论和杏仁核的选择性重放机制，开发了一种双结构多时间尺度训练策略（Dual-Structured Multi-Timescale Training Strategy），该策略结合了选择性记忆刷新和知识巩固，实现了快速适应新领域、渐进式跨领域整合以及在有限内存条件下的平衡重放。在四个图像分类基准测试中的广泛实验表明，我们的方法达到了最优性能。该方法能够很好地适应新领域，减少遗忘，并在内存稀缺的情况下有效运行。值得注意的是，在内存稀缺的情况下，其平均准确率相比基准算法提高了15%。

引言
近年来，持续学习（Continual Learning, CL）已成为关键研究焦点。这一趋势的推动在于对智能系统的需求，这些系统需要适应不断变化的环境和现实世界中的非平稳数据分布（Boutyour, Idrissi, 2025; De L, Aljundi, Masana, Parisot, Jia, Leonardis, Slabaugh, Tuytelaars, 2021; Shaheen, Hanif, Hasan, Shafique, 2022; Tian, Li, Li, Ran, Ning, Tiwari, 2024）。在CL中，模型从非平稳分布中采样的数据集中学习，同时减轻灾难性遗忘现象，即学习新任务时以前学到的任务性能显著下降（Wang, Zhang, Su, Zhu, 2024a; Zhou, Wang, Qi, Ye, Zhan, Liu, 2024）。CL通常可以分为任务增量学习（Task Incremental Learning, TIL）、类别增量学习（Class Incremental Learning, CIL）和领域增量学习（Domain Incremental Learning, DIL）。与TIL（测试时任务身份已知）或CIL（标签空间随时间扩展）不同，DIL假设标签空间是固定的，同时适应输入分布的显著变化（Van de Ven, Tuytelaars, Tolias, 2022; Wang, Zhang, Su, Zhu, 2024a）。因此，DIL要求模型学习领域不变的表示以实现泛化，同时保留对每个领域至关重要的领域特定特征（Liu, Wang, Li, Wang, 2024; Van de Ven, Tuytelaars, Tolias, 2022）。这种能力在自动驾驶等应用中尤为重要，因为系统必须适应不同地区的各种天气条件和道路类型；在医学成像中，诊断模型必须在多个医疗机构之间变化的扫描仪和采集协议下保持准确性（Li, Yu, Heng, 2022; Mirza, Masana, Possegger, Bischof, 2022; Shaheen, Hanif, Hasan, Shafique, 2022）。许多研究者提出了多种领域增量学习方法（Baker, New, Aguilar-Simon, Al-Halah, Arnold, Ben-Iwhiwhu, Brna, Brooks, Brown, Daniels, et al., 2023; Gao, Wu, Chen, Li, Wang, An, Li, Liu, 2023a; Iqbal, Zhong, Khan, Wu, Alhammadi, Liu, 2025; Lamers, Vidal, Belbachir, van Stein, B?eck, Giampouras, 2023; Tian, Yu, Karimi, Gao, Lin, 2026），其中基于重放的方法显示出强大的效果（Gowda, Zonooz, Arani, 2023; Jeeveswaran, Arani, Zonooz, 2024; Shi, Wang, 2023）。这些方法通常采用经验重放和特征对齐的范式来减轻灾难性遗忘（Arani, Sarfraz, Zonooz, 2022; Buzzega, Boschini, Porrello, Abati, Calderara, 2020; Gowda, Zonooz, Arani, 2023; Jeeveswaran, Arani, Zonooz, 2024; Shi, Wang, 2023）。尽管这些方法取得了有希望的结果，但它们主要受任务或类别增量学习方法的启发，可能未能完全考虑到DIL环境的独特特性。这可能导致过度依赖先前学习的表示，从而降低对领域间多样性的敏感性，并限制模型对早期领域特征空间的共享结构的利用，进而限制了模型整合领域不变表示的能力。因此，在减轻领域间的干扰、抵抗灾难性遗忘以及为新领域保持足够可塑性之间取得平衡仍然是一个重大挑战。

与上述方法不同，大脑使用了两种不同但互补的记忆系统：情景记忆和语义记忆（Ferbinteanu, 2019; Hassabis, Kumaran, Summerfield, Botvinick, 2017）。情景记忆在海马体中存储详细体验，而语义记忆在大脑皮层中存储抽象知识（Goelet et al., 1986）。两者共同构成了互补学习系统（Complementary Learning Systems, CLS）框架（Frankland and Bontempi, 2005）。CLS理论认为，海马体迅速将最近的详细体验编码为短期情景记忆（Kumaran et al., 2016）。在离线时期（如睡眠或休息时），这些记忆通过重复激活和突触可塑性逐渐整合到皮层网络中（Genzel et al., 2015）。杏仁核通过选择性重放帮助大脑更高效地利用有限的容量（Tononi and Cirelli, 2014），优先处理情感强烈、行为重要或相关的体验（McGaugh, 2004）。这种结构上分离但在功能上互补的记忆机制使大脑能够避免学习信息之间的干扰，提取共同知识，并高效回收存储资源，从而维持适应性和可扩展的记忆巩固。

受到大脑记忆机制的启发，我们提出了一种领域增量学习框架，在架构和优化层面分离了领域不变结构和领域特定特征的学习。这种设计使模型在新领域保持高度可塑性，同时有效减轻领域变化带来的灾难性遗忘。在架构上，我们借鉴了大脑中情景记忆和语义记忆系统的划分，引入了领域感知适配器库增强架构（Domain-Aware Adapter Bank-Enhanced Architecture），可以集成到各种网络骨架中（例如CNN或全连接网络）。它为领域不变表示的积累提供了一个共享的骨架，并通过即插即用的、与任务无关的适配器库快速编码领域特定变化。在算法上，我们遵循互补学习系统理论，设计了双结构多时间尺度训练策略，反映了大脑中的快速和慢速学习过程。在内循环中，使用当前数据和重放数据组成的小批量快速调整DAAB参数，类似于海马体对情景记忆的快速编码。在外循环中，通过在线元更新逐步细化共享表示，类似于皮层对语义知识的缓慢整合。此外，我们受到杏仁核选择性重放机制的启发，提出了一种选择性记忆刷新和知识巩固机制，以平衡重放并高效利用记忆。重放缓冲区按领域组织并循环使用。当容量达到限制时，与新任务重叠较少的领域会被刷新，同时通过限制后续更新在其保留的子空间内来保留来自先前领域的知识。我们在四个图像分类基准测试中评估了我们的方法，达到了最优性能。值得注意的是，在内存稀缺的情况下，其平均准确率相比基准算法提高了15%。此外，该方法有效减轻了遗忘，保持了跨领域的稳定性能，并能够很好地泛化到未见过的领域。此外，它对缓冲区大小的变化表现出更强的鲁棒性，消融研究证实了每个组件的协同贡献。具体来说，我们的贡献如下：
1. 在架构层面，我们借鉴了大脑中情景记忆和语义记忆系统的划分，引入了一种可扩展的领域感知适配器库增强架构（DAAB），为领域不变表示和领域特定特征的学习分配了独立的参数，实现了协作式且互不干扰的优化，从而有效进行领域增量学习。
2. 在算法层面，我们基于互补学习系统理论，为DAAB增强架构设计了一种双结构多时间尺度训练策略，使模型能够快速获取和巩固领域特定特征，同时逐步积累领域不变知识。
3. 受到杏仁核选择性重放机制的启发，我们进一步提出了一种选择性记忆刷新和知识巩固策略，增强了基于重放的方法在内存稀缺情况下的鲁棒性。
4. 我们在四个领域增量学习基准测试中验证了我们的方法，证明了其对新领域的强适应性、对灾难性遗忘的增强抵抗能力以及对内存稀缺的更强鲁棒性。在内存稀缺的情况下，其平均准确率相比基准算法提高了15%。

部分摘录
在持续学习（CL）中，模型（De L, Aljundi, Masana, Parisot, Jia, Leonardis, Slabaugh, Tuytelaars, 2021; Shaheen, Hanif, Hasan, Shafique, 2022; Tang, An, Zhang, Huang, Yu, 2025; Xie, Sun, Xu, Fu, Shi, Hu, 2026; Zhou, Wang, Qi, Ye, Zhan, Liu, 2024）在学习新任务时必须保留旧任务的知识。CL包括三种设置：任务增量学习（TIL）（Gao, Shan, Zhang, Zhou, 2023b; Mallya, Lazebnik, 2018）具有不同的标签集并在训练期间提供任务ID。

方法
受到情景记忆和语义记忆的存储、形成和巩固机制的启发，我们提出了一种新颖的领域增量学习（DIL）框架。该框架在保留领域特定特征的同时捕获领域不变结构，允许灵活适应新领域并增强对灾难性遗忘的抵抗能力。如图1(d)所示，受到大脑中情景记忆和语义记忆划分的启发，我们提出了领域感知适配器库增强架构（DAAB）。

实验
我们在两个合成数据集和两个真实世界数据集上将提出的方法与竞争性领域增量学习方法进行了比较。首先评估了整体领域增量性能，然后具体评估了抗遗忘能力和泛化能力的提升，以研究该方法如何平衡稳定性和可塑性，并跟踪其在各个任务上的表现。接下来，我们对算法的三个关键组件进行了消融实验以验证其有效性。

结论
在这项工作中，我们提出了一种受大脑启发的领域增量学习（DIL）框架，在架构和算法层面分离了通用化和专门化。借鉴了人类大脑中情景记忆和语义记忆的互补作用，我们的领域感知适配器库增强架构（DAAB）实现了共享表示的积累，同时灵活适应领域特定变化。此外，我们遵循互补学习系统理论的指导。

作者贡献声明
Di Shang：撰写——原始草稿，方法学。
Yanfeng Lu：撰写——审阅与编辑，监督，资金获取。
Zhiyuan Li：验证，方法学，数据管理。
Guoqi Li：监督，资金获取。
Lu Zhang：撰写——审阅与编辑，验证。
Hong Qiao：撰写——审阅与编辑，监督。

利益冲突声明
我们声明与可能不恰当地影响我们工作的其他个人或组织没有财务和个人关系，对任何产品、服务及/或公司都没有专业或其他个人利益，这些利益可能会影响手稿中呈现的观点或评审。

致谢
本工作得到了中国科学院战略优先研究计划（项目编号XDA0450000, XDA0450202）、国家杰出青年科学基金（62325603）、山东省关键研发计划（2026QYTSGC01054）、中央政府地方科技发展引导基金（YDZX2025124）以及国家自然科学基金（62236009, U22A20103, 91948303, 61627808）的支持。