在任务无关持续学习中利用稀疏性克服增长引发的遗忘

《Neurocomputing》：Overcoming growth-induced forgetting with sparsity in task-agnostic continual learning

　　

摘要
在持续学习（CL）中，模型增长增强了适应新数据的能力，这是自进化 AI 智能体和其他终身学习系统日益需要的能力。然而，当模型增长应用不当，特别是在任务无关的持续学习中（其中整个增长后的模型用于推理），会导致已学知识的严重退化，我们将此问题称为增长诱导遗忘。大多数采用模型增长来提高适应性的现有方法往往忽视了遗忘问题，导致知识保留受损，使其不适合任务无关的设置。为了通过模型增长促进适应性和知识保留，我们确定了关键：梯度和参数稀疏性。我们引入了 SparseGrow，它通过层扩展和梯度门控来提高梯度稀疏性，从而实现对参数的集中更新，同时保留关键参数，从而抑制遗忘。此外，它通过稀疏初始化和训练来促进参数稀疏性，旨在更好地控制模型可塑性，提高对新数据的适应性。在多样化数据集、任务无关设置和大量任务上的大量实验证明了受控层扩展的必要性，并验证了 SparseGrow 在持续学习中实现高适应性同时最小化遗忘的有效性。通过使模型增长具有稀疏化的梯度和参数，SparseGrow 为构建可扩展的终身学习系统铺平了道路，该系统能够在更好地保留知识的情况下进行持续适应。

引言
在持续学习（CL）领域，模型增长对于更好地适应新数据和经验变得至关重要，从而提高了管理增量知识的可扩展性 [4], [8]。在需求不断演变的现实场景，如自进化 AI 智能体、自动驾驶车辆和语言模型中，模型增长对于有效处理信息更新、增加任务复杂性和整合新功能或模态至关重要。随着经验的积累和任务复杂度的上升，固定容量的模型很快就会成为瓶颈，在保留先前获得的知识的同时难以整合新信息。为了解决上述挑战，模型需要智能地扩展其参数容量。这有助于确保高适应性和可持续的可扩展性，构成了真正终身学习系统的基础。

然而，不当的模型增长往往导致先前学习任务的性能下降，我们将其识别为增长诱导遗忘，特别是在任务无关的持续学习设置中，如域增量和类增量学习设置 [9], [26], [35]。在这些场景中，任务标签不可用，整个模型（包括扩展的参数）都用于推理。与由于数据分布变化而发生的传统灾难性遗忘不同，增长诱导遗忘是一种独特的现象。它并非源于新数据，而是源于增加模型的参数容量，例如向先前训练好的模型中添加新的神经元或层。这种增长可能会破坏模型保留或有效使用增长前所学知识的能力。在神经科学中观察到类似的现象，即记忆形成后增加大脑中的神经发生可能会促进遗忘，被称为基于神经发生的遗忘 [5]。

持续学习领域的一些现有工作 [15], [27], [30] 采用不同的模型增长策略并对其进行随机初始化以增强适应性。然而，它们未能认识到由于不当模型增长而导致的增长诱导遗忘的存在。这些方法大多是任务特定的，需要在推理期间进行手动任务识别以避免遗忘，不适用于域或类增量场景；其余是采用不当模型增长和初始化策略的任务无关方法，这可能导致进一步的增长诱导遗忘。尽管如此，缺乏对增长诱导遗忘问题的明确承认使得识别合适的模型增长方法具有挑战性。这不仅限制了对遗忘的全面控制，还阻碍了对模型增长的充分利用。

据我们所知，本研究是第一个识别并系统调查持续学习中增长诱导遗忘现象的研究。我们的工作提供了一种全面的分析，旨在开发有效的模型增长策略，在扩展模型容量的同时最大限度地减少遗忘先前所学知识的风险。我们的研究发现，层扩展（在不影响模型功能的情况下加宽层）可以增加后续学习中模型梯度的稀疏性 [21]。这一特征使其区别于替代模型增长策略，如横向连接和深度增长。

这些增长方法对增长诱导遗忘的影响不同：层扩展在宽度上扩展参数，这些参数在推理期间被集体计算；这里的横向连接指的是添加横向层，横向层的值被添加到主路径中；深度增长涉及向神经网络添加新的隐藏层，为前驱和后继层的参数引入新的计算。为了通过模型增长促进适应性和知识保留，我们确定了两个关键要素：梯度和参数稀疏性。受神经发生 [5], [6] 的启发，我们提出了一种新颖的稀疏模型扩展增长（SparseGrow）方法。SparseGrow 利用层扩展和梯度门控来提高梯度稀疏性。在扩展层的情况下，当为新任务训练时，只需要更新模型参数的一小部分。同时，梯度门控通过梯度掩码保护重要参数。这种稀疏化的梯度允许对参数进行有针对性的更新，同时维持关键参数，确保网络稳定性并防止由增长引起的遗忘。此外，SparseGrow 通过训练和初始化中的稀疏性来增强参数稀疏性。稀疏训练有助于在不影响准确率的情况下保持网络紧凑，使网络能够保留可以适应新任务的参数。通过使用根据数据集分布定制的零值参数部分来初始化扩展层，我们旨在精心控制模型的可塑性。这种方法增强了对新数据的适应性，并有助于减少由于模型增长而可能发生的遗忘。相比之下，零初始化可能会阻碍更新，而随机初始化可能会引入不必要的干扰。

为了验证我们的发现，本研究在不同的任务无关设置下进行了大量实验，使用了具有不同任务数量的域增量和类增量数据集。结果突出了层扩展期间梯度和参数稀疏性的重要性。我们的方法有效地解决了增长诱导遗忘的问题，同时展示了增量任务的适应性和知识保留。本文的主要贡献有三点：
• 我们的研究揭示了增长诱导遗忘，这是在模型容量扩展时观察到的一种新颖的灾难性遗忘变体。这一发现填补了现有研究的空白，并有助于灾难性遗忘的持续研究。
• 这项工作提出了一项深入研究，比较了各种模型增长策略，揭示了层扩展通过增加梯度稀疏性来保留模型知识的潜力。
• 这项工作强调了梯度和参数稀疏性在持续学习中的关键作用。我们提出了 SparseGrow，一种通过模型增长期间的层扩展、梯度门控和稀疏初始化/训练有效缓解增长诱导遗忘的新方法。我们的研究表明，SparseGrow 有效地在任务无关持续学习场景中维持了适应性和知识保留，并在域增量和类增量设置中得到了实验验证。

章节片段
增长方法
模型增长主要有三种策略：1) 层扩展 - 这涉及加宽单个层以扩展模型的宽度，可能在后续训练期间增加梯度稀疏性。2) 横向连接 - 这种策略引入了连接到相邻层的新横向层。横向层的值随后被添加到主路径中，这不一定增加后续任务梯度的稀疏性。以及 3) 深度...

问题表述
本研究旨在通过扩展模型容量来增强模型对新数据的适应性，同时解决任务无关场景中增长诱导遗忘的问题，其中测试时任务身份不可用，涵盖域增量和类增量学习。给定一系列非独立同分布数据集 和一个在先前数据集上训练的权重为 的模型，其中 是时间 处的模型权重。在时间 仅访问当前数据集 ，目标是增长模型容量以改进

提高梯度稀疏性
提高模型训练梯度的稀疏性是减少模型遗忘的重要途径 [21]。在训练新任务时，只更新少量的模型参数有助于稳定网络并减少先前学习任务的遗忘。常用的正则化和结构方法可以限制模型参数的显著变化，从而减少模型梯度的变异性并最大限度地减少遗忘。层扩展和梯度门控技术

数据集
我们在多样化的数据集上进行评估：用于域增量任务的 Permuted MNIST、FreshStale 和 DomainNet；用于类增量评估的 CIFAR-10 和类增量 MNIST。
• Permuted MNIST 可变置换的 MNIST 图像，置换之间没有共享特征，每套包含 70,000 张图像。
• 类增量 MNIST 将 MNIST 分为不同类别组，大小和重叠程度不同。
• CIFAR-10 60,000 张 10 类彩色图像，不均匀分组用于类增量实验。
• 结论
我们的研究专注于任务无关持续学习中由不当模型增长引起的增长诱导遗忘这一关键问题。我们确定层扩展是一种有前景的基础模型增长技术，特别是对于预训练模型。我们提出的 SparseGrow 方法专门旨在提升层扩展的适应性和知识保留。实验验证表明了我们的方法在缓解增长诱导遗忘方面的有效性以及

CRediT 作者贡献声明
赵钰晴 (Yuqing Zhao): 写作 – 审阅与编辑，写作 – 原稿，可视化，验证，方法论，调查，形式化分析，概念化。曹建农 (Jiannong Cao): 指导，项目管理，资金获取。迪维亚·萨克塞纳 (Divya Saxena): 写作 – 审阅与编辑，指导，方法论，调查，形式化分析，概念化。刘晓云 (Xiaoyun Liu): 写作 – 审阅与编辑，方法论，调查。宋昌霖 (Changlin Song): 验证，方法论，概念化。袁博 (Bo Yuan): 项目

竞争利益声明
作者声明他们没有已知的竞争经济利益或个人关系，这些关系可能已经影响本文报告的工作。

致谢
本研究由“系统性人工智能智能体关键技术研究”项目（编号：R25110HL）支持，由中国移动研究院资助，香港研究资助局一般研究基金（编号：PolyU-15205924）支持，以及香港理工大学人工智能物联网研究所支持。

赵钰晴 (Yuqing Zhao) 于 2020 年获得中国成都四川大学软件工程和生命科学学士学位。她于 2025 年获得香港理工大学（PolyU）计算机系博士学位。她的主要研究兴趣包括持续学习、计算机视觉和 VLM 后训练。

赵钰晴 | 曹建农 | 迪维亚·萨克塞纳 | 刘晓云 | 宋昌霖 | 袁博 | 朱莉·麦肯