一种面向持续学习的可扩展复杂度正则化模块化网络

《Neurocomputing》：A scalable complexity-regularized modular network for continual learning

　　

摘要

模块化持续学习通过组合现有模块并在需要时引入新的计算单元，从而实现知识复用和容量适应。然而，动态可扩展的模块化模型必须协调两个相互耦合的过程：有效组合当前模块，以及判断现有模块的表示容量对于即将到来的任务是否不足。为解决这些挑战，我们提出复杂度正则化的可微模块化搜索（CR-DMS），它将可微模块组合与表示驱动的结构扩展相结合。CR-DMS 引入了一种层次结构复杂度（LSC）目标，在可微模块化搜索过程中对模块贡献分布的离散度以及模块表示之间的成对相似度进行正则化。一个神经网络控制网络（NCN）评估现有模块的表示充分性，并在检测到表示差距时触发层次扩展。新引入的模块通过专门的训练阶段进行优化，然后再被整合进模块化搜索空间。实验在 CTrL 基准的五个异构任务流上以及在 CIFAR-100 和 TinyImageNet-200 的任务增量划分上进行。在 CTrL 上，CR-DMS 取得了数值上最高的平均最终准确率，实现了与多个模块化基线一致的零有符号遗忘，并在所比较的方法中获得了第二高的平均迁移分数。同时，CR-DMS 在不同的任务划分下也保持了具有竞争力的分类性能，并且所需的平均 FLOPs 更少，训练时间更短，优于可扩展模块化基线 LMC。消融实验表明，整体 LSC 目标以及专门的训练阶段都对最终分类性能做出了持续一致的贡献。

引言

深度神经网络在众多静态任务上取得了显著成功，然而它们在持续知识获取和适应方面表现出固有局限 [1]。当面临非平稳任务分布时，其固定架构和基于梯度的更新会导致灾难性遗忘，即新信息覆盖先前习得的知识。这严重限制了它们在动态、开放环境中部署。相比之下，生物系统通过突触可塑性等机制表现出终身学习能力，能够持续整合新知识而不会造成灾难性破坏 [2]、[3]、[4]、[5]。受此启发，持续学习（CL）领域旨在赋予人工智能系统类似的可适应性。现有的持续学习方法通常分为三类：(1) 基于回放的方法通过存储样本减轻遗忘 [6]、[7]、[8]、[9]；(2) 基于正则化的方法约束参数漂移 [10]、[11]、[12]、[13]、[14]；以及 (3) 参数隔离方法为每个任务分配专用的子网络 [15]、[16]、[17]。然而，所有这些方法都必须在内存使用、可扩展性和泛化能力之间进行权衡。

模块化持续学习（MCL）将模型表示为一系列计算模块，并通过模块选择、组合和复用来构建任务相关的计算。通过让先前习得的组件参与后续任务，这一范式在支持知识迁移的同时限制了跨任务的参数干扰 [18]、[19]、[20]、[21]、[22]。动态模块化方法进一步扩展了这一思路，允许模块配置和可用模块集都随任务序列演变 [18]、[19]、[20]、[22]、[23]、[24]、[25]。另一条相关工作线将容量适应表述为基于责任的专家分配。基于狄利克雷过程或受狄利克雷过程启发的混合模型，通过后验责任、数据依赖的门控函数或基于表示的责任分数，将传入数据分配给现有专家，并在现有组件无法充分解释数据时扩展专家集合 [26]、[27]、[28]。然而，其分配和扩展的单位是一个完整的专家或混合组件 [26]、[27]、[28]。相比之下，层次可微模块化网络通过在连续层次上对候选模块进行软组合来构建表示，其粒度比整体专家分配更细。

这种层次化可微结构引入了两个相互关联的挑战。第一个挑战涉及软模块组合的选择性。然而，仅以任务损失进行优化往往产生对预测仅够用的权重配置，无法在不同模块间诱导出差异化的贡献分布。如何在保留软组合灵活性同时为路由赋予适当的选择性和差异化，构成了本文研究的第一个问题。第二个挑战涉及结构扩展的控制。在层次化模块化网络中，表示与输入的失配可能发生在任意深度，然而最终预测误差所提供的全局学习信号无法精确定位这些局部表示差距。此外，如果新引入的模块在充分训练之前就被整合进现有的软组合中，其表示学习和贡献权重估计将相互制约，从而可能限制其表示对当前数据的适应程度。如何协调层次化扩展决策与新模块的表示形成，构成了本文研究的第二个问题。

为解决这些问题，我们提出了复杂度正则化的可微模块化搜索（CR-DMS），这是一种将可微模块组合与受控结构增长相结合的层次化模块化框架。CR-DMS 在任务目标之外补充了一项层次结构复杂度（LSC）项，由模块贡献的归一化熵和模块表示之间的平均成对相似度定义。LSC 在保留连续软路由的同时，对各模块化层内部结构进行正则化。结构增长由一个神经网络控制网络（NCN）管理，它将在每个层次将基于传入数据导出的控制表示与现有模块的输出进行比较。当某一层中最佳表示匹配度低于预设阈值时，即引入新模块。新模块首先在隔离路由下优化，随后恢复软路由并将该模块纳入后续的可微组合中。这一过程将新模块的初始表示学习与其在现有组合中贡献的估计分离开来。由此，CR-DMS 在模块化搜索空间演变过程中协调了模块组合调节与层次化容量适应。

我们在持续迁移学习（CTrL）基准 [19] 以及基于 CIFAR-100 和 TinyImageNet-200 的标准任务增量学习基准上评估了 CR-DMS。CTrL 包含数据规模、输入与输出分布以及任务间关系各不相同的任务序列，并从平均准确率、遗忘和迁移方面评估持续学习性能。CR-DMS 在 CTrL 任务序列上取得了整体强劲的性能，与包括 LMC 和 MNTDP 在内的代表性基线相比表现良好。我们进一步在多个任务划分下对 CIFAR-100 和 TinyImageNet-200 上的 CR-DMS 进行了评估，其中性能以最终平均分类准确率衡量。CR-DMS 在多种任务划分粒度和序列长度下都取得了具有竞争力的最终平均准确率。这些结果为 CR-DMS 在互补的持续学习基准和任务序列配置下的有效性提供了实证支持。

章节摘要

相关工作

灾难性遗忘仍然是持续学习（CL）中的核心挑战 [29]。现有方法在机器学习系统的不同层面应对这一问题。回放方法通过存储或生成的数据保留先前知识 [6]、[7]、[30]、[31]，而正则化方法则约束参数更新或学习目标 [12]、[13]。解析型持续学习在分类器层面提供了一种无需示例的替代方案。这些方法在增量分类器上构造分类器

方法

CR-DMS 将持续结构适应表述为在一个演变的层次化模块化网络上的学习。对于每个传入任务，可用模块以可微方式组合以构建层次化表示，所得组合受到层次结构复杂度（LSC）目标的正则化。随后在每个层次由一个神经网络控制网络（NCN）评估当前模块集的表示充分性，其匹配准则决定哪里

实验

我们的实验涵盖 CTrL、CIFAR-100 和 TinyImageNet-200。我们整体采用任务增量设置，任务身份在测试时提供。CTrL 由异构任务流组成，并从平均准确率、遗忘和迁移方面进行评估。在 CIFAR-100 和 TinyImageNet-200 上，我们考察了若干任务划分，并报告在完成最终任务学习后所有任务的平均准确率。特定基准的基线和指标定义在文中

结论

我们提出了复杂度正则化的可微模块化搜索（CR-DMS），这是一个将可微模块组合、层次结构复杂度正则化与表示驱动的结构扩展相结合的模块化持续学习框架。LSC 目标以归一化路由熵和成对表示相似度项增强了任务损失，从而在每个层内对弥散的模块贡献分布和相似的表示进行惩罚。NCN

CRediT 作者贡献声明

Ziye Fang：写作 – 审稿与编辑，写作 – 初稿，方法学，概念化。Bo Wan：指导，项目管理，资金获取。Shangqi Guo：写作 – 审稿与编辑，指导，概念化。Jian K. Liu：写作 – 审稿与编辑。

利益冲突声明

作者声明，他们没有已知的竞争性财务利益或个人关系，可能影响本文所报告工作的呈现或撰写。

致谢

本工作受陕西省智能人机交互与可穿戴技术重点实验室、陕西省自然科学基金重点项目（项目编号：2025SYS-SYSZD-079）以及陕西省重点研发计划（项目编号：2024GX-ZDCYL-02-15）资助。

Ziye Fang 于 2016 年获得华南师范大学学士学位，于 2019 年获得陕西师范大学硕士学位。她目前正在西安电子科技大学攻读博士学位。她的研究兴趣包括脉冲神经网络和类脑人工智能。

Ziye Fang|Bo Wan|Shangqi Guo|Jian K. Liu

西安电子科技大学 计算机科学与技术学院，中国 西安 710071