通过基于梯度的任务组织缓解类增量学习中的灾难性遗忘

《Neurocomputing》：Reducing catastrophic forgetting via gradient-based task organization in class-incremental learning

　　

摘要
任务序列是类增量学习（CIL）的一个内在但尚未得到充分研究的方面。当前方法主要通过架构正则化或记忆回放来解决灾难性遗忘（CF）问题，而任务组织对误差累积的影响仍未得到充分研究。在本工作中，系统地研究了任务划分和任务排序在 CIL 中的影响。预测过程的概率分解表明，增强任务内可判别性可以促进整体预测性能的改善，从而促使提出一种基于梯度的任务划分策略。此外，在线性教师 - 学生设定下，分析了累积误差与任务相关性，揭示了依赖于顺序的遗忘与学习序列中的绝对任务位置和相对任务距离均有关。基于这些观察，任务排序被表述为一个组合优化问题，同时捕捉全局结构一致性和局部方向兼容性。在图像和声学基准上的实验评估表明，在多种 CIL 方法中 consistently 获得了准确率的提升和遗忘的减少。结果表明，优化任务组织本身而不改变模型架构，构成了一种模型无关的缓解 CF 的方法。代码可在 https://github.com/Junlong5/CIL_TaskOrder 获得。

引言
在现实世界的人类学习中，知识获取并非一步到位；相反，它是通过持续积累和精炼而进步的。人类可以随着时间的推移融入新信息，同时保留并有效应用先前获得的知识。类增量学习（CIL）是一种机器学习范式，旨在一系列任务中动态学习新类别，同时保持早期类别的知识 [1], [2], [3]。由于其持续同化和增量更新的特点，CIL 近年来已成为机器学习中的一个突出研究方向。

在 CIL 中，研究主要集中在其主要挑战，即灾难性遗忘（CF）[4], [5]。在顺序任务学习过程中，深度学习模型倾向于覆盖或干扰与早期类别相关的判别性表示，导致在先前学习的知识上性能显著下降。为了解决这个问题，引入了许多策略，包括保留早期类别信息的基于回放的方法 [6]、扩展或重构模型组件的自适应网络架构 [7], [8]，以及通过结构约束 [9] 或参数正则化 [10] 强制执行稳定性的技术。这些方法在平衡稳定性和可塑性方面取得了显著进展，使模型在融入新信息的同时更好地保留先前类别的表示。

尽管取得了这些进展，任务顺序依赖性仍然是一个关键但尚未得到充分研究的方面。大多数现有的增量学习方法假设固定的或随机分配的任务序列，并集中在在预定义顺序下保留表示和促进知识迁移。在实际设置中，增量学习本质上通过多个阶段进行，类别逐步引入。类别间特征的相似性和任务间的相关性可以极大地影响特征空间的演变和整体学习轨迹 [11], [12], [13]。当任务以不利的顺序排列时，新获得的知识更有可能破坏早期类别的表示，从而加速遗忘并降低最终性能。如图 1 所示，即使相同的 CIL 模型在相同的数据集上训练，具有相同的参数配置和硬件环境，类别学习顺序的变化也会导致性能的显著差异。

受任务间相似类别的干扰和跨任务相关性对增量学习模型演变影响的启发，提出了一种基于任务级结构分析的任务序列设计方法，通过精心组织的学习轨迹实现最优的动态识别性能。具体而言，开发了一种基于梯度几何的启发式方法，利用从预训练模型获得的类别梯度原型向量来表示任务间的邻近性和干扰方向，从而实现持续学习的结构化任务划分。在此基础上，进一步构建了任务级梯度原型和相似度模型，从全局任务典型性和局部任务差异两个互补方面联合优化任务呈现顺序。在不增加模型复杂性或训练开销的情况下，所提出的方法有效地缓解了任务间梯度冲突并减少了 CF。最后，在图像和水声数据集上，验证了优化学习顺序以缓解 CF 的有效性，跨越了多个 CIL 框架。

本工作的主要贡献总结如下：
• 进行了系统调查，以检查任务分组策略和任务学习顺序如何影响 CIL 中的性能退化和 CF，从而为后续方法开发提供原则性基础。
• 提出了一种基于梯度的类到任务划分策略，该策略利用预训练模型的梯度从原始类别集合构建结构化增量任务集，从而定义任务级优化的搜索空间。
• 引入了一种任务顺序优化策略，其中通过建模任务间梯度相关性和全局结构特征，对任务序列进行定量评估和优化，从而产生更有效地抑制遗忘的学习顺序。
• 在 CIFAR-100 图像数据集和 ShipsEar 水声数据集上使用多种代表性 CIL 方法进行了广泛实验，证明了所提出的任务序列策略在增强性能和减少 CF 方面的有效性和普遍适用性。

所提出的方法适用于在部署前已知且可访问完整类别集的设置，但资源、存储或注释约束需要在多个阶段进行增量训练。代表性示例包括在设计时类别分类固定的工业识别系统，但必须逐步部署，以及根据预规划课程扩展物种识别能力的生态监测管道。在这种情况下，将类别集组织成任务并确定其学习顺序构成了一个离线任务课程设计问题，这与标准在线 CIL 不同——但互补，后者类别以真正不可预测的流到达。本工作解决了离线设置；增量训练阶段本身严格遵循标准 CIL 协议，每个阶段仅访问当前任务的数据且无未来类别信息。

本文其余部分结构如下。第 2 节回顾了关于 CIL 中 CF 和持续学习中任务排序的相关研究。第 3 节提出了理论分析，涵盖任务划分和任务排序的影响。第 4 节描述了所提出的方法，包括基于梯度的任务划分和位置感知的任务顺序优化。第 5 节详细说明了实验设置并报告了在基准数据集上的评估结果。第 6 节总结了论文并讨论了未来研究方向。

章节片段

CIL 中的 CF
CIL 要求模型在一系列任务中逐步集成新类别，同时保持对先前学习类别的准确识别。为了解决 CF，开发了一套多样的有效策略。现有的 CIL 方法通常可分为四类：基于回放的方法、动态网络方法、知识蒸馏方法和基于正则化的方法。
基于回放的方法通过回顾先前观察到的样本子集或

理论分析
在本节中，从两个互补的视角系统地检查了任务构建和任务学习顺序对 CIL 性能的影响：概率分解和线性理论分析。第 3.1 节从概率建模的角度分析了任务划分对 CIL 预测性能的影响。第 3.2 节基于线性教师 - 学生框架进一步阐明任务排序影响误差传播的机制

方法论
基于第 3.2 节的理论分析，该节采用了 [36] 的线性扰动框架 ((4), (5), (6), (7), (8), (9), (10), (11))，本节开发了所提出的任务组织方法。在 [36] 的基础上引入了三个扩展：(i) 定性的外围到核心和最大路径启发式被转换为显式的、可优化的评分函数和；(ii) 基于零样本迁移的相似度估计被替换为从单一计算的梯度原型

数据集与任务设置
为了评估所提出的任务顺序优化策略在缓解 CIL 中 CF 方面的有效性，在三个跨越不同模态和规模的数据集上进行了实验：图像分类数据集 CIFAR-100 和 ImageNet-100，以及水声目标识别数据集 ShipsEar[44]。
CIFAR-100 数据集包含 100 个类别，总计 60,000 张彩色图像，包括 50,000 个训练样本和 10,000 个测试样本。每个类别包含 600 张图像，其中

结论
本文从理论和经验两个角度系统地调查了任务顺序在 CIL 中的作用。通过概率分解和在线性教师 - 学生框架内的分析，表明持续学习中的误差由两部分组成：由任务的绝对位置驱动的全局误差放大效应，以及由其相对顺序产生的方向性干扰效应。
基于这些发现，一种两阶段任务

CRediT 作者贡献声明
Junlong Huang: 写作 – 原始草稿，方法论，形式分析，概念化。Lingji Xu: 写作 – 审查与编辑，监督，资金获取，概念化。Yining Liu: 写作 – 审查与编辑，验证，调查。Zhenglin Li: 写作 – 审查与编辑，可视化，验证，资金获取。

资金
本工作得到了珠海市 2023 年产学研合作项目 (232004002794) 和中华人民共和国国家自然科学基金重点项目（区域创新发展联合基金，编号 U22A2012）的支持。

竞争性利益声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本论文中报告的工作。

Junlong Huang 于 2023 年获得中山大学（中国珠海）学士（B.E.）学位，目前正在攻读博士学位。他的研究兴趣包括水声目标识别、声学信号处理、机器学习和深度学习。

Junlong Huang|Lingji Xu|Yining Liu|Zhenglin Li
中山大学，海洋工程与技术学院，珠海，广东，中国 519000