在回放数据稀缺的环境中学习：为分类增量学习设计的一种具有混淆感知能力的过渡性增强方法

《Expert Systems with Applications》：Learning Under Replay Scarcity: Confusion-Aware Transitional Augmentation for Class-Incremental Learning

　　• 重放稀缺性问题被重新定义为局部边界支持不足的问题。
• 具有混淆意识的过渡样本可以修复脆弱的老新边界。
• 成对的软目标塑造了局部的新老决策边界。
• 时间不稳定性会加重漂移的样本和边界关键样本的问题。
• 插件模块改进了基于重放的类增量学习（Class-Incremental Learning, CIL）。

**引言**
类增量学习（CIL）旨在持续将新出现的类别纳入视觉识别模型，同时保持其区分先前学习类别的能力，因此对于开放世界识别系统非常重要（Rebuffi, Kolesnikov, Sperl, Lampert, 2017; Van de Ven, Tuytelaars, Tolias, 2022; Zhou, Wang, Qi, Ye, Zhan, Liu, 2024）。关于CIL的研究沿着多个互补的方向进行。一个活跃的研究方向是开发基于正则化、蒸馏和重放的策略，最近的工作还包括特征整合、生成或关系重放以及表示增强（Gao, Liu, 2023; Kang, Park, Han, 2022; Nguyen, Kieu, Duong, Kieu, Do, Nguyen, Le, 2024; Zheng, Zhou, Ye, Zhan, 2024）。与此同时，另一个方向是通过可学习的提示来调整大型预训练模型，或者使用大型语言和多模态模型来支持视觉识别（Cao, Lu, Huang, Liu, Cheng, 2024; Chen, Ding, Wang, Huo, Gao, Li, 2025b; Wang, Zhang, Lee, Zhang, Sun, Ren, Su, Perot, Dy, Pfister, 2022）。然而，当历史训练数据无法完全获得时，CIL模型仍然容易发生灾难性遗忘（Kirkpatrick, Pascanu, Rabinowitz, Veness, Desjardins, Rusu, Milan, Quan, Ramalho, Grabska-Barwinska, et al., 2017; McCloskey, Cohen, 1989），而且实际的内存限制通常只允许保留每个旧类别的少数样本（Hou, Pan, Loy, Wang, Lin, 2019; Nguyen, Kieu, Duong, Kieu, Do, Nguyen, Le, 2024; Rebuffi, Kolesnikov, Sperl, Lampert, 2017）。我们将这种情形称为“重放稀缺”，并专注于在这种背景下基于重放的CIL。

**代表性CIL方法**
代表性的CIL方法通过知识蒸馏（Douillard, Cord, Ollion, Robert, Valle, 2020; Kang, Park, Han, 2022; Li, Hoiem, 2018）、重放历史数据的紧凑近似（Hou, Pan, Loy, Wang, Lin, 2019; Rebuffi, Kolesnikov, Sperl, Lampert, 2017）或纠正新老类别之间的总体偏差来减轻遗忘。这些策略是有效的，但它们所提供的保护必然依赖于仍然可访问的训练样本。在非常小的重放预算下，一个旧类别可能在类别层面被保留，而靠近该类别与新类别边界的少数样本可能被遗忘。在可访问样本上进行蒸馏或正则化无法直接提供未观察到边界邻域中的旧类别证据。同样，类别级别的平衡可以减少总体新老偏差，但不会识别出哪些成对边界最为脆弱；而不依赖于成对混淆的增强可能会将额外样本分配给已经得到良好支持的区域。因此，保留全局类别信息并不一定能确保足够的局部决策支持。

这一限制可以从增量阶段期间可用的不对称局部证据中理解。当前的任务对新引入的类别提供了密集的覆盖，而每个旧类别仅由少数重放样本表示。即使在优化过程中新旧样本在数量上得到了平衡，重新加权也无法恢复那些从重放缓冲区中缺失的旧类别区域。对于特征空间接近或重叠的新旧类别对，内存中可能几乎不包含旧类别的证据，而大量的新类别样本继续支持对立的那一侧。因此，生成的目标可能会导致边界向旧类别区域偏移，使得靠近边界的旧样本被分类为竞争的新类别。重要的是，这种效应是成对依赖的：对于那些既高度容易被混淆又被重放覆盖不足的新旧类别对来说，这种效应可能最为明显，而不是均匀分布在所有旧类别上。因此，虽然类别中心或整体表示可能得到了合理的保留，但局部新旧类别的区分能力仍然会恶化。图1展示了从支持良好的边界到局部支持不足，再到针对性修复的这一过程。

**针对这一背景，本研究的目的是通过解决两个相互关联的问题来改进基于重放的CIL在重放稀缺条件下的性能：**应补充哪些缺失的局部支持，以及哪些样本应该得到更大的优化重视？更具体地说，我们试图识别出脆弱的新旧类别对，在它们的支持不足的过渡区域构建有信息量的训练信号，而不扩大持久的重放缓冲区，并优先考虑预测显示出高干扰风险的样本。我们的目标不是替代现有的重放或知识保留机制，而是通过有针对性的局部支持重建和风险意识优化来补充它们，同时保持推理架构不变。

为了回答第一个问题，我们提出了具有混淆意识的过渡增强（Confusion-Aware Transitional Augmentation, CATA），它选择性地重建高度可混淆的新旧类别对的局部支持。CATA不是生成通用的合成样本或应用与类别无关的增强，而是将其增强预算集中在脆弱的成对过渡区域，并构建相应的旧类别和新类别之间的过渡样本。成对的软监督防止这些样本向任一类别中心优化，而是利用它们来塑造所选对的相对决策关系。因此，CATA补充了可能从重放缓冲区中缺失的决策关键局部证据。

为了回答第二个问题，我们提出了时间不稳定性感知加权（Temporal Instability-Aware Weighting, TIAW）。在增量优化过程中，样本的贡献并不相等：受到干扰的重放样本可能会发生预测漂移，而靠近脆弱边界的过渡样本可能仍然高度模糊。TIAW根据当前预测的不确定性和历史预测的波动来估计样本风险，并动态地重新加权真实样本和CATA合成的样本。通过这种方式，CATA决定了在哪里提供额外的边界证据，而TIAW决定了哪些可用样本应该得到更大的优化重视。

**我们的主要贡献总结如下：**
• 我们从局部、成对依赖的边界支持不足的角度分析了基于重放的CIL在稀缺内存下的表现，阐明了为什么在全局层面保留旧类别可能仍不足以支持脆弱的新旧决策区域。
• 我们提出了具有混淆意识的过渡增强（CATA），它识别出高度可混淆的新旧类别对，并构建具有成对软监督的边界支持过渡样本。
• 我们提出了时间不稳定性感知加权（TIAW），它结合了当前预测的不确定性和历史预测的波动，以强调容易受到干扰的重放样本和边界关键的过渡样本。
• 在标准基准测试上的广泛实验表明，所提出的CATA和TIAW作为模型无关的插件模块，一致地提高了各种代表性基于重放的CIL方法的性能。

**相关工作**
类增量学习通过稳定模型参数、保留学习到的功能、重放历史证据、分配新容量或校准分类器输出等机制来应对灾难性遗忘。本节比较了这些机制及其数据访问假设，然后回顾了丰富基于重放学习可用支持的表示增强方法。

**方法**
在本节中，我们详细介绍了所提出的方法。第3.1节介绍了问题表述和符号。第3.2节从局部边界支持不足的角度概述了方法及其基本设计原则。第3.3节和第3.4节分别描述了具有混淆意识的过渡增强（CATA）和时间不稳定性感知加权（TIAW）。第3.5节给出了统一的训练目标，第3.6节讨论了计算细节。

**理论分析**
本节发展了CATA和TIAW在重放稀缺条件下如何运作的理论解释。我们首先将有限的重放覆盖与增量logit漂移的边际认证敏感性联系起来。然后，我们描述了由CATA生成器引入的成对条件采样几何结构，并推导出一个基于损失的证书，将成对校准与暴露的多类决策边界联系起来。最后，我们从理论上解释了TIAW的不确定性和时间不稳定性信号。

**实验**
在本节中，我们在CIFAR100（Krizhevsky, Hinton et al., 2009）和ImageNet（Russakovsky et al., 2015）上评估了我们提出的CATA和TIAW，在ImageNet的情况下还考虑了两种基准设置。我们将所提出的模块整合到四个代表性的基于重放的CIL基线中（ER (Riemer et al., 2019), LUCIR (Hou et al., 2019), PODNet (Douillard et al., 2020), AFC (Kang et al., 2022)），并验证了我们方法在不同增量设置下的性能提升。

**结论**
本研究将基于重放的CIL在重放稀缺条件下的问题视为局部边界支持不足的问题，在这种情况下，稀疏的旧类别样本在脆弱的新旧接口周围提供了不足的支持，而大量的当前任务样本继续塑造新类别侧，增加了局部边界位移和混淆的风险。所提出的框架结合了具有混淆意识的过渡增强（Confusion-Aware Transitional Augmentation），它提供了成对条件的过渡样本。

**作者贡献声明**
Xidong Xia：概念化、数据整理、形式分析、研究方法、软件开发、验证、可视化、初稿撰写、审稿与编辑。
Zhaowei Song：研究方法、数据整理。
Zhihao Ma：研究、可视化。
Yu Chen：形式分析。
Xuefeng Jiang：可视化。
Quanquan Li：审稿与编辑。
Guitao Cao：资金获取、项目管理、资源协调、监督、审稿与编辑。

**利益冲突声明**
作者声明他们没有已知的财务利益和个人关系可能影响本文所报告的工作。

**作者列表**
Xidong Xia | Zhaowei Song | Zhihao Ma | Yu Chen | Xuefeng Jiang | Quanquan Li | Guitao Cao