用于类增量学习的增量向量变换

《Pattern Recognition》:Increment Vector Transformation for Class Incremental Learning

【字体: 大 中 小 】 时间:2026年10月24日 来源:Pattern Recognition 9.1

编辑推荐:

   •我们首次分析了 CIL 先知模型中的线性模式连通性,确认当给定访问历史数据的权限时,高级 CIL 公式保留了有利的低损失线性路径。 •我们从理论上表征了增量更新与先知模型解决方案之间的不匹配,从而为增量向量变换(IVT)提供了动机。 •IVT 使用对角费雪信息矩阵高效地变换

  

•我们首次分析了 CIL 先知模型中的线性模式连通性,确认当给定访问历史数据的权限时,高级 CIL 公式保留了有利的低损失线性路径。
•我们从理论上表征了增量更新与先知模型解决方案之间的不匹配,从而为增量向量变换(IVT)提供了动机。
•IVT 使用对角费雪信息矩阵高效地变换增量向量,使其兼容无样本、基于样本、从头训练和预训练的 CIL 设置。
•在 CIFAR-100、FGVCAircraft、ImageNet-Subset 和 ImageNet-Full 上的大量实验表明,在各种基线方法中,准确率和遗忘指标均获得了一致的提升。

引言
类增量学习(CIL)在机器学习中提出了重大挑战,要求模型顺序学习新类别,且无法或仅能有限访问之前的训练数据。该范式中的一个臭名昭著的现象是灾难性遗忘 [1],即模型在适应新任务时覆盖了之前获得的知识。为了缓解这一问题,已提出了各种方法。正则化方法 [2]、[3]、[4] 限制对过去任务至关重要的参数更新,或在长尾流中调节特征空间以保留尾部类别表示 [4]、[5]。最近的研究还探索了不变表示学习 [6]、注意力引导提示调整 [7] 以及带有参数平均的双学习器框架 [8]。记忆重放方法 [9]、[10]、[11] 保留来自先前任务的一小组代表性样本进行排练,而动态架构方法 [12]、[13] 引入新组件以隔离或容纳新知识。然而,这些方法仅通过参数约束、存储的预测或特征、架构隔离或有限的样本记忆间接保留先验知识,且增量模型仍不及能够访问所有历史数据并增量训练的先知模型。

最近关于神经网络模式连通性的研究为 CIL 中持续存在的性能差距提供了新的见解 [14]、[15]、[16]。模式连通性指的是损失景观中连接不同极小值的低损失路径的存在。[17] 表明,许多高级 CIL 方法产生的解决方案与先前的解决方案在沿着线性插值路径时被高损失屏障分隔开。然而,相应的全重放先知模型是否表现出相同的行为,目前仍缺乏了解。尽管 [18] 证明了在朴素 SGD 先知模型(即带有常规训练的全重放)下可能存在线性模式连通性(LMC),但他们的分析仅限于基本设置,并未扩展到更现实、受约束的 CIL 公式。

在本文中,我们提出了一个关键的开放问题:高级 CIL 方法的先知模型是否保持 LMC?我们将 CIL 先知模型定义为给定 CIL 算法的一个版本,它拥有完整的过去数据访问权限,但保留了其结构组件(例如蒸馏)。如果此类 CIL 先知模型保持 LMC,这将开辟一个有希望的方向:即使强大的 CIL 算法,原则上也可以沿着低损失路径进行引导——为在不违反其算法约束的情况下缓解遗忘提供了一条新途径。

受此问题启发,我们调查 CIL 先知模型是否保持 LMC,并在 CIFAR-100 上评估的 PODNet 和 LUCIR 配置中观察到这一现象。插值路径上的准确率在早期任务上保持较高,同时在新类别上有所提升。这些结果显示,在蒸馏或再平衡等算法约束下,分析的端点具有低损失线性连通性,将观察范围扩展到了朴素 SGD 先知模型设置之外。在这里,线性插值路径是在阶段性检查点之间构建的诊断路径,而不是训练期间实际遍历的优化轨迹。

虽然在普通 CIL 训练期间无法获得先知模型解决方案,但其连通性暗示了一个可用的局部准则:更新应避开对先前任务高曲率的方向。这一见解促使我们在训练期间引导优化走向低损失区域。为此,我们提出了增量向量变换(IVT),这是一个即插即用框架,通过分析增量解决方案与先知模型行为之间的偏差来分析它们的增量向量。具体而言,我们将增量向量 ???? 定义为从上一阶段最优解 ??????1 到当前解决方案 ???? 的位移,并构建一个感知曲率的变换,将 ???? 映射到低损失对应项 ?????,同时抑制对先前任务重要的方向。因此,IVT 利用检查点插值揭示的几何形状定期塑造实际的优化轨迹,而无需模型显式遵循插值路径。如图 1 所示,这在无需访问先知模型的情况下,产生了稳定性与可塑性之间更有利的平衡。与先前被动识别事后模式连通性路径上有利模型 [17]、[18]、[19]、[20] 或依赖样本记忆的工作不同,IVT 在训练期间运行,主动塑造优化轨迹而不依赖重放数据。这使得 IVT 广泛适用于无样本和基于样本的设置,并兼容多样的训练范式——从从头训练到大规模预训练(例如 CLIP)。在 CIFAR-100、FGVCAircraft、ImageNet-Subset 和 ImageNet-Full 上的大量实验表明,当 IVT 集成到评估的 CIL 方法中时,性能得到了一致的改善。

我们的贡献总结如下:
1.我们首次分析了 CIL 先知模型中的线性模式连通性(LMC),表明当给定先知模型访问权限时,高级 CIL 公式表现出有利的连通性。
2.我们提供了对增量和先知模型更新方向的局部分析,并给出了明确的误差界,这为变换近似替代先知模型提供了充分条件,并激发了 IVT 的设计。
3.我们提出了 IVT,这是一个轻量级插件,在训练期间执行这种感知曲率的变换,开销可忽略不计,兼容基于样本和无样本、从头训练和预训练的 CIL。
4.在 CIFAR-100、FGVCAircraft、ImageNet-Subset 和 ImageNet-Full 上的大量实验表明,在多个代表性基线和训练范式中,准确率和遗忘指标均获得了一致的改善。

章节片段
类增量学习。现有的 CIL 方法可以大致分为三种主要方法。正则化方法通过对模型参数或输出施加约束来缓解灾难性遗忘。像 EWC [2] 这样的方法计算参数对先前任务的重要性,并惩罚对关键参数的更改,而知识蒸馏技术如 LUCIR [21]、PODNet [22] 和 GeoDL [23] 使用输出 logits 或中间特征来保留已学习的表示。为了解决类

重访 CIL 中的线性模式连通性
基于泰勒展开的遗忘分析在 CIL 中常用 [45]。为简化起见,假设有两个任务,??1 和 ??2。令 ??1 为在 ??1 上获得的极小值,我们在 ??1 处对 ?1?(θ) 进行二阶泰勒展开:?1?(θ)≈?1?(θ1)+(θ?θ1)???1?(θ1)+12?(θ?θ1)????1?(θ?θ1)≈?1?(θ1)+12?(θ?θ1)????1?(θ?θ1)。最后一个等式成立是因为,在 ??1 的极小值 ??1 处,假设模型已收敛,因此 ??1?(θ1)≈0。此外,海森矩阵 ??1=?2?1?(θ1) 需要在收敛的极小值处为正半定。

通过增量向量变换塑造优化轨迹
第 3 节的分析揭示了有利的端点几何形状:CIL 先知模型检查点与上一阶段解决方案通过低损失线性路径连接。我们将这种几何形状作为诊断信号,而不是将插值路径视为训练路线。具体而言,IVT 定期变换增量向量,以塑造实际优化轨迹,使其朝向能更好保留先前知识的方向。
定义 1 增量向量
数据集。我们在四个代表性数据集上进行了大量实验:CIFAR-100 [51]、FGVCAircraft [52]、ImageNet-Subset [53] 和 ImageNet-Full [53]。CIFAR-100 是持续学习中广泛使用的基准,由 100 个对象类别的 60,000 张 32 × 32 图像组成,类间相似度显著。FGVCAircraft 是一个细粒度分类数据集,包含 100 个飞机变体的 6667 张图像,由于细微的视觉差异,它对知识保留提出了更大的挑战

结论
在本文中,我们调查了 CIL 先知模型的线性模式连通性(LMC),并在评估的配置中观察到阶段性检查点与上一阶段解决方案之间存在低损失线性连通性。受此端点几何形状的启发,我们提出了增量向量变换(IVT),这是一个轻量级插件,定期变换增量向量以塑造实际优化轨迹朝向低曲率方向。该策略改进了新任务学习,同时 CRediT 作者贡献声明
邱子寰:写作 – 初稿,软件,方法学,调查,概念化。徐一:写作 – 审阅与编辑,监督,方法学。孟凡满:写作 – 审阅与编辑,监督,资金获取。张润通:方法学,调查。徐林锋:监督。吴清波:监督。李洪亮:监督,资金获取。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本论文中报道的工作。
致谢
本工作部分得到了国家自然科学基金(No. 62271119, 08120002, U23A20286, 62071086),海南省重点研发项目(Grant No. ZDYF2024(LALH)003),辽宁省资助 XLYC2403174,四川省自然科学基金(Grant 2025ZNSFSC0475)的支持。
邱子寰于 2023 年获得中国电子科技大学(UESTC)硕士学位。他目前正在电子科技大学信息与通信工程学院攻读博士学位,由孟凡满教授指导。他的研究兴趣包括持续学习、持续模型合并和代理自我进化,特别关注减少灾难性遗忘、跨任务特定知识重用
邱子寰|徐一|孟凡满|张润通|徐林锋|吴清波|李洪亮
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号