从旧类知识中探寻新类特征：精准少样本类增量学习（FSCIL）的创新方法

【编辑推荐】本文提出"从旧类中学习"（YLOC）框架，通过原型中心损失（PCL）压缩旧类特征分布，结合原型增强学习（PAL）利用旧类知识优化新类原型，有效解决少样本类增量学习（FSCIL）中旧类灾难性遗忘和新类样本不足的双重挑战，在MiniImageNet等基准测试中显著提升新旧类识别性能。

　　

Highlight

我们提出原型中心损失（PCL）增强模型对旧类的泛化能力，促进更好的类别分离。

我们提出原型增强学习（PAL）方法，通过利用旧类知识优化新类原型，提升新类分类性能。

我们在FSCIL基准数据集上进行了全面实验分析，证明模型在新旧类识别中均优于现有方法。

Class Incremental Learning

类增量学习（CIL）使预训练模型能够持续适应新类别。在无法访问旧数据的情况下，CIL的目标是在学习新类时不显著降低旧类性能。近期研究主要分三类：保留重要旧数据或统计知识[19]；使用蒸馏方法[20]；以及动态调整网络结构。

Methodology

问题定义

FSCIL包含两个阶段：基础阶段使用充足旧类样本训练模型，增量阶段持续学习少量新类样本。

原型中心损失（PCL）

在基础阶段，我们提出动态结合类级和样本级特征的原型中心损失，通过交叉熵损失推动各类特征向其原型聚集，形成更紧凑的类别表示。

原型增强学习（PAL）

增量阶段中，我们基于最优传输框架计算新旧类权重，通过加权采样增强新类原型。具体分三步：

1. 1.

   用旧类的加权组合估计新类分布

2. 2.

   根据新类分布采样特征增强原型

3. 3.

   更新投影层对齐特征提取器和分类器

Datasets

实验在MiniImageNet、CIFAR100和CUB200三个基准数据集进行。MiniImageNet和CIFAR100设置60个基础类，分8个增量阶段（每阶段5-way 5-shot）；CUB200设置100个基础类，分10个增量阶段。

Conclusion

本文提出的YLOC框架通过两个关键创新增强FSCIL性能：基础阶段PCL获得紧凑的旧类表示，增量阶段PAL利用旧类知识优化新类原型。实验证明该方法能有效平衡新旧类识别性能。

Limitation

当前PAL方法基于新旧类特征共享假设，当出现完全无关的新类时性能可能受限。未来将探索结合语言学特征等增强策略。