基于判别性局部特征增强的类增量学习置信度提升方法

本文提出了一种创新的类增量学习（CIL）策略，通过图像背景信息筛选判别性局部特征，并结合预训练视觉语言模型（VLM）的文本特征作为语义锚点指导图像编码器更新。该方法有效解决了CIL中模型难以聚焦关键特征及受相似背景干扰的问题，在多个数据集上的实验表明其准确率领先现有方法至少1%。

　　

¹亮点

• 我们提出了一种用于类增量学习（Class-Incremental Learning, CIL）的判别性局部特征选择创新方法。

• 我们提出利用文本特征作为语义锚点来指导图像编码器的更新。

• 在多个基准测试上的广泛评估证明了所提出方法的卓越性能。

²方法

在无需保留旧数据的类增量学习（CIL）中，神经网络模型需要按顺序学习多个不同的任务，其中第t个任务包含一组唯一的类别。关键的是，不同任务间的类别没有重叠。在学习完第t个任务后，模型需要能够准确识别所有先前遇到过的类别。为了充分利用预训练模型的强大表示能力...

³实验设置

1）数据集：我们在三个广泛使用的数据集上进行了广泛的实验，包括CIFAR100、ImageNet-R和CUB200，以评估所提出的方法。每个数据集的详细信息总结在表1中。CIFAR100包含100个类别的自然图像，每个类别有500个训练样本和100个测试样本。ImageNet-R包含200个类别，涵盖了包括卡通、涂鸦和雕塑在内的多种艺术表现形式。我们将此数据集分割用于训练...

⁴讨论

我们方法的一个局限性在于效率。特别是，当处理长任务序列时，推理时间会增加，因为我们用效率换取了性能。然而，这仍然在可接受的范围内。在内存使用方面，我们的方法在训练期间需要少于5GB的GPU内存，因为我们方法中可训练参数的数量占总参数的比例不到10%，资源需求非常低。在耗时方面，在CIFAR100数据集上完成10个任务后...

⁵结论

本研究提出了一种用于类增量学习的创新性判别性局部图像特征选择策略。通过利用图像的背景信息和语义丰富的文本信息，该策略识别关键的局部特征，并引导模型在训练过程中更多地关注它们，从而增强了模型准确分类来自不同任务类别的能力。此外，采用预训练的视觉语言模型（Vision-Language Model, VLM）作为类增量学习框架...