HiCPS：面向少样本类增量学习的分层互补提示协同

《Neurocomputing》：HiCPS: Hierarchical complementary prompt synergy for few-shot class-incremental learning

　　

摘要
少样本类增量学习 (FSCIL) 旨在从有限样本中持续学习新类，同时保留之前学到的旧任务知识，但它通常面临灾难性遗忘和过拟合问题。一种有效的方法是利用提示学习的快速适应能力来解决这些挑战。一些现有方法采用双重互补提示（全局提示和任务特定提示）来共同指导模型，但大多数依赖于简单的互补约束，无法充分确保两种提示之间的互补性。本研究提出了一种多层次互补约束结构，以克服现有使用任务特定提示 (Prompt-S) 和全局提示 (Prompt-G) 的持续学习方法在互补性上的浅层局限。我们的方法从多个角度增强了 Prompt-S 和 Prompt-G 之间的互补性：在提示参数层面，我们对提示参数施加多头正交约束，以解耦它们的潜在语义空间。对于 Transformer 层，我们开发了一个路径特征多样性约束模块，以增强跨层特征互补性。在 logit 层面，设计了一种对抗性提示差异损失，以缓解由于计算融合特征的交叉熵而导致的提示冗余。此外，为了进一步增强特征空间中的类间分离并减少新旧类之间的重叠，我们提出了一种分层硬挖掘三元组损失。在三个图像分类基准数据集（CIFAR-100、ImageNet-R 和 CUB-200）上进行的广泛实验表明，我们的方法达到了最先进 (SOTA) 的性能。

引言
在实际部署场景中，深度学习模型通常在动态环境中运行，必须适应随时间推移而到达的连续数据流。理想情况下，我们期望模型能够像人类学习能力一样，从不断演变的数据流中持续获取新知识，同时保留之前学到的知识。这个研究方向被称为类增量学习 (CIL)，传统上假设在增量会话期间有大量训练数据可用，但在实际应用中这一要求可能具有挑战性且耗时。例如，在医疗诊断系统或生物识别等特定领域，获取高质量标注数据通常需要高昂的成本。在为医学图像分析或指纹/面部识别系统开发动态更新模型时，模型必须从有限样本中学习新类别，同时避免对先前知识的灾难性遗忘。这种场景被形式化为少样本类增量学习 (FSCIL) [22]，旨在解决传统增量学习中的灾难性遗忘和低数据场景下的模型过拟合问题。

FSCIL 通常涉及使用充足的基类数据训练基础模型，随后利用这些知识促进增量会话中的少样本学习。现有的 FSCIL 方法包括多种策略：Cheraghian 等人 [3] 采用知识蒸馏来缓解灾难性遗忘，而 Liu 等人 [15] 采用样本重放策略来保留旧类知识。然而，这些传统的 FSCIL 方法面临关键局限性。使用稀疏增量数据微调骨干网络通常会加剧遗忘，迫使从业者要么冻结模型，要么将其与简单网络结合 [34]，从而严重依赖基础模型的泛化能力。提示学习和视觉 Transformer (ViT) 的最新进展激发了新的解决方案。一种流行的范式是将提示划分为任务无关的全局提示 (Prompt-G) 和任务特定提示 (Prompt-S)，并通过各种提示解耦策略引导不同提示关注不同类型的知识。例如，Liu 等人 [14] 利用信息瓶颈理论引导任务特定提示捕获任务专属知识；Tian 等人 [23] 提出了一种参数级提示正则化策略，以防止新的任务特定提示覆盖任务无关的全局提示；Wang 等人 [28] 通过硬参数隔离在参数层进行单步解耦。所有这些方法都采用单维度、单步解耦范式，仅在参数层或特征层应用单一解耦约束，无法避免提示通过 Transformer 层传播和分类优化过程中的特征同质化问题。

为了克服现有方法的局限性，本文提出了一种跨越参数层、特征层到 logit 层的三级协作互补约束范式。通过全链路提示解耦设计，我们增强了两种提示之间的互补性，从而使模型能够捕获更多样化的特征。

受 Liu 等人 [14]、Wang 等人 [28] 的启发，我们将提示划分为任务不变的全局提示 (Prompt-G) 和任务特定提示 (Prompt-S)，同时引入一个提示编码器，根据输入批次和 Prompt-G 动态生成 Prompt-S。为了强制执行不同的知识专业化并增强特征多样性，我们设计了一种多层次提示互补协同结构。具体来说：将 Prompt-G 和输入数据拼接并输入到提示编码器 [14] 中以生成批次特定的 Prompt-S；应用多头正交约束来解耦 Prompt-G 和 Prompt-S 参数，迫使 Prompt-S 专注于任务特定知识；Prompt-S 和 Prompt-G 分别与输入拼接并通过 ViT 骨干处理，在 Transformer 层之间应用路径特征多样性约束以增强特征互补性；两条路径的融合特征用于最终分类。为了抵消交叉熵优化过程中的特征同质化，我们提出了一种对抗性提示差异损失来解耦提示特定的 logits。最后，引入了一种分层硬样本挖掘三元组损失，以减轻新旧类之间的特征空间重叠，进一步增强类间分离 (图 1)。

我们的贡献总结如下：
我们提出了一种基于多层次互补提示协同结构的少样本类增量学习方法。通过在参数层、Transformer 注意力层和 logits 层协同增强全局任务无关提示和任务特定提示之间的互补性，该方法增强了模型捕获更多样化特征的能力。
我们提出了一种分层硬样本挖掘三元组损失。该损失利用两种互补提示各自的特征，分层挖掘硬负样本，减少新旧类之间的重叠，并进一步增强特征空间中的类间分离。
我们在三个公共数据集（CIFAR-100、ImageNet-R 和 CUB-200）上进行了广泛的比较和消融实验，证明了我们所提方法的有效性。

章节片段
类增量学习 (CIL)
增量学习通常涉及三种不同的设置：任务增量学习 (TIL)、领域增量学习 (DIL) 和类增量学习 (CIL) [25]。其中，CIL 被认为是最具挑战性的场景 [24]，因为它要求在学习新类的同时不忘记旧类。CIL 已成为机器学习中的一个突出主题，并可根据是否保留旧类实例大致分为两类。基于重放的方法存储...

预备知识
问题设定：FSCIL 的目标是从一系列任务中学习知识，每个任务 的数据 按顺序提供。当学习任务 时，模型无法完全访问之前任务 的数据。在训练过程中，模型必须对其已被训练的所有数据，即任务 进行性能测试。第 -个训练任务的数据表示为 ，其中 表示 的大小， 和 分别表示训练样本及其对应的标签。

方法论
本节介绍了我们模型的组件和整体架构。我们的模型主要包括一个预训练的 ViT 骨干、全局通用提示、一个用于生成当前任务特定提示的提示编码器，以及一个用于分类的原型分类器。在 FSCIL 任务中，有限的样本无法支持大规模骨干参数的优化，这很容易加剧模型的过拟合风险。提示学习非常适合这种场景，因为它可以...

实验
本节详细介绍了我们的实验协议、训练配置和 FSCIL 任务的评估指标。我们将我们的模型与多种少样本类增量学习数据集上的最先进方法进行比较，并进行消融研究以验证关键组件。

结论
在这项工作中，我们提出了一种基于多层次互补提示约束结构的少样本类增量学习框架，用于互补提示模型。我们的方法通过在三个维度上的分层约束——参数级正交正则化、Transformer 层特征多样性以及对抗性 logits 差异优化，增强了全局提示和任务特定提示之间的互补性。这使得模型能够捕获更多...

CRediT 作者贡献声明
黄强：写作 – 初稿，方法论。吴胜利：资源，形式分析。万少华：验证，调查。吕国华：项目管理。王晓英：数据整理。卢虎：写作 – 审阅与编辑，监督。

竞争利益声明
作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。

黄强 | 吴胜利 | 万少华 | 吕国华 | 王晓英 | 卢虎
江苏大学计算机科学与通信工程学院，中国江苏省镇江市，212013