AdaGate：面向小样本类增量学习的自适应提示门控与表征感知特征增强

《Neurocomputing》：AdaGate: Adaptive prompt gating with representation-aware feature augmentation for few-shot class-incremental learning

　　

摘要

小样本类增量学习（FSCIL）旨在仅通过少量标注样本持续学习新类别，同时保持从已学习类别中获取的知识。尽管大规模预训练视觉Transformer（ViT）具有显著的表征能力，但由于灾难性遗忘和新类别样本多样性有限的问题，将其有效应用于FSCIL仍然具有挑战性。为解决这些问题，本文提出了AdaGate，一个自适应提示学习框架，集成了双轨提示门控机制与表征感知特征增强（RAFA）。具体而言，AdaGate采用双轨提示架构，由通用提示和专家提示组成，其中自适应门控机制在增量学习过程中动态平衡通用语义知识与类别特定表征。与此同时，RAFA在特征空间中执行语义一致的扰动，在不改变原始视觉语义的情况下丰富类内多样性，从而在训练样本极度有限的情况下提高特征的鲁棒性。在CIFAR-100、CUB-200和miniImageNet上的大量实验表明，AdaGate在三个FSCIL基准上均取得了优于现有FSCIL方法的竞争性性能。综合分析进一步验证了所提出的自适应提示门控有效缓解了灾难性遗忘，而特征空间增强则显著提升了增量表征的判别能力和泛化能力。

引言

人类拥有一种非凡的能力，即仅通过少量示例就能获取新概念，同时保持已学习的知识。受此能力启发，小样本类增量学习（FSCIL）[11]、[44]旨在极端数据匮乏条件下顺序学习新类别，其中基础阶段提供充足的训练样本，而后续阶段每类仅提供少量标注实例。尽管具有实际应用价值，FSCIL仍因两个耦合问题而极具挑战性：灾难性遗忘[7]，即新学习的信息会干扰早期知识；以及过拟合[32]，即增量样本的匮乏导致表征脆弱且泛化能力差。

早期的FSCIL研究主要采用轻量级CNN骨干网络，如ResNet-18 [14]、[40]，并通过部分冻结或辅助正则化来缓解遗忘问题。虽然计算效率高，但这些骨干网络缺乏长期增量学习所需的表征丰富性。近期大规模视觉和视觉-语言Transformer的进展[23]、[31]展示了卓越的迁移性和语义泛化能力。然而，直接将这些模型应用于FSCIL引入了一个根本性困境：完全微调会擦除预训练知识，而完全冻结则严重限制了模型对新类别分布的适应能力。我们在CIFAR-100 [15]、CUB-200 [33]和miniImageNet [28]上的实证分析进一步揭示，提示调优[5]、[8]、[22]或前缀调优[19]的简单适配仍然表现不佳，这主要是由于表征漂移以及跨阶段特征特异性不足所致。

进一步分析表明，有效的FSCIL需要同时解决三个相互冲突的目标：

• •
  保持大规模预训练模型广泛的可迁移先验知识以防止遗忘；
• •
  在数据极度有限的情况下实现对新类别的快速稳定适应；
• •
  在整个增量更新过程中维持判别性且充分分离的特征边界。

基于原型的FSCIL方法[10]、[16]、[25]、[49]试图通过余弦分类器维持类内紧凑性，但缺乏显式机制来扩大类间间隔。因此，多样化的类别，尤其是语义相关的类别，往往产生重叠的嵌入表示，加剧了后续阶段性能下降。此外，常见的图像空间增强方法，如随机裁剪或高斯噪声，会引入分布性伪影，从而破坏大规模预训练Transformer的稳定性[12]、[32]、[35]，限制了其在小样本条件下的有效性。

这些现象在图1中得到进一步说明。如图1(a)所示，直接将提示参数注入预训练视觉-语言骨干网络会破坏其结构良好的特征空间，导致学习新类别时出现严重不稳定性。同时，图1(b)表明增量数据的稀缺性导致特征分布狭窄，使得新类别样本与旧类别样本之间的区分度不足。这些观察揭示了使用大规模模型进行FSCIL的两个根本障碍：维持稳定的可迁移表征，以及在少样本条件下丰富特征多样性。

为克服这些局限性，我们提出了AdaGate，一个用于小样本类增量学习（FSCIL）的新型框架，包含两个互补模块：双轨提示门控机制（DPGM）和表征感知特征增强（RAFA）模块。DPGM维护两条专用提示通路：一条通用提示保留可迁移的语义先验知识，一条专家提示专门用于领域特定适应。一个动态门控模块根据学习阶段和任务复杂度自适应调节两者的相对贡献，从而缓解基础阶段的欠拟合和增量阶段的过拟合。

RAFA模块通过在特征空间中直接执行受限增强来解决数据稀缺问题。与扰动图像不同，RAFA将结构化随机变化注入到归一化的Transformer表征中，在确保语义一致性的同时丰富类内多样性。这一过程稳定了特征拓扑结构，缓解了表征漂移，有助于跨阶段实现类内紧凑性和类间可分性。

本文的主要贡献总结如下：

• •
  提出了一个名为AdaGate的统一框架，即"自适应提示门控结合表征感知特征增强"（Adaptive Prompt Gating with Representation-Aware Feature Augmentation），利用大规模视觉-语言模型同时保持可迁移先验知识并为FSCIL提供自适应特化能力。
• •
  提出了一种双轨提示门控机制（DPGM），通过阶段感知门控动态平衡通用提示和专家提示，有效缓解遗忘和过拟合问题。
• •
  开发了一个表征感知特征增强（RAFA）模块，结合了表征校准归一化、局部补丁令牌扰动和一致性正则化，在少样本增量更新过程中增加特征多样性的同时限制语义漂移。
• •
  在CIFAR-100、CUB-200和miniImageNet上的大量实验表明，AdaGate在三个基准上均取得了竞争性性能。

本文其余部分组织如下。第2节回顾了预训练模型、提示学习和增量学习特征增强的相关工作。第3节介绍了AdaGate框架及其训练策略。第4节报告了实验设置、对比结果、消融研究和进一步分析。第5节对全文进行总结。

章节摘要

大规模预训练模型作为类增量学习者

ResNet-18 [14]、[40]等浅层卷积神经网络由于其参数量小且训练行为稳定，被广泛应用于小样本类增量学习（FSCIL）中。CEC [36]、MCNet[13]和SPPR [49]等框架采用浅层骨干网络并结合部分参数冻结和知识蒸馏[1]、[9]、[25]等技术来缓解灾难性遗忘和过拟合。虽然这些模型在小样本条件下能够稳定训练，

符号定义与问题描述

小样本类增量学习（FSCIL）是一项具有挑战性的任务，模型需要仅从有限的标注样本中增量学习识别新类别，同时保持对已学习类别的知识。为解决该任务的核心挑战，本文提出了AdaGate框架，即"自适应提示门控结合表征感知特征增强"用于小样本类增量学习，其整体架构如图2所示。形式化地，训练数据

实验设置

为确保对所提出方法的严谨对比评估，我们在三个基准数据集CUB200、CIFAR-100和miniImageNet上采用标准化的实验设置，详见表2。

使用以下指标[32]来评估模型性能。基础阶段准确率（$A_{\text{Base}}$）：初始基础类别集上的准确率。最后阶段准确率（$A_{\text{Last}}$）：最终增量阶段引入类别上的准确率。平均准确率（$A_{\text{Avg}}$）：平均准确率

结论

本文提出了AdaGate，一个基于预训练视觉Transformer的框架，集成了RAFA和DPGM以解决FSCIL的核心挑战。DPGM通过时间自适应门控网络动态平衡通用提示和专家提示，协调知识保持与适应能力。RAFA对归一化的补丁令牌执行无参数特征增强，提升类内多样性和跨阶段特征稳定性。在多个FSCIL基准上的大量实验表明，AdaGate

CRediT作者贡献声明

孙宇豪：审稿与编辑，原始草稿撰写，可视化，方法论，形式化分析。 张华翔：审稿与编辑，资源，方法论，调查研究，资金获取。 刘利：审稿与编辑，监督，资源，项目管理，概念构思。 柳东梅：审稿与编辑，监督，资源，项目管理，概念构思。 朱磊：资源，调查研究，资金获取。 方晓畅：

利益冲突声明

作者声明，他们不存在已知的竞争性经济利益或个人关系，这些关系可能对本论文报告的工作产生不当影响。

致谢

本工作得到了国家自然科学基金（项目编号62176144）和中国山东省基础研究项目的支持（项目编号ZR2024ZD08、ZR2024MF043、2025CXGC010113、Z2024450）。

孙宇豪于2024年获得烟台大学计算机与控制工程学院软件工程学士学位。目前，他在中国济南山东师范大学信息科学与工程学院攻读研究生学位。他的研究兴趣包括跨模态检索、多模态分析和跨模态学习。

孙宇豪|张华翔|刘利|柳东梅|朱磊|方晓畅