AME：用于跨模态少样本学习的辅助模型增强技术

《Pattern Recognition》：AME: Auxiliary Model Enhancement for cross-modal few-shot learning

　　

• •
  我们提出了一种名为辅助模型增强（AME）的统一方法，用于少样本学习。
• •
  AME采用跨模态适配策略，在利用极少量数据提升学习效果的同时，避免过拟合问题。
• •
  AME通过引入初始化的特征引导型多层感知器以及知识蒸馏机制，进一步提升学习性能。

引言

少样本学习，即能够在极少监督的情况下适应新任务，是智能系统的重要能力。传统的少样本学习方法[1]通常依赖单模态数据与预定义的类别标签，这限制了它们在处理多样且复杂的任务时的泛化能力。近年来，诸如CLIP[6]这类大规模预训练的视觉语言模型[2]、[3]、[4]、[5]的出现，为少样本学习开辟了新途径，这些模型能够利用丰富的多模态嵌入信息。CLIP将图像与文本映射到同一个表示空间中，使得无需复杂提示即可实现零样本和少样本分类。不过，尽管基于CLIP的方法表现优异，但在任务特定适配方面仍存在不足，尤其是在数据量较少的情况下[7]、[8]、[9]。

为解决这些局限性，如图1所示，研究人员提出了多种策略，包括提示调优[7]、[8]、特征适配[9]以及辅助模型整合[10]、[11]。提示调优方法，如上下文优化，旨在将连续向量优化为针对特定任务的提示，但其仅依靠文本修改，限制了其应用范围。特征适配方法，如CLIP-Adapter[9]和Tip-Adapter[12]，通过添加额外层来实现预训练特征的残差融合，从而增强任务特定的表示能力。辅助模型整合则更进一步，通过利用多个基础模型来提供多样的先验知识。例如，CaFo[10]结合了视觉对比模型、视觉生成模型和语言生成模型，通过合成数据生成与基于缓存的预测融合方式来提升少样本学习性能[12]。AMU-Tuning[11]则通过辅助特征和基于不确定性的融合来优化逻辑斯蒂偏置，进而提升基于CLIP的少样本学习效果。

尽管少样本学习取得了显著进展，但大多数视觉编码器仍依赖于基于图像-文本对的对比式预训练，比如CLIP。现有研究指出，这类方法存在“CLIP误判对”现象[13]，即CLIP会将视觉上差异明显的图像误认为是相似样本。最近的基于适配器的研究也强调了在少样本场景下需要更强的任务特定优化[14]。在语义表示方面，现有方法主要依赖手动设计的模板或可学习的标记，这限制了其语义扩展性。至于跨模态融合策略，主流方法通常通过额外的投影层来对齐图像与文本的类别原型，但在监督有限的条件下仍难以获得具有区分度的跨模态原型。

为应对这些挑战，我们提出了辅助模型增强（AME）这一统一框架，它整合了多源视觉表示融合、跨模态特征对齐以及基于软标签的知识蒸馏技术。与主要调整CLIP特征的Tip-Adapter不同，AME引入了DINOv2辅助分支，以提供互补的细粒度视觉线索。与更多依赖生成数据或预测级融合的CaFo相比，AME明确地将基于CLIP的语义适配与辅助视觉优化相结合。与侧重于逻辑斯蒂偏置校正的AMU-Tuning不同，AME通过学习基于特征初始化的分支适配器，并进一步通过软标签蒸馏优化DINOv2分支。具体而言，AME通过并行路径将DINOv2[15]和CLIP[6]相结合，这些路径中的残差适配器均基于预训练特征进行初始化。CLIP分支采用跨模态联合训练策略[16]，其中语义特征作为辅助支持样本，用于丰富传统的少样本学习框架。DINOv2分支则作为独立的视觉辅助编码器，通过教师-学生蒸馏机制进行优化。AME的架构示意图见图2。与对比的基线方法相比，AME在少样本场景下仍能保持较强的性能，且随着样本数量的增加，其优势更为明显，这说明其在不同少样本场景下都具有较好的扩展性。

为验证所提出的AME方法的有效性，我们在11个不同的下游基准测试集[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25]、[26]、[27]上对其进行了测试，这些测试采用了包括ResNet[28]和视觉变换器（ViT）[29]在内的多种骨干网络架构。本工作的主要贡献如下：

• •
  我们提出了辅助模型增强（AME）这一统一方法，它将视觉语言模型与辅助的自监督视觉模型相结合。这种设计通过有效利用多元化的先验知识，丰富了多模态表示，提升了下游任务的性能。
• •
  AME通过跨模态适配策略、初始化的特征引导型多层感知器以及知识蒸馏机制，能够在利用极少量数据提升学习效果的同时，避免过拟合问题。
• •
  在ImageNet及多个基准测试集上的大量实验表明，AME在少样本分类任务中取得了优异的性能，在1到4个样本的测试环境中仍能保持较高的准确率，而在4个样本到16个样本的测试环境中则展现出更明显的性能提升。

本文的其余部分结构如下：第2节回顾了少样本分类与多模态适配领域的相关研究；第3节详细介绍了我们所提出的方法，包括视觉特征融合、跨模态适配以及知识蒸馏技术；第4节展示了实验结果与分析；第5节则为结论部分。

各章节要点

相关研究

本节回顾了与我们工作密切相关的三个主题的现有研究：少样本分类、视觉模型预训练策略，以及大规模预训练模型的发展现状。

提出的方法

AME由三个相互关联的部分组成：双分支的CLIP–DINOv2融合框架、针对CLIP分支的跨模态适配策略，以及针对DINOv2辅助分支的软标签知识蒸馏策略。融合框架决定了如何将互补的语义特征与视觉特征相结合，而跨模态适配与知识蒸馏则作为针对不同分支的训练机制，在最终预测之前对这两种特征进行优化。在本节中，我们将首先介绍

实现细节

为验证所提出方法的有效性，我们在11个标准的分类数据集上对其进行了测试，这些数据集包括Food-101[17]、DTD[18]、ImageNet-1K[19]、Caltech-101[20]、EuroSAT[21]、Stanford Cars[22]、FGVC-Aircraft[23]、Oxford Flowers-102[24]、Oxford Pets[25]、UCF-101[26]以及SUN397[27]。除非另有说明，所有主要实验均以CLIP RN50作为默认的视觉语言骨干网络，而DINOv2-Large则作为辅助视觉编码器。仅针对特定

结论

为进一步推动基于CLIP的少样本学习发展，本文提出了一种统一的辅助模型增强（AME）方法，该方法结合了利用自监督学习技术的DINOv2生成的细粒度视觉嵌入、跨模态融合机制以及软标签知识蒸馏技术。大量实验表明，AME在多种少样本场景下的11个数据集中，都能与强大的基线方法相媲美。不过，AME仍存在一定的局限性。

CRediT作者贡献声明

余成谦：撰写——审稿与编辑，撰写——初稿。陈一红：可视化，撰写——审稿与编辑。卢宇武：撰写——审稿与编辑，撰写——初稿，指导监督。

利益冲突声明

我们声明，我们与任何可能影响我们工作的个人或组织之间不存在任何财务或个人关系，也不存在任何可能影响本文观点或评审结果的各类专业或其他个人利益。

余成谦|陈一红|卢宇武