结合多个预训练基础模型中的知识以实现少样本识别

《Neurocomputing》：Mixture of knowledge from multiple pre-trained foundation models for few-shot recognition

　　

摘要

近年来，基于预训练的视觉语言基础模型（如CLIP）的方法在少样本分类领域受到了广泛关注。不过，这些方法通常仅聚焦于使用CLIP模型进行研究，未能充分挖掘多种预训练基础模型在少样本图像分类任务中的潜力。在本研究中，我们提出了一种新的框架——MoK，即多预训练基础模型知识混合框架，该框架利用CLIP的多模态视觉语言知识以及DINO和MoCo v3的单模态视觉知识。具体而言，我们在每个视觉提取器之上添加可学习的线性分类器，并用少样本训练图像的先验知识初始化分类器参数，以此缓解框架中的过拟合问题。同时，我们还引入了逻辑值融合策略，以平衡不同预训练基础模型在分类过程中的贡献，从而提升下游任务的性能。我们的方法在多种数据集上实现了最先进的少样本分类性能，证明了所提框架的有效性。相关源代码将会公开发布。

引言

深度学习模型通常需要大量标注数据才能实现最佳的泛化性能。但实际上，获取大量训练数据既耗时又昂贵。少样本学习[11]、[24]、[29]、[30]、[57]、[58]旨在解决这一难题，让模型仅需少量样本就能准确学习训练数据的典型特征，从而在下游任务中表现出良好性能。少样本学习面临的主要挑战是如何避免因训练样本不足或模型中可训练参数过多而导致的过拟合问题。

为了解决上述问题，研究人员提出了多种方法，如数据增强[9]、[54]、度量学习[46]、[52]以及元学习[14]、[16]。近期，对预训练基础模型的微调在少样本学习领域取得了显著成效。尤其是CLIP（对比式语言-图像预训练）[40]模型，在零样本和少样本分类任务中都展现了强大性能。由于CLIP具备出色的零样本能力，许多基于CLIP的方法被应用于少样本图像分类，取得了显著的性能提升。这些方法大致可分为提示词微调和适配器微调两类。提示词微调方法通过在CLIP的文本分支中引入可学习的文本提示词来提升少样本分类性能。例如，CoOp[60]将CLIP文本分支中的提示词视为可学习参数加以利用；CoCoOp[59]则通过注意力机制引导不同类别的文本特征，使其能更有效地探索训练图像中的不同区域，从而提升文本部分与下游任务的关联度。适配器微调方法则通过在CLIP模型中添加轻量级的可训练神经网络——适配器，并在训练过程中对其进行微调，以此提升模型适应下游任务的能力。例如，CLIP-Adapter[15]在原始CLIP图像编码器之上添加适配器，微调图像特征并通过残差跳过连接将其与原始特征整合。Tip-Adapter[56]则将图像和标签视为存储在缓存模型中的键值对，并将键参数初始化为可学习的适配器。这些方法都依赖于原始CLIP模型的丰富先验知识，因此即使在少样本条件下，也能在下游任务中保持优异性能。不过，这些方法仅使用了CLIP模型，未结合其他预训练基础模型来完成少样本分类任务。我们研究了在引入多个预训练基础模型时，如何更好地缓解微调过程中的过拟合问题，以及如何让不同预训练基础模型之间实现更好的分工与协作，进而提升少样本分类任务的性能。

为了解决上述问题，我们提出了MoK框架，即多预训练基础模型知识混合框架。该框架整合了三种在图像分类领域应用最为广泛的预训练视觉基础模型：CLIP[40]、MoCo v3[7]和DINO[3]。此外，这些模型均采用基于ResNet的架构，有助于避免因不同架构之间的差异而导致的训练不稳定问题。在每个预训练基础模型分支的视觉提取器之上，我们还添加了可学习的线性分类器，用于参与微调。为了解决可训练分类器数量过多导致的过拟合问题，我们使用各预训练基础模型在少样本训练图像上输出的特征来初始化每个视觉分支的分类器参数，从而提升分类器的少样本性能。此外，在优化过程中，我们会将预训练CLIP模型的零样本逻辑值与三个分类器生成的视觉逻辑值进行软对齐。通过利用CLIP的原有先验知识作为正则化约束，该框架能够在保留原始CLIP模型泛化能力的同时有效缓解过拟合问题。最后，为了更准确地量化每个预训练基础模型对下游任务的贡献，并确保在下游任务中表现更好的模型在分类过程中具有更高的权重，我们提出了一种基于相似度的逻辑值融合策略。首先，我们将三个分类器生成的逻辑值转换为概率向量，然后使用Kullback-Leibler（KL）散度损失函数[27]计算这些概率向量与预训练CLIP模型生成的零样本概率向量之间的相似度。随后，通过softmax函数对这三个相似度值进行归一化，每个相似度值代表相应预训练基础模型分支在逻辑值融合过程中的权重。经过融合后的逻辑值能够更好地平衡不同预训练基础模型对下游任务的贡献，使其发挥更强的作用。在多个不同领域的广泛数据集上的实验结果表明（详见图1），所提出的MoK框架充分发挥了多种预训练基础模型的少样本能力，通过多模型协同工作，在少样本场景下取得了优异的性能。本研究的贡献如下：

• •
  一种基于多个预训练基础模型的新型少样本微调框架。该框架通过整合多个预训练基础模型的知识，实现更出色的少样本性能，并通过少样本样本初始化分类器参数，从而缓解框架的过拟合问题。
• •
  我们提出了一种逻辑值融合策略，用于更精准地量化不同基础模型生成的逻辑值在下游任务中的贡献，从而使融合后的逻辑值在少样本分类任务中表现得更好。
• •
  我们在多个少样本分类任务的数据集上测试了所提框架，取得了最先进的性能成果。

章节节选

预训练的视觉基础模型

随着各类预训练基础模型的出现，预训练和微调模式逐渐成为少样本学习的主流方法。近年来，诸如CLIP[40]、SLIP[35]和ALIGN[25]等多模态预训练视觉基础模型，在零样本和少样本条件下，为下游任务展现了出色的泛化性能。其中，CLIP模型（对比式语言-图像预训练）是通过自监督学习方式训练得到的

方法

在本节中，我们首先回顾CLIP模型，并概述MoK框架的整体结构，随后详细介绍该框架的细节及推理流程。

实验设置

数据集：我们在11个涵盖不同视觉领域的公共数据集上进行了少样本分类评估，其中包括两个通用物体数据集（即ImageNet[10]和Caltech101[13]），五个用于宠物、汽车、花卉、食物和飞机等细粒度分类的数据集（即OxfordPets[37]、StanfordCars[26]、Flowers102[36]、Food101[1]和FGVCAircraft[34]），一个用于场景分类的数据集（即SUN397[51]），以及一个用于纹理分类的数据集（即DTD[8]）

结论

在本文中，我们提出了MoK框架，这是一种利用多个预训练基础模型互补知识的少样本学习框架。具体而言，通过分类器初始化、一致性引导优化以及自适应预测融合等方式，整合了CLIP、MoCo v3和DINO这三种模型，从而在监督资源有限的情况下提升知识协同效应。在11个基准数据集上的大量实验表明，MoK框架始终能够取得具有竞争力的性能，并创造了新的

CRediT作者贡献说明

陈俊熙：撰写——初稿、软件实现、方法设计、概念构思。甘志勇：指导监督。吴光兴：撰写——审阅与编辑。王瑞轩：撰写——审阅与编辑、指导监督。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢

本研究部分得到了国家自然科学基金（项目编号：62071502）、PCL重大关键项目（项目编号：PCL2023A09）以及广东省优秀青年团队计划（项目编号：2023B1515040025）的支持。

陈俊熙于2022年获得四川农业大学物联网专业学士学位，目前就读于中山大学计算机科学与工程学院，攻读硕士学位。他的研究兴趣包括计算机视觉、机器学习以及少样本学习，目前已发表三篇相关论文。

陈俊熙|甘志勇|吴光兴|王瑞轩

中国广东省广州市510275，中山大学计算机科学与工程学院