DistillCvT：用于小样本细粒度分类的卷积视觉Transformer自监督蒸馏方法

《Image and Vision Computing》：DistillCvT: Self-supervised distillation of Convolutional Vision Transformers for few-shot fine-grained classification

　　摘要：由于类间差异微妙以及标注数据稀缺，少样本细粒度图像分类仍然是一项具有挑战性的任务。现有的少样本细粒度方法往往难以在数据量较少的情况下有效泛化，也无法区分视觉上相似的样本。为了解决这些问题，我们提出了DistillCvT，这是一种两阶段框架，通过原型网络结构内的自监督学习和自我蒸馏来提升模型的泛化能力和特征区分能力。该框架采用卷积视觉变换器作为特征提取器，它结合了卷积的局部特性与基于变换器的全局建模能力，从而在保留全局上下文的同时捕捉细粒度细节。DistillCvT通过两阶段策略来缓解这些问题。在第一阶段，模型使用基于原型距离的分类损失进行训练，类概率是根据查询样本与类原型的距离计算得出的，同时通过标准的数据增强技术来弥补数据稀缺的问题，并学习具有区分能力的类表示。在第二阶段，另一个相同的学生模型通过自监督的拼图任务进行训练，通过将支持样本与其增强后的查询对应样本对齐，从而提升特征区分能力和鲁棒性。与此同时，第一阶段的教师模型通过基于逻辑值的自我蒸馏来引导学生模型，进一步改善其泛化能力。在CUB-200-2011、Stanford Dogs和Stanford Cars数据集上的实验表明，DistillCvT能够持续提升性能，且优于近期最先进的少样本细粒度图像分类方法。

引言：从有限数据中识别物体是计算机视觉和机器学习领域的一个基本挑战。尽管深度学习在大规模图像识别方面取得了显著成就，但这些方法通常需要大量的标注数据集，在数据量较少的情况下表现不佳。这一限制在细粒度图像分类中尤为明显，因为模型必须区分差异微小的子类别，如鸟类种类、犬种或车辆类型。标注数据的稀缺，加上类内变异大而类间变异小，使得细粒度图像分类成为检验学习算法进步的重要基准。与通用物体识别相比，细粒度图像分类需要捕捉细微的特征线索并生成具有高度区分能力的表示。传统的细粒度图像分类方法依赖于在大型标注数据集上训练的深度学习模型，在数据丰富的环境中能够取得优异性能[1]、[2]、[3]、[4]。更广泛地说，从少量示例中泛化的能力在许多实际应用中至关重要，包括医学成像、遥感以及生物特征识别等领域，因为在这些领域中收集大规模标注数据集既不现实又成本高昂。

少样本学习作为一种解决此类数据不足问题的有力方法应运而生。通过仅从少量标注样本中学习适应能力，少样本学习为构建高效的数据驱动识别系统提供了途径。最近的研究通过改进元学习、正则化和推理策略进一步提升了少样本学习的效果[5]。目前大多数少样本学习方法都基于元学习框架，这使得模型能够在有限监督的情况下快速适应新任务。用于少样本细粒度图像分类的元学习方法大致可分为三类：基于模型的方法，这类方法设计出可适应的架构，但往往缺乏泛化到未知任务的灵活性[6]、[7]、[8]；基于优化的方法，这类方法侧重于微调模型参数，但容易过拟合[9]、[10]、[11]；以及基于度量的方法，这类方法通过比较查询样本与支持样本之间的距离来学习特征嵌入空间[12]、[13]、[14]。其中，基于度量的方法因其简单性、高效性以及在少样本场景下的出色表现而特别受欢迎。然而，现有方法往往依赖静态的相似度度量，且使用的核心模型要么侧重局部特征，要么侧重全局上下文，从而忽视了特定样本的区分性线索，限制了其在细粒度及数据量较少的场景中的有效性。

为了解决这些局限性，我们提出了DistillCvT，这是一种两阶段的基于度量的框架，它结合了自监督学习和自我蒸馏，旨在提升少样本细粒度图像分类的泛化能力和特征区分能力。与传统核心模型不同，该框架采用卷积视觉变换器作为特征提取器。卷积视觉变换器在标准的视觉变换器基础上进行了扩展，它在词元嵌入层和注意力层中加入了卷积投影，从而在保持全局建模能力的同时更好地保留空间局部特性。它还采用了类似卷积神经网络的逐级下采样层次结构，同时保留了变换器的灵活性。虽然卷积视觉变换器能够提供强大的局部-全局特征表示，但将其应用于少样本细粒度分类仍面临挑战，因为变换器通常需要大规模训练数据，且在数据量较少的情况下容易过拟合。DistillCvT通过一种合理的两阶段学习策略来应对这些挑战。具体而言，卷积视觉变换器能够捕捉对细粒度识别至关重要的细微局部细节和全局上下文关系，而第二阶段则通过结合自监督学习和自我蒸馏来应对少样本细粒度图像分类的数据不足问题。自监督目标能够在空间扰动下增强对部分特征的认识以及语义一致性，而自我蒸馏则能规范学习过程并减少过拟合。这些组件共同构成了一个互补的框架，能够在数据量较少的细粒度分类任务中同时提升特征区分能力和模型鲁棒性。

在第一阶段，卷积视觉变换器从零开始训练，通过标准的数据增强技术增加数据多样性，从而学习出强大的局部-全局特征表示。在第二阶段，引入了基于拼图的自监督目标，无需额外标签即可规范特征表示的学习过程。具体来说，另一个相同的学生模型会使用经过空间重排的查询图像进行训练，这样就能促使模型提取出在空间扰动下依然具有信息价值的区分性局部特征，而支持样本则充当伪类。同时，还会应用自我蒸馏过程，即第一阶段预训练好的教师模型通过其逻辑值来引导学生模型。通过结合基于拼图的自我监督和教师-学生蒸馏机制，DistillCvT能够为少样本细粒度图像分类学习出更具区分能力且更具泛化能力的特征表示。

在CUB-200-2011、Stanford Dogs和Stanford Cars数据集上进行的大量实验表明，所提出的DistillCvT在1次样本和5次样本的测试场景中都能带来一致的性能提升。本工作的主要贡献如下：
•我们提出了DistillCvT，这是一种两阶段的基于度量的框架，能够提升少样本细粒度图像分类的泛化能力和特征区分能力。
•我们采用卷积视觉变换器作为核心模型，并通过结合自监督学习和自我蒸馏来提升其在少样本场景下的鲁棒性。
•我们引入了一种基于拼图的自我监督学习任务，该任务能够在无需额外标注的情况下提升特征鲁棒性，通过鼓励在空间扰动下保持语义一致性，帮助模型更好地捕捉细微的视觉差异。
•我们设计了一种自我蒸馏策略，其中教师模型提供软逻辑值来引导学生模型，从而获得更具区分能力的特征表示，并降低过拟合现象。

模型基础方法：模型基础方法旨在为不同数据集和任务中的少样本细粒度图像分类开发出具有适应能力的学习机制。吴等人[6]提出了一种双向重建框架，用以提升类别可分性和特征一致性，而程等人[17]则引入了DFR方法，用于分离出具有区分能力的特征与与类别无关的变异。基于注意力的方法，如TWA[18]，则有助于提取与特定任务相关的、互补的物体特征。

DistillCvT框架：图1展示了所提出的DistillCvT框架的整体架构，该框架是在少样本学习范式下，基于N路K次采样的设置而开发的。该框架包含两个连续的阶段：（1）有监督教师模型训练，此时从零开始训练教师模型，以学习强大的局部-全局特征表示；（2）自监督蒸馏，此时通过基于拼图的自我监督任务提升特征表示的鲁棒性，同时结合基于逻辑值的自我蒸馏机制。

实验部分：本节介绍了数据集、评估方案、实现细节以及实验结果。此外还包含了消融研究、t-SNE和Grad-CAM可视化分析，以及对自监督学习和自我蒸馏作用机制的详细分析。

结论：本文提出了DistillCvT，这是一种两阶段框架，它结合了自监督学习和自我蒸馏，旨在提升少样本细粒度图像分类的特征区分能力和泛化能力。该框架以卷积视觉变换器为核心，这种核心模型结合了卷积的局部特性与基于变换器的全球建模能力，旨在捕捉对细粒度识别至关重要的局部和全局特征表示。在第一阶段，卷积视觉变换器被……

CRediT作者贡献声明：Jia Min Lim：写作——审阅与编辑、写作——初稿撰写、方法论、研究、形式分析、概念构思。Kian Ming Lim：写作——审阅与编辑、监督、资源协调、方法论、研究、形式分析、概念构思。Jit Yan Lim：写作——审阅与编辑、资源协调、资金获取。Chin Poo Lee：写作——审阅与编辑。Pey Yun Goh：写作——审阅与编辑。

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本研究得到了马来西亚莫纳什大学信息技术学院的支持，项目编号为I-M010-SED-000416。

Jia Min Lim|Kian Ming Lim|Jit Yan Lim|Chin Poo Lee|Pey Yun Goh
马来西亚马六甲州布基特贝朗，阿耶尔克罗赫拉玛路75450号，多媒体大学信息科学与技术学院