基于自适应增强变换器的少样本图像分类方法

《Neurocomputing》：Feature adaptive enhancement transformer for few-shot image classification

　　

摘要

少样本学习旨在利用极少的样本识别未见过的类别，这一技术越来越受到关注。它通常被视为一个度量学习问题，其核心挑战在于为支持集和查询集中的图像学习一致的表示方式，以及在这些图像之间实现有效的度量学习。在本文中，我们提出了一种统一的特征自适应增强变换器FAEformer，通过特征提取、压缩、跨样本相互强化以及多度量分类来同时应对这些挑战。FAEformer能够捕捉全局特征和局部特征，分别为支持集和查询集的局部特征进行压缩，然后将聚合后的特征输入到跨样本相互强化模块中，以生成增强的表示。一种新颖的多度量方法基于全局特征、局部特征以及经过增强后的查询原型，通过加权聚合来计算距离。所有组件都采用端到端的方式训练。在四个基准数据集上的大量实验验证了所提出的FAEformer的优越性和有效性。

引言

尽管现代深度神经网络在大型标注数据集的支持下，在各种任务上取得了卓越的性能，但数据收集和标注的高昂成本与复杂性严重限制了它们在现实场景中的广泛应用。在图像分类、物体检测和医疗诊断等领域，获取足够的标注样本往往面临伦理、技术或资源方面的多重挑战。为了解决这一关键瓶颈，少样本学习作为一种有前景的解决方案应运而生。它的核心目标是通过利用最少的支持样本——通常只有少数几个标注实例——让模型能够识别新的类别（查询样本），从而大幅减少对大规模标注数据的依赖。这项技术不仅有效解决了数据稀缺的问题，还提升了模型的泛化能力，因此受到了研究界的越来越多的关注。

近期，少样本学习领域取得了诸多进展，出现了多种深度学习方法，主要可分为三类：通过生成合成样本来扩充数据的生成型方法、专注于学习可迁移的元知识以实现快速任务适配的优化型方法，以及强调判别性特征表示和距离度量的度量型方法。其中，由于简单高效，度量型方法受到了广泛关注，也是本文研究的重点。这类方法面临两个核心挑战：首先，要确保支持集和查询集之间的特征空间表示具有一致性，即类内特征紧密聚集，而类间特征则能有效分离；其次，需要设计合适的度量标准，以便在数据有限的条件下准确衡量支持样本和查询样本之间的相似性。解决这些挑战至关重要，因为它们直接决定了基于度量的少样本学习框架的分类性能和泛化能力。

现有的基于度量的少样本学习框架大多依赖于静态的特征提取方法，这类方法中，卷积神经网络或变换器会分别独立处理每张图像，以获取全局或局部特征。虽然自注意力机制能够捕捉长距离依赖关系，但这些方法存在两个关键缺陷。首先，它们采用与任务无关的特征提取方式，将查询样本和支持样本视为独立的个体，忽视了它们在任务层面的内在关联。例如，在5类1样本的任务中，查询图像与所有支持样本都存在语义关联，但现有方法却无法利用这种跨样本的相互强化作用，从而导致生成的表示缺乏针对特定任务的判别性。其次，这些方法的特征利用不够充分，因为度量学习策略通常要么依赖全局特征，忽略空间细节，要么依赖局部特征，忽视整体语义。尽管多度量融合方法在一定程度上解决了这个问题，但它仍是一种被动的聚合方式，无法根据特征与任务的相关性动态调整权重，因此在数据稀缺的情况下无法很好地处理复杂的类别差异。基于以上分析，我们认为少样本分类需要特征的动态协同适配，即查询样本和支持样本通过双向上下文交换共同优化彼此的表示，同时学会突出对任务至关重要的特征。

为了解决这些局限性，我们提出了特征自适应增强变换器FAEformer，这是一种统一的框架，通过两项创新实现了任务感知的动态特征适配和度量感知的层次化融合。首先，引入了跨样本相互强化机制。与那些独立提取特征的传统方法不同，FAEformer通过查询样本和支持样本之间的双向注意力机制，明确建模二者之间的亲和关系。具体而言，该框架首先通过变换器网络提取全局语义特征和局部细节特征，然后通过特征压缩模块进一步优化局部特征，去除冗余信息。之后，将查询样本和支持样本的全局特征和局部特征结合起来，输入到跨样本相互强化模块中，通过注意力机制明确建模双向亲和关系。这样一来，查询特征在提取过程中能够动态吸收来自所有支持样本的判别性信息，而支持特征则能通过查询样本的全局语义得到增强，从而形成闭环的相互强化机制。其次，实现了动态度量加权策略。该策略利用增强后的多粒度特征来计算全局相似性、局部相似性以及原型相似性，其中原型相似性通过整合多个支持样本对查询特征的提升效果，来捕捉类别级的判别模式。一种可学习的动态加权机制整合了这三种度量方式，再结合端到端的优化策略，使得各个模块能够协同工作，自适应地学习最优的表示和决策边界，从而显著提升少样本分类的准确率和泛化能力。

我们的贡献可总结如下：

• •
  我们提出了一种协作优化范式，通过明确建模查询样本和支持样本之间的双向交互，打破了两者特征提取的独立性。这使得特征优化能够根据分类任务的需求进行调整，通过上下文感知的相互增强来提升模型的判别能力。
• •
  我们的框架通过层次化注意力机制，将全局语义特征和局部细节特征相结合，动态整合跨样本信息。这种由注意力驱动的融合方式解决了整体表示和细粒度表示之间的矛盾，从而能够更准确地建模类内和类间的差异。
• •
  为了解决数据稀缺情况下的类内差异问题，我们提出了多度量聚合方法。通过整合多个支持样本对查询特征的提升效果，我们构建了具有类别适应性的原型，降低了模型对有限支持样本的依赖，从而得到了更具泛化能力的决策边界。
• •
  在多个少样本基准数据集上进行的全面实验表明，我们的方法相比以往的方法具有更好的性能。我们还通过消融实验和可视化分析，详细研究了各个组件的作用。

章节节选

相关工作

本节根据模型的主要特点对现有的少样本学习方法进行了分类，包括基于卷积神经网络的少样本学习方法、基于注意力的少样本学习方法以及基于变换器的少样本学习方法。下面将对这些方法进行简要回顾，并分析我们的方法与它们之间的差异。

方法论

本节首先定义了少样本图像分类任务，随后介绍了我们所提出方法的框架，最后详细阐述了我们的特征自适应增强方法以及多度量分类方法。

实验

在本节中，我们展示了我们模型的实验结果，评估了它的各项特性，并在四个常用的基准数据集上将其性能与几种基线方法进行了比较。我们还进行了消融实验，以证明所提方法的有效性。最后，我们展示了经过特征自适应增强处理后的图像效果。

结论

我们提出了FAEformer，这是一种基于变换器的框架，通过整合查询样本和支持样本的特征自适应增强机制，解决了少样本学习中的若干关键问题。其设计核心包含三项创新：（1）一种统一的架构，能够融合全局特征和具备上下文意识的局部特征，从而克服孤立特征提取的弊端；（2）特定的任务导向型判别学习机制，能够确保类内特征的紧凑性以及类间特征的可区分性；（3）一种协同的多度量决策机制

CRediT作者贡献声明

江伟浩：写作——审阅与编辑，写作——初稿撰写，软件，方法论，概念设计。宁佳：写作——审阅与编辑，软件，方法论，概念设计。何坤：写作——审阅与编辑，指导监督，方法论，概念设计。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

江伟浩目前在中国武汉的华中科技大学计算机科学与技术学院攻读博士学位。他的研究方向包括深度学习、少样本学习以及元学习。

Weihao Jiang|Jia Ning|Kun He

中国武汉430074，华中科技大学计算机科学与技术学院