在计算机视觉的各个领域,深度学习在大量标记数据的支持下取得了显著的进展,例如语义分割(Sheng, Zhu, Jin, & Yin (2025))、视觉识别(Li et al. (2025a)和对象检测(Qu, Yang, & Xia (2025))。然而,由于巨大的劳动力成本或在某些实际场景中的不可获取性,数据注释变得非常困难。因此,使深度模型能够从少量标记数据中学习对于现实世界应用来说非常紧迫且有益。人类可以利用先前的积累知识准确实现这一点。受到人类认知的启发,少样本学习(Li et al. (2023b)旨在使深度模型具备从少量标记数据中学习新概念的能力,并已成功应用于各种计算机视觉任务。本研究旨在解决少样本图像分类问题。
从三个不同的角度,研究人员深入研究了少样本分类,即基于优化的方法(Finn, Abbeel, & Levine (2017); Huisman, Plaat, & van Rijn (2024); Lee, Maji, Ravichandran, & Soatto (2019);基于度量学习的方法(Fei, Lu, Xiang, & Huang (2020); Guo et al. (2022); Lee & Chung (2021); Simon, Koniusz, Nock, & Harandi (2020); Vinyals, Blundell, Lillicrap, Wierstra et al. (2016);以及基于数据增强方法(B?r, Houlsby, Dehghani, & Kumar (2024))。具体来说,第一个分支是利用设计的元学习器来为少样本分类器学习良好的模型初始化,并利用梯度更新步骤将这些学习到的参数适应于新类别。第二个分支继承了度量学习的核心思想(Zhang, Zhao, Chen, Lu, & Cheung (2025),以解决少样本分类问题,即同一类的样本比不同类的样本更相似。这些方法侧重于学习与任务无关的特征嵌入,并在学习的度量空间中进行相似性比较。此外,第三个分支直接应用数据增强来增加标记样本的数量或将额外的先验知识转移到新的分类场景中。在这项工作中,我们遵循第二个分支来进行少样本分类。
对于基于度量的方法,有两个关键组件支撑着少样本分类的执行,即用于表示学习的特征提取器和用于相似性比较的度量模块。与一般的图像分类神经网络模型一致,特征提取器将支持和查询样本转换为特征表示。它们不使用参数化的分类器头,而是采用类不可知的度量模块,通过生成的支持表示上的决策边界来确定查询的类别成员身份。常见的非参数度量已被相继引入来测量配对特征表示之间的距离,例如余弦距离(Vinyals et al. (2016)和欧几里得距离(Snell, Swersky, & Zemel (2017))。通常,这些方法使用全局平均池化来获得图像级的表示。然而,在少样本学习的低数据情况下,这样的操作会在特征提取过程中丢弃重要的空间细节。
为了避免这个问题,最近的研究集中在消除最后一个全局平均池化层,以保留作为图像表示的密集特征,这可以视为一组深度局部特征。其中,Snell et al. (2017); Sung et al. (2018) 提出将特征图展平为一个长的向量,这保留了空间细节,但引入了每个局部特征的无用位置编码。Wertheimer et al. (2021) 将类别成员身份视为重建特征图的问题,这允许使用任何位置的局部特征进行重建,从而明确放弃了烦人的位置信息。因此,最近的基于度量的方法利用从特征提取器获得的一整套密集特征,通过不同的设计来探索查询样本与每个支持类别之间的语义对应关系。
然而,在整个密集表示集中存在某些背景杂乱或无用的局部特征,这些特征会将冗余和误导性的信息引入后续的分类过程。具体来说,计算查询样本与支持类表示之间每对局部特征的 distance 以获得相似性分数。这忽略了并非所有密集特征都具有信息性的直觉,在少样本分类中,不太相关的背景特征应该比具有区分性的目标特征不那么重要。为了解决这个问题,Li et al. (2019) 提出以朴素贝叶斯的方式在密集特征上搜索 k 个最近邻居来反映图像级的距离。此外,Liu et al. (2022b) 引入了互最近邻算法来选择与任务相关和具有区分性的局部特征进行后续分类。这些方法通过特征选择减轻了无用特征对分类的影响,但这需要对所选局部特征的区分性进行保证,而且最近邻选择过程可能耗时。相比之下,我们采用了特征融合的视角:我们不是对所有局部描述符进行密集匹配或明确选择其中的一个子集,而是训练模型自适应地将密集特征聚合成简化的基于组的表示,用于少样本分类。受到深度度量学习中分组思想的启发(Xu, Wang, Deng, Yuan, & Ji (2022),我们鼓励每个组作为一个可学习的语义组件,关注图像的特定区域,从而利用表示的层次结构。通过这种方式,学习到的基于组的特征为后续的基于组的度量学习提供了紧凑的基础。
在这项工作中,我们提出了一个基于度量的新框架,用于少样本分类,采用基于组的注意力学习。核心是从支持和查询样本的密集特征中自适应地学习基于组的表示,从而促进查询样本的有效推理。具体来说,我们首先使用基于 CNN 的特征提取器获得所有输入的基表示,这些表示由密集特征组成。然后应用基于组的注意力模块来捕获不同的语义区域,并融合不同的局部特征以生成相应的基于组的表示。该模块同时用于支持类和查询样本。因此,后续的分类在组级别进行。提出了基于组的度量模块,根据与计算出的基于组的原型之间的距离来确定每个查询的类别成员身份。
我们总结这项工作的主要贡献如下:
•我们提出了一个实例级的基于组的注意力模块,从特征融合的角度出发,自适应地将密集的局部描述符聚合成简化的基于组的表示,用于支持和查询图像。据我们所知,这是首次尝试在少样本图像分类中使用分组来处理密集的局部特征。
•基于基于组的表示,我们设计了一个轻量级的基于组的度量模块,通过聚合每个查询与其每个类的基于组的原型之间的距离来确定其类别成员身份。这样,相似性比较在组级别进行,而不是在所有密集的空间位置上进行,从而简化了度量公式。
•我们进一步在每个图像的组特征上引入了一个多样性导向的辅助损失,这鼓励不同的组关注互补的语义区域。这个损失在理论上补充了交叉熵目标,并在实证上提高了学习到的基于组的表示的区分能力。
•在六个流行的少样本分类基准数据集上的广泛实验表明,我们的方法在 1-shot 和 5-shot 学习设置中都优于基线模型,取得了出色的分类性能。