用于少样本图像分类的高效群体注意力学习方法

《Expert Systems with Applications》:Efficient Group Attentive Learning for Few-Shot Image Classification

【字体: 大 中 小 】 时间:2026年01月18日 来源:Expert Systems with Applications 7.5

编辑推荐:

  本文提出基于组注意力学习的少数样本分类框架,通过自适应融合密集特征生成简化的组表示,并设计组级度量模块和多样性辅助损失,有效提升分类性能。实验表明该方法在六个基准数据集上优于现有方法,尤其在细粒度分类中效果显著。

  
Jiaxing Sun|Keju Huang|Dujia Yang|Hui Liu
中国长沙国防科技大学电子工程学院

摘要

少样本图像分类是一项具有挑战性的任务,它要求仅通过少量样本就能识别出新类别。一个有前景的方向是学习支持和查询样本的深度表示,以便进行相似性比较。为了应对少样本场景下表示和度量的有限学习能力,最近的研究集中在利用密集的局部特征,而不是混合的全局向量来表示图像在潜在空间中的状态。通常,这些方法直接使用从主干网络中提取的密集特征来探索查询样本与每个支持类别之间的语义对应关系,这会将某些局部特征的冗余信息引入推理过程。在这项工作中,我们提出构建简化的基于组的表示,以适应性地增强特征学习的语义层次结构。具体来说,我们通过一个可学习的自注意力机制将每个样本的密集特征转换为基于组的表示。这一过程使得密集特征变得简洁且易于理解。因此,我们基于基于组的相似性进行了简化的少样本分类。我们在六个广泛使用的少样本基准数据集上进行了大量实验,涵盖了5-way 1-shot和5-way 5-shot场景。实验结果表明,所提出的方法通过一种新颖的分组方法取得了优异的性能。

引言

在计算机视觉的各个领域,深度学习在大量标记数据的支持下取得了显著的进展,例如语义分割(Sheng, Zhu, Jin, & Yin (2025))、视觉识别(Li et al. (2025a)和对象检测(Qu, Yang, & Xia (2025))。然而,由于巨大的劳动力成本或在某些实际场景中的不可获取性,数据注释变得非常困难。因此,使深度模型能够从少量标记数据中学习对于现实世界应用来说非常紧迫且有益。人类可以利用先前的积累知识准确实现这一点。受到人类认知的启发,少样本学习(Li et al. (2023b)旨在使深度模型具备从少量标记数据中学习新概念的能力,并已成功应用于各种计算机视觉任务。本研究旨在解决少样本图像分类问题。
从三个不同的角度,研究人员深入研究了少样本分类,即基于优化的方法(Finn, Abbeel, & Levine (2017); Huisman, Plaat, & van Rijn (2024); Lee, Maji, Ravichandran, & Soatto (2019);基于度量学习的方法(Fei, Lu, Xiang, & Huang (2020); Guo et al. (2022); Lee & Chung (2021); Simon, Koniusz, Nock, & Harandi (2020); Vinyals, Blundell, Lillicrap, Wierstra et al. (2016);以及基于数据增强方法(B?r, Houlsby, Dehghani, & Kumar (2024))。具体来说,第一个分支是利用设计的元学习器来为少样本分类器学习良好的模型初始化,并利用梯度更新步骤将这些学习到的参数适应于新类别。第二个分支继承了度量学习的核心思想(Zhang, Zhao, Chen, Lu, & Cheung (2025),以解决少样本分类问题,即同一类的样本比不同类的样本更相似。这些方法侧重于学习与任务无关的特征嵌入,并在学习的度量空间中进行相似性比较。此外,第三个分支直接应用数据增强来增加标记样本的数量或将额外的先验知识转移到新的分类场景中。在这项工作中,我们遵循第二个分支来进行少样本分类。
对于基于度量的方法,有两个关键组件支撑着少样本分类的执行,即用于表示学习的特征提取器和用于相似性比较的度量模块。与一般的图像分类神经网络模型一致,特征提取器将支持和查询样本转换为特征表示。它们不使用参数化的分类器头,而是采用类不可知的度量模块,通过生成的支持表示上的决策边界来确定查询的类别成员身份。常见的非参数度量已被相继引入来测量配对特征表示之间的距离,例如余弦距离(Vinyals et al. (2016)和欧几里得距离(Snell, Swersky, & Zemel (2017))。通常,这些方法使用全局平均池化来获得图像级的表示。然而,在少样本学习的低数据情况下,这样的操作会在特征提取过程中丢弃重要的空间细节。
为了避免这个问题,最近的研究集中在消除最后一个全局平均池化层,以保留作为图像表示的密集特征,这可以视为一组深度局部特征。其中,Snell et al. (2017); Sung et al. (2018) 提出将特征图展平为一个长的向量,这保留了空间细节,但引入了每个局部特征的无用位置编码。Wertheimer et al. (2021) 将类别成员身份视为重建特征图的问题,这允许使用任何位置的局部特征进行重建,从而明确放弃了烦人的位置信息。因此,最近的基于度量的方法利用从特征提取器获得的一整套密集特征,通过不同的设计来探索查询样本与每个支持类别之间的语义对应关系。
然而,在整个密集表示集中存在某些背景杂乱或无用的局部特征,这些特征会将冗余和误导性的信息引入后续的分类过程。具体来说,计算查询样本与支持类表示之间每对局部特征的 distance 以获得相似性分数。这忽略了并非所有密集特征都具有信息性的直觉,在少样本分类中,不太相关的背景特征应该比具有区分性的目标特征不那么重要。为了解决这个问题,Li et al. (2019) 提出以朴素贝叶斯的方式在密集特征上搜索 k 个最近邻居来反映图像级的距离。此外,Liu et al. (2022b) 引入了互最近邻算法来选择与任务相关和具有区分性的局部特征进行后续分类。这些方法通过特征选择减轻了无用特征对分类的影响,但这需要对所选局部特征的区分性进行保证,而且最近邻选择过程可能耗时。相比之下,我们采用了特征融合的视角:我们不是对所有局部描述符进行密集匹配或明确选择其中的一个子集,而是训练模型自适应地将密集特征聚合成简化的基于组的表示,用于少样本分类。受到深度度量学习中分组思想的启发(Xu, Wang, Deng, Yuan, & Ji (2022),我们鼓励每个组作为一个可学习的语义组件,关注图像的特定区域,从而利用表示的层次结构。通过这种方式,学习到的基于组的特征为后续的基于组的度量学习提供了紧凑的基础。
在这项工作中,我们提出了一个基于度量的新框架,用于少样本分类,采用基于组的注意力学习。核心是从支持和查询样本的密集特征中自适应地学习基于组的表示,从而促进查询样本的有效推理。具体来说,我们首先使用基于 CNN 的特征提取器获得所有输入的基表示,这些表示由密集特征组成。然后应用基于组的注意力模块来捕获不同的语义区域,并融合不同的局部特征以生成相应的基于组的表示。该模块同时用于支持类和查询样本。因此,后续的分类在组级别进行。提出了基于组的度量模块,根据与计算出的基于组的原型之间的距离来确定每个查询的类别成员身份。
我们总结这项工作的主要贡献如下:
  • •
    我们提出了一个实例级的基于组的注意力模块,从特征融合的角度出发,自适应地将密集的局部描述符聚合成简化的基于组的表示,用于支持和查询图像。据我们所知,这是首次尝试在少样本图像分类中使用分组来处理密集的局部特征。
  • •
    基于基于组的表示,我们设计了一个轻量级的基于组的度量模块,通过聚合每个查询与其每个类的基于组的原型之间的距离来确定其类别成员身份。这样,相似性比较在组级别进行,而不是在所有密集的空间位置上进行,从而简化了度量公式。
  • •
    我们进一步在每个图像的组特征上引入了一个多样性导向的辅助损失,这鼓励不同的组关注互补的语义区域。这个损失在理论上补充了交叉熵目标,并在实证上提高了学习到的基于组的表示的区分能力。
  • •
    在六个流行的少样本分类基准数据集上的广泛实验表明,我们的方法在 1-shot 和 5-shot 学习设置中都优于基线模型,取得了出色的分类性能。
  • 相关工作

    相关工作

    到目前为止,少样本学习已经得到了深入研究,各种前沿的少样本分类方法取得了显著进展。在这项工作中,简要回顾了少样本分类方法的三个主流分支。

    方法论

    在本节中,我们首先介绍少样本分类的问题定义,然后概述所提出的方法。接下来,我们阐述我们的核心思想,然后详细讨论基于组的注意力学习。最后,我们介绍了一个为少样本分类设计的基于组的度量模块,并介绍了模型训练的损失函数。

    数据集

    我们在六个流行的少样本分类基准数据集上评估了所提出的方法,这些数据集分为两类:通用和细粒度少样本数据集。下面给出了这六个数据集的详细信息。

    讨论

    总之,我们在两个通用和四个细粒度的少样本数据集上证明了所提出方法的有效性。对于前者,我们的方法在 5-way 1-shot 和 5-way 5-shot 设置中明显优于所有竞争者。对于细粒度的少样本数据集,在 5-way 1-shot 设置中,由于空间细节对基于组的注意力学习更有益,因此我们的方法表现出更好的优势。

    结论与未来工作

    在本文中,我们提出了一个基于度量的新框架,用于少样本图像分类,首次引入了分组的概念以促进简化和高效的推理。我们观察到,由主干网络提取的某些密集特征是无关的或烦人的背景杂乱,这会妨碍后续的分类。我们引入了一个基于组的注意力模块,以自适应地学习查询和支持样本的基于组的表示,将密集特征融合在一起

    CRediT 作者贡献声明

    Jiaxing Sun:概念化、方法论、软件、调查、写作 - 原始草稿;Keju Huang:形式分析、数据管理、写作 - 原始草稿;Dujia Yang:资源、可视化、调查、写作 - 审稿与编辑;Hui Liu:方法论、资源、写作 - 审稿与编辑、监督;

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号