用于细粒度视觉分类的多阶段自适应特征聚合

《Image and Vision Computing》：Multi-stage adaptive feature aggregation for fine-grained visual classification

　　

• •
  我们提出了一种面向细粒度视觉分类（FGVC）的多阶段自适应特征聚合方法。
• •
  SAS将高分辨率细节特征与低分辨率语义特征相结合。
• •
  MWA模块通过不同尺度的注意力增强高级特征。
• •
  FSA利用不同尺度的采样信息补充细节特征。

引言

细粒度视觉分类（FGVC）[1]，[2]旨在区分属于同一父类别的视觉相似子类别，例如不同种类的鸟类、犬种或汽车型号。该任务对于生物多样性监测、商业场景、安全监控等至关重要。尽管其意义重大，FGVC仍是一个极具挑战性的问题。主要难点在于，子类别之间的差异通常存在于细微的局部信息中（如鸟类喙部纹理或花瓣斑点排列），而全局特征（如整体形状或轮廓）在子类别之间往往高度相似[3]。此外，由于成像条件的影响，包括遮挡、光照变化、姿态多样性以及复杂背景干扰，同一子类别内的样本经常表现出显著差异。这些因素大大增加了类内变异。因此，有效的细粒度分类模型必须能够利用具有判别力的部件级特征，同时抑制背景噪声，以学习鲁棒且具有区分力的特征表示。

为应对上述挑战，现有研究主要在两个方向展开：一组方法[4]，[5]依赖于显著区域检测和判别性部件学习，通过显式或隐式地对关键区域（如鸟类头部或翅膀）进行建模来增强模型感知细微差异的能力；另一组方法[6]，[7]，[8]，[9]，[10]则尝试利用多层特征融合、注意力机制或图结构建模来增强特征表达的判别力。近期研究还探索了基于注意力的特征交互以用于视觉识别和显著目标检测[11]。尽管这些方法取得了令人瞩目的性能，但仍存在若干固有局限。传统的基于部件的方法通常依赖于判别性区域定位或部件检测，这可能引入对定位精度的额外依赖，并且难以应对复杂背景或较大外观变化。基于Transformer的方法通过自注意力机制建模长程依赖来缓解这一问题，但原生自注意力带来了较高的计算开销，而基于窗口的Transformer以受限的感受野为代价提升了效率。可变形注意力通过自适应采样信息区域来缓解此问题，但稀疏采样策略可能忽略多尺度之间密集的上下文关系。同时，现有的多尺度特征融合方法主要通过固定聚合策略组合不同分辨率的特征，无法动态选择与任务相关的信息。因此，有效整合局部判别细节、全局语义上下文和自适应尺度信息仍然是FGVC的开放挑战。

上述局限表明，FGVC的关键挑战不在于简单地提取更多特征，而在于确定应强调哪些空间区域、应在何种空间尺度上建模以及不同尺度的信息应如何有效聚合。一方面，细粒度识别要求模型保留细微的部件级细节，如鸟类头部的形状或汽车格栅的结构。另一方面，这些局部线索在单独考虑时可能产生歧义，因此需要在更广泛的语义上下文中进行解释。与此同时，无关背景和较大的类内变异使得固定特征聚合不够可靠。因此，有效的FGVC模型应能动态选择具有信息量的空间特征，建立不同感受野之间的交互，并将局部判别性部件与全局上下文信息进行聚合。这促使我们开发一种多阶段自适应特征聚合框架，逐步解决上述三个方面。

为应对这些挑战，我们提出了一种面向FGVC的多阶段自适应特征聚合（MAFA）框架，如图1所示。其核心思想是逐步回答关注何处、在何种尺度上交互以及如何聚合互补信息这三个问题。首先，使用Swin Transformer提取多阶段特征，尺度自适应选择（SAS）模块通过结合横向连接、自适应上/下采样、空间稀疏卷积和空间门控激活来自适应选择具有信息量的空间特征。这使得网络能够强调判别性区域，同时抑制无关背景响应。其次，混合窗口注意力（MWA）模块通过分组多头注意力、多尺度K/V标记合并和同步Q窗口扩展引入互补感受野，使高级特征能够同时捕获局部细节和更广泛的上下文依赖。最后，特征采样聚合（FSA）模块将判别性部件采样与局部-全局软聚合调度相结合，使具有信息量的部件特征能够与上下文信息进行自适应聚合。通过这种设计，MAFA同时解决了空间选择、感受野多样性和特征聚合问题，从而在提高细微类间差异表示能力的同时，减少类内变异和背景噪声的影响。实验结果表明，MAFA在多个FGVC数据集上取得了显著的性能提升，消融实验和可视化分析进一步验证了每个组件的有效性。

本文的主要贡献总结如下：

• •
  所提出的多阶段自适应特征聚合方法旨在充分探索图像块之间的空间关系以及图像对之间的特征交互。
• •
  一种新颖的尺度自适应选择策略通过横向连接和自适应上下采样有效结合高分辨率细微信息与低分辨率语义特征，动态分配像素级区域，全面融合不同尺度的特征。
• •
  混合窗口注意力模块通过不同尺度的注意力增强高级特征，克服了局部窗口注意力感受野有限的问题，提高了全局信息建模能力。
• •
  特征采样聚合模块利用部件特征采样和局部-全局软聚合调度，以不同尺度的局部采样信息补充高级特征的细节信息，形成"局部-全局"互补性，增强特征判别力并减少背景干扰。

章节摘要

相关工作

基于部件定位的方法[4]，[12]，[13]通常采用目标检测技术来定位图像中的语义部件。例如，Fu等人[14]提出了RA-CNN，采用迭代学习策略来估计最具区分性图像区域的中心位置。Zhu等人[15]提出使用Gabor滤波器从图像中定位并裁剪矩形区域以提取纹理特征，随后使用统计特征过滤无效区域。

概述

整体框架由四个主要组件组成：尺度自适应选择策略、特征采样聚合、分类和最终预测。给定一张输入图像，首先使用基于Swin Transformer的主干网络提取层次化特征。这些特征随后由尺度自适应选择策略进行融合，该策略通过横向连接和自适应将语义丰富的低分辨率特征与保留细节的高分辨率特征进行整合。

数据集

为评估所提方法的有效性，我们在四个广泛使用的FGVC数据集上进行了实验，这些数据集可作为性能比较的有力基准。表1总结了这四个数据集的相关统计信息，如类别数量和训练/测试数据分布。

实现细节

所有实验均使用在ImageNet上预训练的Swin-B作为主干网络。输入图像被调整大小为512×512，训练期间进行随机裁剪和翻转，验证/测试时进行中心裁剪。

结论

本文提出了一种面向细粒度视觉分类的多阶段自适应特征聚合（MAFA）框架。与现有主要关注孤立注意力增强或判别性区域定位的方法不同，MAFA通过综合考虑多尺度信息交互、感受野扩展和局部-全局语义互补性，提供了一种全面的特征聚合策略。具体而言，尺度自适应选择策略动态地。

CRediT作者贡献声明

邝文兰：撰写-初稿、可视化、验证、软件、方法论。李治信：撰写-审阅与编辑、验证、监督、资源、项目管理、调研、资金获取。

利益冲突声明

作者声明不存在任何可能影响本文所报告工作的已知竞争性财务利益或个人关系。

致谢

本工作得到国家自然科学基金（编号：62276073）、广西自然科学基金（编号：2026GXNSFAA00641057）和湖南省教育厅科学研究项目（编号：25B1195）的资助。

邝文兰|李治信