基于注意力裁剪混合与跨区域对比的多阶段细粒度视觉分类方法

《Pattern Recognition》：Multi-stage fine-grained vision classification method via attentional crop-mixing and cross-region contrast

　　•我们通过自适应注意力引导来分离前景与背景。•我们利用跨区域对比度降低背景干扰和类别混淆。•我们采用跨样本重组方法增强每批数据中的判别性区域。•我们聚合多级类别标记以获得互补的语义信息。•我们在FGVC基准测试中实现了基于ViT的最先进性能。

引言
细粒度视觉分类（FGVC）旨在识别具有细微差异的子类别，如鸟类、狗、飞机等。然而，如图1所示，由于类内差异较大而类间差异较小，这一任务极具挑战性。随着卷积神经网络（CNN）的发展，大多数现有方法通过学习判别性特征取得了令人满意的结果。但是，基于CNN的[1]、[2]、[3]、[4]等方法已面临瓶颈。其主要局限在于虽然擅长提取空间判别信息，却缺乏建模这些特征之间长距离依赖关系的机制。自注意力机制在建立空间特征之间的上下文关系方面表现优异。受自然语言处理（NLP）的启发，视觉变换器（ViTs）[5]被引入计算机视觉领域，在捕捉全局语义依赖关系方面取得了显著成功。然而，将ViT应用于FGVC任务时仍有一些问题需要进一步考虑。首先，ViT对输入图像中的背景图像块进行处理时一视同仁，这不仅会引入噪声并增加计算负荷，尤其是在目标较小或背景复杂的场景中，背景的主导作用会严重削弱模型捕捉细节差异的能力。其次，复杂的背景和局部视觉噪声可能会增加模型对无关区域的敏感度，使得强大的细粒度表示学习更加困难。近期的FGVC研究试图通过前景感知定位[1]、[6]、局部特征选择[7]以及对比特征解耦[8]来解决这一问题。噪声敏感性使得模型难以从有限且变化多端的样本中学习出具有泛化能力的特征表示，因此稳健性问题愈发突出。最后，传统的ViT[9]仅依赖最后一层的类别标记进行分类，忽略了不同层级类别标记的互补信息，从而导致特征表示的信息丢失。

本文提出了MACR，一种用于细粒度视觉分类的端到端多阶段训练框架。在第一阶段，MACR通过分层骨干网络的注意力机制构建全局注意力图，以识别判别性区域并提取多尺度视觉线索。在第二阶段，利用该注意力图自适应地分离前景与背景区域。然后将裁剪后的前景和背景图像输入骨干网络，通过对比增强后的前景特征与背景特征，扩大类间差距并减少背景干扰。生成的前景图像还提供了明确的结构先验，引导模型聚焦于具有判别性的物体区域。在第三阶段，MACR重新利用注意力图进行跨样本判别性区域重组，用同一批次中其他样本的高响应区域替换低响应区域，从而生成混合图像和软标签。第二阶段和第三阶段作为互补的增强策略，提升了模型的泛化能力以及对细粒度判别线索的敏感度。此外，MACR还整合了不同层级的类别标记，以捕捉互补的语义信息并构建分层特征表示。在多种常用的FGVC基准测试上的广泛实验表明，MACR在基于ViT的方法中取得了最先进的性能。

总之，本研究的主要贡献如下：
•我们提出了一个自适应前景背景分离模块，生成的前景图像提供了明确的结构先验，引导模型关注具有判别性的区域。
•我们引入了一种前景背景对比学习方法，有效扩大了特征间距，减少了类别混淆。
•我们提出了一种新的数据增强方法——跨样本混合重组。通过在同一批次内的样本之间进行判别性区域混合与重组，利用图像对之间的差异提升了模型的泛化性能。
•我们提出了一个多级标记协同模块，通过聚合多级别的类别标记，实现了细粒度特征的互补表示。
•我们在三种常用的细粒度图像数据集上进行了大量实验，结果表明MACR在这些细粒度任务中取得了最先进的性能。

本文的结构如下：第2节介绍当前的研究现状；第3节详细阐述所提出的方法；第4节展示实验结果及相应分析；第5节总结我们的工作。

方法部分
基于卷积神经网络的方法
作为FGVC领域的主流方法，基于位置识别的方法通常首先定位关键组件，然后根据可区分的特征对其进行分割。WSCPM [10]使用类别激活图（CAM）和条件随机场（CRF）进行图像分割和目标定位，随后采用改进方法定位目标组件，并使用双向长短期记忆网络（LSTM）进行分类。这类方法依赖于额外的监督信息来获得更好的效果。

本文方法
在本节中，我们首先介绍所提出的MACR的整体框架和详细流程。接着，详细阐述各个模块的功能。最后，解释该模型的合理性以及如何将其应用于FGVC任务。

实验部分
在本节中，我们首先介绍实验设置，包括数据集和实现细节。然后，进行定量分析，通过消融实验探讨模型的稳健性，最后通过定性分析和可视化结果验证MACR的可解释性。

结论
本文分析了现有方法的局限性，提出了一种创新的端到端多阶段训练框架MACR，并介绍了三个新型模块。具体而言，AFBS模块利用骨干网络各层的注意力信息构建全局注意力图，通过自适应阈值精确定位并裁剪前景区域，再通过遮蔽前景生成对应的背景图。CSHR模块则采用跨样本方法……

CRediT作者贡献声明
何慧明：写作——审阅与编辑，写作——初稿，可视化，验证，项目管理，方法论，研究，形式分析，数据整理，概念设计。杨洪举：监督，软件，资源，方法论，资金获取，形式分析，概念设计。李瑶：可视化，验证，监督，研究，数据整理，概念设计。曹富源：软件，资源，研究，资金获取，形式分析。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢
本研究得到了中国国家自然科学基金（编号62376145）、山西省自然科学基金（编号202303021211024）以及中国国家自然科学基金重点项目（编号U24A20323）的支持。

何慧明|杨洪举|李瑶|曹富源