《Pattern Recognition》：Reciprocal multi-scale fusion and contrastive learning for multi-label image classification
编辑推荐：
•提出了RMS-DMT，这是一个统一的框架，用于鲁棒的多标签图像分类。•设计了互惠多尺度（RMS）融合机制，以弥合不同尺度之间的语义差距。•开发了动态图卷积网络，用于图像适应性标签推理。•引入了多标签对比损失，以提高特征的可区分度。•在MS-COCO、VOC 2007和NUS-W
- •
提出了RMS-DMT，这是一个统一的框架，用于鲁棒的多标签图像分类。
- •
设计了互惠多尺度（RMS）融合机制，以弥合不同尺度之间的语义差距。
- •
开发了动态图卷积网络，用于图像适应性标签推理。
- •
引入了多标签对比损失，以提高特征的可区分度。
- •
在MS-COCO、VOC 2007和NUS-WIDE数据集上获得了最先进的性能。
引言
预测给定图像的一组标签的任务，称为多标签图像分类（MLIC），是计算机视觉领域一个基础且广泛研究的问题[1]、[2]、[3]。与单标签分类不同，单标签分类中图像通常只描绘一个主要对象，而MLIC必须处理包含多个不同尺度对象的复杂场景，以及标签之间的复杂语义依赖关系[4]。这些挑战使得MLIC成为现实世界视觉系统中的重要任务，它支持了广泛的应用，包括基于内容的图像标注[5]、场景识别[6]、医学图像分析[7]和遥感解释[8]。
随着深度卷积神经网络的进步[9]，多标签图像分类取得了显著进展。早期方法将这个问题视为一系列独立的二元分类子任务，分别预测每个标签[10]、[11]。然而，由于忽略了对象之间的语义相关性，这些方法的性能受到了根本限制。为了解决这个问题，后续研究探索了概率图模型和循环神经网络（RNN）来建模标签依赖关系[12]。尽管如此，概率图模型计算复杂且可扩展性差，而基于RNN的方法对预设的标签预测顺序敏感，这可能会扭曲真实的语义关系。最近，一个主要的研究方向是明确建模标签之间的关系[13]。例如，ML-GCN[13]使用图卷积网络（GCN）[14]在标签节点之间传播信息，其中图结构是根据数据集级别的标签共现统计构建的。这种范式提高了性能，并激发了许多后续研究。然而，这类基于图的方法不仅依赖于准确反映标签依赖关系的邻接矩阵，还受到标签节点嵌入表示能力的限制。
在语义区域挖掘方面，早期方法要么利用对象定位技术，要么采用视觉注意力网络来突出相关图像区域[15]、[16]、[17]。然而，基于定位的方法通常需要额外的边界框注释，并且涉及搜索大量的无关类别和冗余的区域提案。同时，缺乏来自类别标签的明确语义指导的通用视觉注意力机制往往无法准确识别具有区分性的对象区域。最近的进展，如SSGRL[18]，结合了类别语义来指导通过双线性注意力从视觉特征中学习特定于语义的特征，而Query2Label[19]利用可学习的标签嵌入作为查询，通过Transformer交叉注意力机制提取特定于类别的表示。虽然有效，但这些方法仅依赖于分类损失，忽略了样本间的语义关系，导致类别嵌入模糊且区分度低。
此外，大多数现有的多标签图像分类方法仅处理高级特征[20]，虽然这些特征在语义上很丰富，但不可避免地会丢失细粒度的空间细节。因此，它们难以识别小尺度对象。为了解决这个问题，像DATran[21]和TPANet[22]这样的方法融合了来自不同网络层的特征，以利用多尺度信息。然而，这些方法[21]、[22]、[23]通常采用交叉注意力、简单加法或连接来实现层次间的交互。这样的策略往往忽略了来自不同尺度特征的固有分布差异，未能充分利用它们的互补关系，可能产生不可靠的融合表示。因此，在这项工作中，我们旨在通过以下三点解决先前方法的三个关键限制：（1）通过互惠注意力建模多尺度交互，以改善小对象识别；（2）学习动态的、内容感知的标签图，以捕捉输入自适应的类别依赖关系；（3）通过多标签对比学习提高特定于语义的嵌入的特征可区分度。
在本文中，我们提出了互惠多尺度动态多标签变换器（RMS-DMT），这是一个统一的架构，它集成了互惠多尺度视觉融合、动态类别图推理、特定于语义的Transformer解码和多标签对比学习，用于鲁棒的多标签图像分类。具体来说，我们首先设计了一个互惠多尺度（RMS）模块，用一种新的注意力机制替换了传统的特征融合。与标准的交叉注意力不同，后者直接在特征空间计算层次间的亲和力，并且经常受到高低层次特征分布差异的阻碍，RMS基于层次内亲和力矩阵构建跨尺度交互。由于这些亲和力捕捉了每个尺度内的一致性标记关系，RMS自然地减轻了跨尺度差异，使细粒度的低级细节能够与高级语义相结合。其次，我们采用由可学习的标签嵌入引导的Transformer解码器来生成特定于语义的特征表示。在这些表示的基础上，我们引入了一个多标签对比损失，它在图像间操作，将同一类别的正例拉在一起，同时将不同类别的特征分开。这种解码和对比学习的联合设计明确提高了特征空间中特定于类别的嵌入的可区分度。最后，为了捕捉图像依赖的标签依赖关系，我们采用了动态图卷积网络，该网络根据输入特征构建了特定于样本的邻接矩阵，从而克服了基于静态共现图的刚性。在MS-COCO 2014[24]、PASCAL VOC 2007[25]和NUS-WIDE[26]数据集上的广泛实验表明，我们提出的RMS-DMT模型一致性地优于现有的最先进方法。
我们的主要贡献总结如下：
- •
我们提出了一个互惠多尺度（RMS）融合模块，实现了高级特征和低级特征之间的双向、亲和力驱动的交互，有效弥合了不同尺度之间的语义和空间差距，提高了小对象识别能力。
- •
我们开发了一个动态图卷积网络（DGCN），它根据特定于语义的嵌入构建图像适应性标签图，超越了静态共现先验，捕捉了上下文敏感的类别依赖关系。
- •
我们设计了一个针对Transformer派生类别嵌入的多标签对比学习目标，通过明确建模样本间的语义一致性和类别间分离来提高特征的可区分度。
- •
在三个基准数据集上的广泛实验验证了RMS-DMT取得了新的最先进性能，证明了每个提出组件的有效性和整体架构的有效性。
章节片段
具有标签依赖关系的多标签分类
多标签图像分类为单个图像分配多个语义标签，其性能在很大程度上取决于标签间关系的建模。早期方法为每个类别训练独立的二元分类器[10]、[11]，忽略了标签相关性，并且当标签组合迅速增加时表现能力有限。为了纳入依赖关系，CNN-RNN[12]及其变体以序列方式对标签进行建模。然而，序列解码会
方法
在本节中，我们介绍了RMS-DMT（互惠多尺度动态多标签变换器），这是一个用于多标签图像分类（MLIC）的统一框架。如图1所示，RMS-DMT由三个核心组成部分构成：（1）一个互惠多尺度（RMS）融合模块，实现层次视觉特征之间的双向交互；（2）一个基于Transformer解码器的特定于语义的表示（SSR）模块，用于生成类别感知的嵌入；（3）一个动态
实验
在本节中，我们首先描述了评估指标和实现细节。然后，我们报告了在三个基准多标签图像识别数据集上的实验结果，即MS-COCO 2014[24]、Pascal VOC 2007[25]和NUS-WIDE[26]。最后，展示了可视化分析。
结论
这项工作解决了在具有不同对象尺度和复杂语义依赖关系的复杂场景中进行多标签图像分类的挑战。为了克服跨尺度固有的语义差距和静态标签先验的刚性，我们提出了RMS-DMT框架，它联合优化了亲和力驱动的跨尺度交互和实例自适应的标签推理。通过将跨尺度通信从直接的特征匹配转变为关系度量对齐，
CRediT作者贡献声明
Boyu Fan：撰写——原始草稿、可视化、方法论、概念化。Quanxue Gao：撰写——审阅与编辑、验证、监督、资源、调查、概念化。Yu Duan：监督、方法论、数据整理。Xinbo Gao：监督、调查。Ming Yang：监督。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
作者感谢匿名审稿人和编辑们的建设性评论和建议。本工作得到了中国国家自然科学基金（项目编号：62576263）、陕西省自然科学基础研究计划（项目编号：2025JC-QYCX-051）和陕西省数学与物理基础科学研究项目（项目编号：25JSZ008）的支持。
Boyu Fan|Quanxue Gao|Yu Duan|Xinbo Gao|Ming Yang
