M2FRe-LDF：多尺度模内特征精细化与局部可变形卷积融合方法，用于多光谱目标检测

《Journal of Visual Communication and Image Representation》：M2FRe-LDF: Multiscale intra-Modality Feature Refinement and Local Deformable convolution Fusion For multispectral object detection

　　

• •
  提出了一种新颖的M²FRe-LDF架构，旨在显著增强模态内特征表示，并促进模态间信息交互，有效缓解模态失配问题。
• •
  M²FRe模块动态评估通道维度上模态内特征的重要性，并放大会这些特征的关键表示。
• •
  LDF模块利用DCNv3在长距离依赖建模方面的优越能力，全面促进模态间信息交互。
• •
  在LLVIP、FLIR和M3FD数据集上的广泛实验表明，该方法在缓解模态失配问题方面具有卓越的有效性和鲁棒性。

引言

近年来，多源数据处理和跨模态特征交互技术的进步在多个应用领域[2]、[3]、[4]取得了显著进展。其中，多光谱物体检测在自动驾驶[5]和实时视频监控[6]等应用中得到了广泛应用，因为它具有显著的性能优势。传统的基于RGB图像的检测方法在低光照、雨天或雾天等恶劣条件下经常出现严重的性能下降。相比之下，红外图像对这些环境因素的适应能力更强，提供了更可靠的检测性能。因此，大量研究致力于融合RGB和红外图像的双模态优势，以开发出具有环境鲁棒性的物体检测器。具体来说，RGB图像在充足光照条件下提供了物体的详细颜色和纹理信息，而红外图像在低光照条件下能有效捕捉物体轮廓。通过完全整合这些互补信息，可以显著提高跨模态物体检测模型的鲁棒性和准确性。

先前的研究[8]已经证明，中间融合始终优于早期融合和晚期融合。因此，许多研究[9]、[10]、[11]专注于设计复杂的融合架构，以提取更强大的特征，从而提高多模态融合的准确性。例如，CFT[12]利用自注意力机制的全局上下文捕获能力，通过堆叠的Transformer块实现跨模态互补性。IGT[13]将光照条件视为影响融合效果的关键因素，引入光照引导的加权机制来规范和融合多光谱特征。ICAfusion[14]提出迭代跨注意力机制，以优化特征融合以提高性能。TFDet[15]采用“融合-增强”范式，通过噪声抑制来处理多光谱频域噪声带来的不确定性。TriPINet[16]引入了引导式跨模态双注意力模块和渐进式集成策略，有效融合视觉和法医特征，用于图像操作定位。尽管取得了这些令人鼓舞的进展，现有方法主要集中在融合互补的RGB-IR特征上，而忽视了模态内特征表示的不足和模态间信息交互的不足。这导致了一个不合理但持久的现象：在单模态设置下正确检测到的物体在跨模态检测任务中时常被遗漏，最终导致模型性能下降——这种现象被称为模态失配[17]。如图1(a)所示，跨模态检测模型在特征融合过程中未能识别物体。此外，图1(b)表明，某些跨模态模型的性能不如其单模态对应模型。这种现象的出现对多光谱信息互补增强模型的性能理论产生了巨大影响。我们认为，模态内特征表示不足和模态间信息互动不足阻碍了最佳融合效果，甚至导致性能退化。

为了解决上述挑战，我们提出了一种新颖且有效的方法：多尺度特征细化和局部可变形卷积融合（M²FRe-LDF），以缓解模态失配现象。具体而言，M²FRe模块动态评估输入特征在通道维度上的重要性，从而显著增强关键信息的表示。LDF模块利用DCNv3（可变形卷积v3）[18]从全局角度全面挖掘互补信息，有效促进模态间信息交互和自适应融合，从而显著提升模型性能和鲁棒性。

我们的主要贡献如下：

• •
  我们提出了多尺度模态内特征细化和局部可变形卷积融合（M²FRe-LDF），这是一种旨在显著增强模态内特征表示并充分催化模态间信息交互的新架构，有效缓解模态失配问题。
• •
  我们设计了两个协同工作的模块：M²FRe模块动态评估通道维度上模态内特征的重要性，并放大会这些特征的关键表示。同时，LDF模块利用DCNv3在长距离依赖建模方面的优越能力，全面促进模态间信息交互。
• •
  在LLVIP[19]、FLIR[20]和M3FD[21]三个公共数据集上的广泛实验验证了我们的方法的有效性和鲁棒性，以及其在缓解模态失配问题方面的效果。

章节摘要

模态失配

与普遍认为的多模态学习应本质上提升单模态性能的假设相反，最近的研究经常记录到性能下降的反常情况。值得注意的是，多模态融合中的性能下降并非个例或偶然现象，多项研究明确记录了这一现象[22]、[23]、[24]。Wang等人[25]观察到，在包括Audio-RGB、RGB-Optical Flow和Audio-Optical在内的多模态分类模型中

框架概述

为了验证我们提出的M²FRe-LDF模块的有效性，我们扩展了YOLOv5的框架。具体来说，我们的主干网络是基于YOLOv5的双流架构，在其中嵌入了M²FRe-LDF模块，以促进模态间的信息交互，如图2(a)所示。有关M²FRe和LDF的详细信息，请参见图2(b)和图2(c)。M²FRe模块用于细化特征表示，LDF模块用于信息交互。

实施细节

训练细节：我们使用了随机梯度下降（SGD）优化器，初始学习率为1e-2，动量为0.937，权重衰减为0.0005。所有模型在单个NVIDIA GeForce RTX 4070 Super GPU上进行了150个周期的训练，批量大小为4。为了获得更好的性能，我们使用了在COCO数据集[46]上预训练的YOLOv5模型作为初始权重。在数据增强方面，我们应用了Mosaic方法[47]，该方法将四张训练图像合并成

结论

在本文中，我们提出了一种新颖且高效的跨模态特征融合方法，称为多尺度模态内特征细化和局部可变形卷积融合，旨在解决跨模态特征融合中的模态失配问题。值得注意的是，我们通过加强模态内的特征表示和挖掘更全面的互补信息，观察到模态失配现象仍然存在

CRediT作者贡献声明

俞亚楠：撰写——审阅与编辑，撰写——初稿，方法论，数据整理。张峥：撰写——审阅与编辑，验证，监督，方法论。宋志明：项目管理。欧馨宇：项目管理，方法论，调查，资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了国家自然科学基金（项目编号：62462065）、教育部人文社会科学基金（项目编号：25YJCZH220）以及云南财经大学“云学者”人才计划（项目编号：2024D45）的支持。

俞亚楠|张峥|宋志明|欧馨宇