基于混合级双输入Mamba融合的面向目标检测的可见光-红外遥感图像融合

《Pattern Recognition》：Visible–infrared remote sensing image fusion for object detection based on hybrid-level dual-input Mamba fusion

　　

• •
  一种用于鲁棒遥感检测的可见光-红外混合融合框架。
• •
  在空间域、频率域和状态空间中的自适应互补交互。
• •
  利用状态空间建模实现高效的长程跨模态表示。
• •
  在低光照、遮挡和背景杂乱条件下的稳定决策融合。

引言

遥感目标检测在智能交通、安防监控、灾害预警、军事侦察和无人平台感知等领域引起了越来越多的关注。在复杂环境中，检测系统不仅需要高精度，还需要对低光照、遮挡、雾霾、雨雪和背景杂乱具有强鲁棒性 [1]。现有方法 [2]、[3] 仍主要依赖可见光图像，而在夜间、背光 [4] 和恶劣天气条件 [5] 下，由于纹理丢失、对比度降低和物体边界模糊，其性能会大幅退化。相比之下，红外成像对光照变化的敏感度较低，能够提供相对稳定的物体位置和轮廓信息，尽管其空间分辨率和纹理表示能力有限 [6]。因此，可见光和红外模态的互补特性为复杂环境中的鲁棒目标检测提供了重要基础。

可见光-红外检测的关键不在于简单地引入额外模态，而在于保留互补信息的同时抑制冗余和冲突。现有方法通常分为像素级 [7]、特征级 [8] 和决策级融合 [9]。像素级方法专注于输入图像重建，特征级方法在潜在空间中建模跨模态交互，决策级方法聚合来自不同分支的预测证据。尽管这些方法旨在提高多模态信息利用，但单一层级的融合往往不足以同时实现可解释的信息选择、深度跨模态耦合以及融合增益向最终预测的可靠传递。

随着状态空间模型（SSMs）和 Mamba 架构 [10] 在视觉任务 [11]、[12] 中的发展，它们以线性计算复杂度建模长程依赖的能力为多模态表示学习提供了新范式 [13]。与卷积和自注意力不同，SSM 通过输入依赖的隐藏状态演化来描述特征传播，使其在理论上适合在统一潜在空间中建模跨模态交互 [14]。然而，直接将 Mamba 应用于多模态融合检测仍不够理想。一个主要局限是融合算子通常独立于后续的状态空间模型进行设计。首先，在预融合后，模态身份和模态特定可靠性难以显式保留，使得状态更新无法区分可见光纹理、红外热响应以及它们的一致或差异信息。其次，低质量模态特征、背景噪声和冲突响应可能在预融合期间被共同编码，并通过后续的二维选择性扫描进一步传播，从而削弱了有效的长程依赖建模。

针对这些局限，本研究聚焦于三个问题：如何在融合前识别具有互补价值的区域，如何使模态特定和交互信息共同驱动状态演化，以及如何可靠地将特征融合增益传递到最终检测结果。相应地，我们提出了一种混合级双输入 Mamba 融合框架（HDMF），用于可见光-红外遥感目标检测。在特征级，双分支 SimAM-小波注意力（DSWA）采用差异感知门控选择具有互补潜力的区域。它在小波域进一步增强可见光纹理和红外轮廓信息，同时抑制噪声放大和虚假响应传播。在跨模态融合过程中，二值融合 Mamba（BFMamba）将可见光、红外和交互特征作为独立驱动项引入状态方程，使跨模态融合直接参与隐藏状态演化和长程特征建模。在决策级，三分支感知决策融合头（TDFH）利用分支和光照先验整合可见光、红外和融合分支的预测，从而减少残余模态错位和不一致分支预测的影响。图 1 比较了不同模型在 Drone Vehicle 数据集上的 mAP@0.5 性能。HDMF 实现了优越的整体检测精度，并在多个物体类别上提升了性能。

本文的主要贡献总结如下：

• 1.
  我们开发了 HDMF，一个混合级可见光-红外检测框架，将选择性特征增强、状态空间融合和决策级聚合整合到统一流水线中。
• 2.
  我们引入了 DSWA，它应用差异感知门控来识别信息丰富的跨模态区域，并选择性地执行小波域互补增强，从而抑制冗余和噪声信息传递，同时提高融合可解释性。
• 3.
  我们引入了 BFMamba，它重新设计了传统的预融合单输入状态空间建模，将其转变为双模态多源驱动机制。可见光、红外和交互特征独立驱动状态演化，保留了模态特定信息，并实现了长程跨模态依赖建模。
• 4.
  我们设计了 TDFH，通过纳入分支先验、光照线索和跨分支一致性，对可见光、红外和融合分支的预测进行目标级融合，从而减少残余模态不匹配，提高检测鲁棒性。

章节片段

多模态目标检测

特征级融合已成为可见光-红外目标检测的主流范式，而像素级和决策级融合受到的关注相对较少。像素级方法主要从检测驱动的角度出发，通过引入元学习 [6]、联合优化 [7]、扩散建模 [18] 以及未配准场景下的一致性约束 [19] 来改进传统融合流水线。然而，它们仍然受到图像融合与检测之间差异的限制。

概述

我们构建了一个用于遥感图像中可见光-红外多模态车辆检测的双分支融合架构。如图 2 所示，HDMF 由可见光、红外和融合分支组成，包含三个组件：特征提取、使用 DSWA 和 BFMamba 进行特征融合，以及检测级决策融合。

给定一个配准图像对 $({\mathbf{I}}_{\mathrm{vis}},{\mathbf{I}}_{\mathrm{ir}})\in {\mathbb{R}}^{H\times W\times 3}$，模态特定嵌入层首先生成初始特征 $({\mathit{f}}_{\mathrm{vis}}^0,{\mathit{f}}_{\mathrm{ir}}^0)\in {\mathbb{R}}^{H\times W\times C}$。特征提取

数据集

我们主要在 Drone Vehicle 数据集 [16] 上进行实验，这是迄今为止最大的红外-可见光（IR-VIS）车辆检测基准之一。它包含 28,439 对配准的可见光-红外图像和 953,087 个手工标注的物体边界框，涵盖五个类别：轿车（Car）、巴士（Bus）、卡车（Truck）、面包车（Van）和货运（Freight）。数据集被划分为 17,990 对图像用于训练，1,469 对用于验证，8,980 对用于测试。在发布版本中，每张图像都有

结论

本文提出了 HDMF 框架，以解决可见光-红外多模态目标检测在复杂环境下互补信息利用不足、异质冲突抑制不充分以及融合增益向最终决策阶段传递不稳定的问题。通过三个关键模块，即 DSWA、BFMamba 和 TDFH，所提方法构建了一个涵盖特征选择、联合状态空间建模的完整多级融合流水线，

CRediT 作者贡献声明

Zhengqun Ren（任正群）：写作 – 审阅与编辑，写作 – 初稿撰写，可视化，软件，方法论，调查研究，形式化分析，数据管理，概念构思。Huan Liu（刘欢）：写作 – 审阅与编辑，监督，资源，调查研究，经费获取，形式化分析，数据管理。Guangli Ben（本光力）：写作 – 审阅与编辑，验证，监督，软件，调查研究，经费获取，概念构思。Qisheng Hao（郝启胜）：写作 – 审阅与编辑，验证，软件，

生成式 AI 和 AI 辅助声明

在本工作的撰写过程中，作者使用了 ChatGPT 以改进语言。在使用该工具后，作者根据需要审阅并编辑了内容，并对出版物的内容承担全部责任。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系，这些关系可能影响到本文所报告的工作。

致谢

本项目未获得任何资金支持；

任正群|刘欢|本光力|郝启胜|王晓晓|王永成