SDFusion：一种基于分割与检测的骨干级红外与可见光图像融合方法

《Pattern Recognition》：SDFusion: A backbone-level infrared and visible image fusion method driven by segmentation and detection

　　

• •
  提出一种骨干级融合策略，解决图像级和特征级融合存在的核心缺陷，实现融合过程与下游任务的协同优化。
• •
  设计双分支多光谱交叉网络，融合空间域和频域特征，生成适配骨干级策略的多尺度特征。
• •
  构建基于显著性的注意力机制，同时优化融合图像的质量与特征的有效性。
• •
  大量实验详细验证了该方法在细节保留和下游任务性能方面的优势。

引言

不同成像模态的传感器能够为场景提供互补信息。在光照充足的条件下，可见光传感器可以捕捉丰富的纹理和颜色信息，但在低光或恶劣环境下表现不佳。而红外传感器依靠热辐射成像，在低光、烟雾、遮挡等复杂环境中依然具备较强的稳定性，但其空间分辨率和结构细节往往较为有限。为克服这些缺陷，红外与可见光图像融合技术将显著的红外目标与丰富的可见光细节相结合，从而提升视觉质量并改善下游任务的性能。此外，该技术可与下游任务形成协同优化机制：更优质的融合结果能为下游任务提供更丰富的输入，而任务引导则能提供语义约束，进一步提升目标识别能力。因此，红外与可见光图像融合技术已被广泛应用于物体检测、语义分割、物体跟踪、场景理解、自动驾驶、安全监控、医学影像分析以及遥感解译等领域，为多模态视觉系统提供了重要的技术支撑。

目前，将红外与可见光图像融合技术与下游任务结合的联合学习方法可分为图像级融合[1]和特征级融合[2]两类。图像级融合通常采用两阶段训练方式：首先独立训练红外与可见光图像融合网络，再利用其输出结果训练用于物体检测或语义分割等特定任务的模型。但这种顺序训练方式会限制任务间的交互，降低整体优化效果。特征级融合则会在各任务之间共享融合后的特征，并以任务目标作为监督信号，指导生成符合任务需求的融合图像。不过，共享的特征图往往难以同时满足不同下游任务的多样化需求。此外，现有的骨干网络往往无法捕获不同任务所需的各类特征，而任务特定的特征关注度差异也可能影响整体性能。另外，卷积架构中的下采样操作会导致细粒度纹理和重要结构信息的丢失，进而降低融合结果的质量。为解决这一问题，一些研究尝试引入频域信息来增强细节保留能力。但由于高频成分中往往同时存在纹理信息和噪声[3]，很难将其区分开来，还可能造成图像质量下降。尽管现代去噪方法[4]能够在一定程度上减轻噪声影响，但它们往往也会抑制有价值的细节信息。因此，在细节保留与有效去噪之间实现平衡，仍是红外与可见光图像融合研究领域中一个亟待解决的难题。

为克服现有融合方法的局限性，我们提出了SDFusion——一种用于红外与可见光图像融合的空频域网络。在物体检测和语义分割的共同引导下，SDFusion采用了全新的骨干级融合策略。图像级融合阶段使用预融合后的图像来训练下游模型；特征级融合阶段则通过共享特征图实现同步训练。而我们的方法则通过共享的骨干网络提取针对不同任务的特性特征，这样既能确保每项任务都能保留重要信息，又能实现全面的特征提取与融合。此外，我们还设计了密集残差骨干网络，用于整合空间域和频域的特征，从而减少不同任务之间的特征差异，增强任务间的信息交互。同时，基于显著性的注意力机制能够引导融合过程聚焦于视觉上关键的区域，有效抑制高频噪声，保留细节，进而提升图像的感知质量和任务性能。

本文的主要贡献如下：

• •
  我们提出了一种骨干级融合策略，既解决了图像级融合在特征交互方面的不足，也应对了特征级融合在满足多样化特征需求时的挑战。该策略实现了图像融合过程与下游任务之间的协同优化。
• •
  所设计的多光谱交叉网络采用双分支架构，用于融合空间域和频域特征。这种设计能够更好地捕获多样化的特征信息，生成可灵活适配骨干级融合策略的多尺度特征，满足不同任务的具体需求。
• •
  我们设计了一种基于显著性的注意力机制，该机制模仿人类视觉机制，在融合过程中对特征进行重新加权。通过结合显著性检测与自适应特征加权功能，该机制能够突出关键区域、保留纹理并抑制噪声，从而提升融合图像的质量。

章节节选

相关工作

红外与可见光图像融合技术可分为感知驱动型和任务驱动型两大类。本文主要综述与任务驱动型方法相关的代表性研究。

整体框架

我们提出了一种任务驱动型的红外与可见光图像融合网络SDFusion，该网络以物体检测和语义分割作为指导。如图2所示，SDFusion采用共享的骨干网络，在骨干层实现多任务协同处理，从而提升融合图像的视觉质量与语义表达能力。该网络包含两个分支：融合分支和检测-分割分支。融合分支中设有多方向动态细节提取模块（MD-DEB），

实验设置与实现细节

我们使用MSRS数据集中的1083对红外与可见光图像来训练所提出的图像融合网络。这些数据集包含了对应的标注信息，以及基于可见光图像生成的检测标签和分割标签。我们利用这些标签来计算分割损失和检测损失，从而实现融合、分割和检测任务之间的联合监督，进一步提升多任务处理性能。我们对SDFusion进行了全面的主观评估和客观定量分析，

结论

本文提出了一种由物体检测和语义分割两种任务共同驱动的红外与可见光图像融合算法。为解决传统图像级融合在跨模态特征交互方面表现较弱，以及特征级融合在平衡多任务性能方面存在困难的问题，我们设计了一种骨干级耦合融合策略。该策略通过构建双光谱密集互补型骨干网络，实现空间域和频域信息的整合，

CRediT作者贡献说明

陈文磊：论文撰写——初稿撰写、验证、方法设计、实验分析。秦汉林：论文撰写——审阅与编辑、项目管理、资金申请、概念构思。肖玉帅：验证工作。张雪佩：论文撰写——审阅与编辑、方法设计。杨书文：论文撰写——审阅与编辑。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

本研究部分得到了国家自然科学基金的资助，项目编号为62174128；同时还获得了宁波自然科学基金的资助，项目编号为2022J185。

陈文磊|秦汉林|肖玉帅|张雪佩|杨书文