SPA-Fuse：基于分割先验引导的红外与可见图像特征自适应融合

《Pattern Recognition》：SPA-Fuse: Segmentation priors-guided feature adaptive fusion for infrared and visible images

　　

• •
  一个两阶段框架将模态分解与语义引导融合解耦。
• •
  一个分割驱动的跨模态注意力模块引导多模态融合。
• •
  一种具有动态特征调制的选择性门控机制，自适应地平衡各模态。
• •
  SPA-Fuse在RoadScene、TNO和M³FD数据集上取得了最先进的融合指标。

引言

多模态图像融合已成为模式识别和计算机视觉领域的重要研究课题，其目标在于整合来自不同成像模态的互补信息，以生成更具信息量和可靠性的场景表示 [1], [2]。通过融合异构视觉信息，多模态融合为增强场景理解和视觉感知提供了有力手段，并在模式识别研究中引起了越来越多的关注。在各种融合场景中，红外与可见光图像融合因其广泛的应用前景——涵盖自动驾驶、监控和遥感等领域——而受到了特别的关注 [3], [4]。可见光图像在光照充足的情况下能够捕捉丰富的纹理和颜色信息，而红外图像则在探测热信号和保持暗光、雾天或烟雾等恶劣条件下的可见性方面表现出色 [5]。融合的目标是生成同时保留可见光图像纹理丰富度和红外传感器固有热目标显著性的图像。

尽管基于深度学习的融合方法取得了显著进展 [6]，但仍面临若干根本性挑战。首先，现有大多数方法将融合视为低层视觉任务，主要关注像素级重建，而未显式利用语义线索。诸如CDDFuse [7] 和EMMA [8] 等代表性方法基于强度保持、频率分解或自监督先验优化目标，均在外观层面操作。虽然SeAFusion [3] 通过基于分割的监督引入了语义感知，但它依赖于任务特定的标签，并将融合与特定下游任务紧密耦合，从而限制了其泛化能力。其次，由于红外和可见光模态之间固有的异构性，传统融合框架通常依赖静态融合规则，无法自适应地响应不同的场景内容。因此，网络倾向于施加空间均匀的模态权重，在光照良好区域过度依赖可见光纹理，同时在低光或杂乱区域则未能充分利用红外目标。这种刚性直接损害了混合光照或遮挡场景中的融合质量，在这些场景中模态可靠性在各空间位置上存在显著差异。上述局限性共同促使我们提出一种融合框架的需求，该框架能够在不依赖任务特定标签的情况下融入语义感知，并支持自适应的、空间变化的特征集成。

视觉基础模型的最新进展，特别是Segment Anything Model（SAM），已在无需任务特定训练的情况下展现出捕获场景语义的卓越能力 [9]。这一发展为弥合低层融合与高层语义理解之间提供了机遇。近期研究已开始将SAM与多模态数据相结合；例如，FusionSAM [10] 引入了融合掩码提示机制和潜在令牌生成模块，将多模态融合视为为分割优化的中间步骤。相比之下，我们反其道而行之：我们利用SAM衍生的掩码作为显式语义先验，直接引导融合过程，将融合目标与任何下游任务解耦。具体而言，这些掩码通过跨模态注意力机制被引入，生成区域感知的模态权重，引导网络在特征集成过程中关注语义有意义的区域。分割引导与低层融合之间的这种紧密耦合使我们的框架能够在保持细粒度视觉保真度的同时维持更强的语义一致性，尤其在模态可靠性变化的区域中表现突出。

在本工作中，我们提出了SPA-Fuse——一种用于红外与可见光图像融合的分割先验引导特征自适应融合框架。该框架由两个阶段组成：分解阶段和融合阶段。在分解阶段，一个经CBAM增强的U-Net [11], [12] 被预训练以将融合图像分解为模态特定的红外和可见光分量。用于训练的融合图像由现成的代表性融合基线方法合成，作为监督锚点。在融合阶段，一个Restormer_UNet [13] 主干网络首先生成初步融合图像，然后在语义引导下对其进行精细化。该精细化由两个互补机制驱动。一个分割驱动的跨模态注意力模块利用SAM衍生的分割先验引导网络关注语义相关区域。一个由动态特征调制损失监督的选择性门控机制，根据空间可靠性自适应地调制红外和可见光特征的贡献。为稳定优化过程，分解网络独立训练后在融合训练期间被冻结，从而将两个阶段解耦。

本工作的主要贡献总结如下：

• •
  我们提出了一种两阶段融合框架，将模态特定分解与语义引导融合解耦。冻结的预训练分解网络提供稳定的模态表示，而基于Restormer的主干网络则在语义引导下执行初始融合和精细化融合。
• •
  我们设计了一种分割驱动的跨模态注意力模块，利用SAM生成的掩码中的语义先验引导多模态特征集成，使网络能够聚焦于语义相关区域，同时保留细粒度细节。
• •
  我们设计了一种由动态特征调制损失监督的选择性门控机制，该机制结合了防止模态主导的平衡项和将预测门控权重与数据依赖的可靠性先验对齐的先验对齐项，共同提升了融合图像的可判别性和语义一致性。

本文其余部分组织如下。第2节回顾了多模态图像融合和任务驱动低层视觉方法的相关工作。第3节详细介绍了所提出的两阶段融合框架。第4节报告了多个基准数据集上的广泛实验结果和对比。最后，第5节总结了全文并讨论了未来研究的潜在方向。

各节摘要

相关工作

本节从两个角度综述相关工作。我们首先综述现有的红外与可见光图像融合方法，按其底层生成范式进行分类。然后讨论任务驱动的低层视觉方法，包括视觉基础模型（如SAM）作为更通用的语义先验来源的最新整合。

方法

我们提出了SPA-Fuse——一种用于红外-可见光图像融合的分割先验引导特征自适应融合框架，该框架将低层分解与高层语义引导相结合。如图1所示，该框架由两个阶段组成：第一阶段通过分解从融合图像中学习模态特定表示，第二阶段通过跨注意力和选择性门控机制在SAM衍生的分割先验下整合这些表示。

实验

所有实验均在配备四块NVIDIA RTX 3090 GPU并运行Ubuntu Linux的工作站上完成。所提方法在MSRS数据集上进行评估，该数据集包含成对的红外和可见光图像。数据集经预处理后以HDF5格式存储，每幅图像调整为128×128像素。训练集包含1083对图像，其余样本用于测试。所有实验使用三个不同随机种子重复进行以确保结果可靠性。

结论

在本文中，我们提出了SPA-Fuse——一种用于红外与可见光图像融合的分割先验引导特征自适应融合框架。通过将模态分解与语义引导相结合，所提框架有效地融合了低层互补信息和高层语义先验。具体而言，采用CBAM增强的分解网络提取模态特定表示，同时利用分割驱动的跨注意力模块和选择性门控机制……

CRediT作者贡献声明

王震：撰写——原始草稿。崔新宇：撰写——原始草稿。岳环英：调查研究。孙一鸣：撰写——审阅与编辑。董永峰：监督指导，资源提供。朱鹏飞：验证，形式化分析。

利益冲突声明

作者声明不存在任何已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

王震 | 崔新宇 | 岳环英 | 孙一鸣 | 董永峰 | 朱鹏飞