面向结果的图像融合与分割双向增强网络

《Pattern Recognition》：Result-oriented bidirectional enhancement network for image fusion and segmentation

　　

• •
  提出了一种级联融合-分割框架。
• •
  引入了结果级双向增强。
• •
  FSDG和DCSA利用互补的融合线索来增强分割。
• •
  SFGC通过掩码引导的伽马校正来增强显著区域。
• •
  泊松融合先验指导训练和动态融合设计。

引言

随着传感器技术的进步以及安防监控和自动驾驶对鲁棒场景理解需求的不断增长，红外与可见光模态的融合已成为主流方案 [1]，[2]，[3]，[4]，[5]。这得益于它们各自互补的特性：红外图像天然对烟雾、障碍和低光条件具有鲁棒性，而可见光图像则提供高空间分辨率，拥有丰富的纹理和结构细节 [6]，[7]，[8]。为了实现全面的场景解析，生成视觉吸引力强的融合图像和精确的语义分割掩码至关重要 [9]。此外，这两个任务共享共同的目标，例如跨模态互补信息的提取和跨模态特征集成。因此，研究人员开始探索联合处理多模态图像融合和多模态语义分割的方法 [9]，[10]，[11]，[12]。

SeAFusion [11] 首次将图像融合网络与语义分割网络级联，并使用语义损失来指导融合网络，在融合图像和下游视觉任务中均取得了卓越的性能。在此基础上，SegMiF [9] 引入了一种分层交互式注意力块，用于融合网络与分割网络之间的特征交互，利用双任务相关性来提升两个任务的性能。除级联设计外，MRFS [10] 提出了一种耦合学习框架，利用视觉特征与语义特征之间的内在一致性来相互增强。其他方法 [12] 则将分割网络中的知识作为先验注入融合网络，以提升其性能。然而，这些方法仅在中间特征层面进行操作，如图1所示。它们忽略了每个网络的结果本身也蕴含着丰富的信息，这些信息可以进一步挖掘和利用来提升另一网络的性能。与特征级交互相比，这种结果导向的增强更加直接和直观。具体而言，由于融合图像整合了两个模态的信息，我们是否可以探索融合图像中是否包含对分割网络至关重要的互补线索？同样，分割掩码中的语义信息是否能够突出融合图像中的关键区域？级联融合-分割管线的另一个挑战在于，在推理阶段，融合子网络在分割子网络之前运行，因此无法利用分割反馈，闭环仍然保持开放 [9]。

为应对这些挑战，我们提出了面向结果的图像融合与分割双向增强网络（RoBen）。该级联框架将基于梯度保持块（GPB）的融合子网络与基于SegFormer的分割子网络相结合。为了更有效地挖掘和利用融合结果与分割结果中所蕴含的丰富信息来增强分割和融合子网络，我们设计了融合到分割的差分引导（FSDG）和分割到融合的伽马校正（SFGC）作为双向增强策略。在FSDG中，计算融合图像与每个源模态之间的差异图，以突出互补线索，例如红外图像中的行人和车辆，或可见光图像中的交通信号灯和建筑物。然后，通过差分引导的通道空间注意力（DCSA）模块将这些差异图注入分割子网络，以加强其对这些重要区域的关注。在SFGC中，我们为分割子网络配备了一个辅助显著目标检测头，生成关键类别（如行人、汽车、自行车）的二值掩码，并在这些区域内应用区域级伽马校正，从而强化融合图像中的关键语义内容。此外，基于泊松方程的图像编辑技术——泊松图像编辑 [13]，被引入以生成基于泊松的融合图像。一方面，在训练阶段，基于泊松的融合图像为融合子网络提供监督信号，有效解决了融合图像缺乏真实标签的问题。同时，它还可以作为先验知识来设计新的动态融合规则，实现在现实场景中不同模态的自适应融合 [14]。另一方面，在推理阶段，基于泊松的融合图像作为确定性的融合代理，被输入到分割子网络中已训练的显著目标检测头中，以获得显著对象掩码用于SFGC，从而为最终融合图像提供语义区域引导，而无需引入迭代反馈。如图1所示，与特征级增强方法相比，我们的结果导向双向增强框架直接利用并强化了来自融合图像和分割输出的信息。这一设计提升了目标感知表示能力，使融合图像能够在复杂场景中呈现更具判别性的显著目标表示，同时产生更准确和语义一致的分割结果。我们的贡献如下：

• •
  我们提出了一种融合子网络与分割子网络相结合的级联框架，并实现了两者之间的结果导向双向增强。与特征级增强方法相比，我们的方法更有效地利用了融合和分割结果中的丰富信息，从而增强了复杂场景中的目标感知表示。
• •
  我们引入了FSDG，将融合图像与每个源模态之间计算的差异图通过DCSA模块注入分割子网络，以挖掘互补线索。反之，SFGC为分割子网络配备了一个辅助显著目标检测头，并仅在融合图像的二值掩码区域内应用区域级伽马校正，以强化关键语义内容。
• •
  我们集成了泊松图像编辑以生成泊松融合图像，该图像既作为伪真值，又作为先验知识。它监督融合子网络的训练，指导动态融合规则的设计，并帮助闭合推理回路。

章节摘要

相关工作

最初，多模态语义分割和多模态图像融合被视为独立的问题 [6]，[15]。分割模型专注于设计能够融合各模态特征的架构，使用加权平均 [16]、求和 [17] 或拼接 [18] 等策略。然而，它们缺乏明确的融合原则，且很少关注像素级的视觉保真度。相比之下，基于卷积神经网络 [19]、Transformer [20]、生成对抗网络 [21] 或扩散的图像融合方法

概述

如图2所示，我们提出的RoBen采用级联管线结构，包含一个图像融合子网络，随后连接一个语义分割子网络。为了充分利用融合和分割结果中所承载的丰富信息，我们引入了两个精心设计的模块：融合到分割的差分引导（FSDG）和分割到融合的伽马校正（SFGC）。此外，还集成了泊松图像编辑以生成基于泊松的融合图像，该图像

设置与细节

我们使用了两个代表性数据集，包括MSRS [36] 和FMB [9]，进行训练和评估。训练集和测试集的划分严格遵循官方数据集规范。我们采用了与先前工作相同的联合自适应训练策略。对于融合任务，初始学习率为 $1\times 10^{?3}$。对于分割任务，我们首先使用 $1\times 10^{?5}$ 进行1000次迭代的预热训练，然后以初始学习率 $1\times 10^{?2}$ 进行训练。自适应训练

结论

本文提出了一种结果导向的融合与分割框架。它不依赖于特征级交互，而是直接利用每个网络的结果来增强另一网络。分割子网络的二值显著对象掩码用于强化融合图像中的关键目标。此外，融合图像与每个源模态之间计算的差异图挖掘了互补的跨模态线索，以增强分割分支的语义解析能力。此外，我们

CRediT作者贡献声明

李哲：写作—初稿，软件，方法论。潘海伟：写作—审阅与编辑，监督。张家佳：写作—审阅与编辑，监督。

生成式AI及AI辅助技术在写作过程中的声明

作者声明，在撰写本稿件的过程中未使用任何生成式AI或AI辅助技术。

利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系，这些关系可能会影响本论文所报告的工作。

李哲 | 潘海伟 | 张家佳