DepthFusion：基于深度信息的红外与可见光图像融合技术

《Computer Vision and Image Understanding》：DepthFusion: Depth-assisted infrared-visible image fusion

　　

• •
  红外图像和可见光图像中的深度信息可帮助实现具有空间感知能力的图像融合。
• •
  多尺度深度特征被完整整合到图像融合流程中。
• •
  该融合方法具备先进的性能，同时能实现更精准的目标检测与分割。

引言

红外图像与可见光图像融合技术是计算机视觉领域中极为重要的方向，其旨在提升图像的视觉质量，为各类应用提供更准确、可靠的信息[36]、[39]、[48]。随着视觉传感器技术的不断发展，如何利用不同类型数据的优势来应对现实世界中的挑战已成为亟待解决的关键问题[8]、[21]、[42]。正因如此，众多研究人员致力于视觉信息融合技术的研究，取得了诸多重要突破。多尺度变换器[15]、[31]、稀疏表示方法[20]、[23]、基于贝叶斯的融合框架[54]以及预训练的深度学习模型[17]等创新成果，都为这一领域的发展做出了重要贡献。

近年来，由于深度神经网络具备强大的特征提取能力，已被广泛应用于图像融合任务中。各种基于深度学习的方法都在探索不同的策略以提升融合性能。有些方法[13]、[50]会使用卷积神经网络从源图像中提取多尺度特征，再通过预设的融合规则整合互补信息；而其他研究[28]、[29]则采用了对抗学习框架，通过生成器合成能够整合两种源图像信息的图像，同时利用判别器迫使生成器输出与源图像高度一致的融合结果。更为新的研究方法[3]、[7]、[19]、[32]、[43]、[46]、[56]则引入了带有注意力机制的编解码器架构以及多种架构创新，以便更好地捕捉不同模态之间的显著特征。

尽管这些融合方法在某些应用中表现良好，但它们在捕捉图像中场景元素的相对深度关系方面存在不足。因此，在融合过程中，处于不同深度的物体常常会混合在一起，从而导致边界模糊以及空间一致性受损。空间关系，尤其是深度关系，能够体现场景元素之间的几何结构与相对深度信息，而这些信息对于理解场景的上下文和空间布局至关重要。在图像融合任务中，将深度信息作为连续的空间几何先验加以利用，能够极大提升融合效果，使网络能够在保持不同深度场景元素的空间一致性的同时，突出这些元素的内在特征与关联特征，进而提升融合结果的细节保留程度与几何连贯性。

为解决现有融合技术存在的上述缺陷，本文提出了一种名为DepthFusion的先进深度辅助融合框架，该框架通过单目深度估计功能，将相对深度关系作为空间几何先验纳入融合过程。除了专门设计的用于生成和整合深度特征的模块外，DepthFusion还运用自注意力机制与交叉注意力机制来强化模态内及模态间的特征表达；同时，PRe-Fusion模块（PRFM）可通过空间权重计算，高效地将深度信息融入融合过程。此外，上融合重建模块（UFRM）则旨在利用两种模态的多尺度特征以及深度图，重建出精确的融合结果，同时抑制在上采样过程中产生的冗余信息。通过将连续的相对深度线索作为几何引导，DepthFusion将传统的图像融合提升为具备深度感知能力的空间融合方式。这使得网络能够识别出关键的融合特征，区分不同深度处的场景元素，从而获得精度更高的融合结果，同时提升空间的一致性以及场景理解能力。本文的主要贡献如下：

• 1.
  我们提出了一种创新的红外-可见光图像融合框架，该框架通过整合红外图像和可见光图像中的深度信息，提升了场景解析能力，使得融合过程能够更好地凸显物体和背景等场景元素在不同深度下的内在特征与关联特征。
• 2.
  我们设计了一种深度辅助型红外-可见光图像融合网络架构，其中包含了专门用于同步获取可见光图像和红外图像的深度特征生成模块，同时还设计了PRe-Fusion模块与上融合重建模块，用以充分利用深度特征，进一步提升图像融合的质量。
• 3.
  大量实验结果表明，与现有的最先进方法相比，所提出的方法具有更好的性能，为红外图像和可见光图像融合任务提供了更为稳健且高效的解决方案。

章节要点

单目深度估计

单目深度估计技术已经取得了显著进展。早期的单目深度估计方法严重依赖手工设计的特征以及传统的计算机视觉技术[26]、[35]，这类方法在面对复杂场景时往往表现不佳。深度学习的出现通过标注数据集彻底改变了这一领域，大幅提升了方法的准确性与鲁棒性，不过其在不同环境中的泛化能力仍然是个难题。

为了解决这些限制，零样本深度估计技术应运而生

方法

在本节中，我们将全面介绍我们所提出的DepthFusion方法。首先，我们会在3.1节对该方法进行总体概述；接着在3.2节详细阐述DepthFusion的网络架构及其功能；最后在3.3节介绍具体的训练策略与损失函数设计。

实验

在本节中，我们首先在4.1节描述实验设置，然后在4.2节通过多个数据集，对所提方法与现有的最先进方法进行定性与定量对比。随后在4.3节开展消融实验，分析所提融合网络中不同组件的作用效果。接着在4.4节进行下游实验验证。最后在4.5节通过更多实验进一步证明该方法的有效性。

局限性

虽然我们的深度辅助融合框架在多个基准测试中表现出优异的性能，但我们也意识到该方法的性能依赖于深度估计的质量。在本节中，我们将展示一些潜在的失效案例，并探讨相应的改进方案。

如图9所示，我们展示了一个失效案例：在该案例中，深度估计模块无法准确判断极小目标的深度。红外图像中的行人未能在生成的深度图中得到准确呈现

结论

在红外图像与可见光图像融合领域，大多数方法都忽略了图像中物体之间的相对深度关系，而这会直接影响融合效果。为解决这一问题，我们提出了一种全新的深度辅助图像融合方法，该方法通过引入深度图融合模块（DMFM）、PRe-Fusion模块（PRFM）以及上融合重建模块（UFRM），从而更有效地利用深度信息。DMFM的作用是生成更加可靠的深度图，其性能得到了提升

CRediT作者贡献说明

刘冰峰：文章撰写——审阅与编辑、文章撰写——初稿撰写、可视化处理、结果验证、软件开发、方法设计、形式化分析、数据整理、概念构思。 裴松伟：文章撰写——审阅与编辑、研究指导、资源协调、项目管理、实验研究。 王树辉：软件开发、方法设计、概念构思。 李倩：文章撰写——审阅与编辑、研究指导、项目管理。 王尚光：研究指导、项目管理。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

致谢

本研究得到了北京市自然科学基金（编号：L252018）、山东省自然科学基金（编号：ZR2024LZH010）以及北京市科技计划项目（编号：Z251100003625011）的支持。

Bingfeng Liu|Songwei Pei|Shuhuai Wang|Qian Li|Shangguang Wang