C2LNet：通过跨模态互补学习网络融合红外图像与可见光图像

《Neural Networks》：C2LNet: Fusing Infrared and Visible Image via a Cross-Modality Complementarity Learning Network

　　孙星宇|刘晓斌|袁静|李建宁|胡楠|王平宇

摘要
在多种模态间挖掘并融合互补信息对于红外可见光图像融合至关重要，但目前现有方法大多依赖隐式特征聚合，未能有效挖掘和保留跨模态互补性。为解决这一问题，本文提出了一种跨模态互补性学习网络（C2LNet），该网络能够同时从不同模态中挖掘互补特征，并确保将这些挖掘到的特征嵌入到融合图像中。具体而言，C2LNet采用交互式互补性挖掘（ICM）方法，引导网络从红外图像和可见光图像中针对不同的特征层次和空间区域挖掘互补特征，从而为红外可见光图像融合提供更多样化且信息量更丰富的特征。为促使融合图像包含来自不同模态的视觉特征，提升其在下游语义任务中的区分能力，本文设计了互补性融合约束（CFC）来指导C2LNet的训练。CFC能够确保融合图像与输入图像具有相似的嵌入特征，同时增强融合图像的区分能力，因此更有利于监督ICM挖掘出的互补特征的融合过程。在三个广泛使用的数据集上进行的大量实验表明，我们的方法相比现有最先进方法具有显著优势，例如在RoadScene数据集上VIF指标提升了3.2%，在M3FD数据集上提升了6.0%，在LLVIP数据集上提升了4.6%。在电力工厂进行的进一步实验表明，C2LNet也能很好地应用于现实世界的工业场景，有望为自主机器人检测等工程应用带来益处。我们的代码可在https://github.com/XingyuNKU/C2LNet获取。

引言
红外可见光图像融合的任务旨在将一对红外图像和可见光图像融合在一起，生成更清晰的融合图像（Dong和Wang，2025；Li、Yang、Zhang、Jia、Yu、Liu，2025a；Li、Yu、Chen、Ding、Wang、Liu、Zou、Ma，2025b）。由于能够整合来自不同类型传感器的互补信息，红外可见光图像融合近年来已成为图像处理领域的一个热门研究课题（Jun等人，2024；Le等人，2022；Mei等人，2025）。红外可见光图像融合的原理在于，红外图像和可见光图像能够捕捉物体的不同特征。一方面，红外图像能够捕捉环境中的热辐射，在低光照和恶劣天气等复杂环境中仍能保持稳定性能，因此在检测行人、车辆等突出目标方面更具优势。不过，红外图像通常存在空间分辨率较低、纹理细节不足的问题。另一方面，可见光图像在正常光照条件下能够提供丰富的空间和纹理细节，但在黑暗或强光环境下则可靠性较差。通过结合这两种图像模态的优势，红外可见光图像融合任务旨在生成既能保留红外图像中的热信息，又能保留可见光图像中的细粒度纹理和结构信息的融合图像。如图1所示，融合图像在细粒度纹理方面比原始的可见光图像和红外图像更为清晰，因此可应用于智能监控、自主导航以及工业环境中的机器人检测等实际应用场景，尤其是在光照条件变化较大的情况下（Zhu等人，2025）。

近年来，已有许多红外可见光图像融合方法被提出，并展现出良好的性能。根据Sun等人的分类（2020），这些方法大致可分为四类：自编码器网络（AEs）（Fu和Wu，2021；Li和Wu，2018；Zhao等人，2020a）、卷积神经网络（CNNs）（Li、Xia、Han、He、Roli、Feng，2020a；Li、Wang、Miao、Wang，2020b；Zhang等人，2020）、Transformer模型（Jun等人，2024；Ma等人，2022；Rao等人，2023）以及生成对抗网络（GANs）（Liu等人，2022；Ma等人，2020a；Yang等人，2022）。相关工作的更多细节将在第2节中进行总结。

尽管这些方法已经取得了一定成果，但仍有若干问题有待探讨。首先，现有方法通常通过独立的模块分别从对应图像中提取可见光特征和红外特征，各模块之间没有交互。由于每个模块仅了解某一模态的输入图像，因此这些方法无法引导网络从不同模态中挖掘互补特征。目前，如何在没有互补性标注的情况下从不同模态中提取互补特征，仍是尚未解决的问题。其次，红外可见光图像融合任务需要对融合图像进行有效的监督，以确保其包含从可见光模态和红外模态中提取的互补信息。现有的融合图像约束直接在像素空间中操作，以原始输入图像作为融合图像的生成目标，例如逐像素的L1损失函数。然而，这类约束对原始可见光图像和红外图像中的噪声较为敏感，会限制融合图像的质量。此外，它们仅在像素空间中起作用，忽略了在特征空间中保留视觉线索，因此无法有效监督互补特征的融合。第三，人们期望融合图像比原始输入图像具有更高的区分能力，以便为物体检测等下游任务提供帮助（Chen等人，2025；Ma等人，2021）。然而，现有方法中的约束仅关注融合图像的质量，而忽视了其区分能力，这可能会影响许多下游任务的准确性。

本文旨在研究一种基于跨模态互补性学习（C2LNet）的红外可见光图像融合网络，该网络能够有效挖掘并融合来自可见光图像和红外图像的互补特征。在互补性挖掘方面，我们提出了交互式互补性挖掘（ICM）方法，该方法无需互补性标注，即可引导网络从输入图像中挖掘互补特征。鉴于不同模态的特征在不同的特征层次和空间区域中分别具有有效性，例如红外图像中的简单边缘和可见光图像中的复杂纹理，ICM被设计为能够在不同的特征层次和空间区域中挖掘互补特征。在红外可见光图像融合任务中，目前并没有标准的标签来定义跨模态互补性。因此，ICM引导模型在不同网络深度和空间区域中探索来自双重特征分支的互补特征，以满足损失函数的要求，从而挖掘互补信息。由于无法进行手动标注，这类互补特征是自动学习和挖掘出来的。具体而言，ICM会动态地为每种模态的浅层特征和深层特征分配权重，以挖掘不同层次的有效特征。它还会促使不同模态的空间注意力图存在差异，从而挖掘不同区域的有效特征。因此，ICM能够从两种模态中提取互补而非冗余的信息。为确保融合图像保留这些挖掘出的特征，并提升其在下游任务中的区分能力，本文进一步提出了互补性融合约束（CFC）用于C2LNet的训练。与在像素空间中操作的现有方法不同，CFC在特征空间中起作用，通过对抗机制确保挖掘出的互补特征能够嵌入到融合图像中。此外，CFC还能通过降低融合图像的Inception熵值，使其比输入图像具有更高的区分能力。因此，CFC能够确保挖掘出的特征得到有效融合。

ICM和CFC协同作用，共同挖掘并融合红外可见光图像融合任务所需的互补特征，从而使C2LNet能够生成具有更清晰视觉特征的高质量融合图像。我们在四个广泛使用的数据集上测试了我们的网络，即Liu等人（2022）的M3FD数据集、Xu等人（2020）的RoadScene数据集、Jia等人（2021）的LLVIP数据集，以及由四足机器人在电力工厂收集的NK-EF数据集。与最新研究结果相比，C2LNet的表现远远优于现有最先进方法。本文的主要贡献如下：
• 我们提出了一种新的C2LNet模型，该模型能够同时从红外图像和可见光图像中挖掘互补特征，并确保将其嵌入到融合图像中。据我们所知，这是首次尝试专门研究红外可见光图像融合任务中的跨模态互补性学习。
• 我们设计了一种新的ICM方法，该方法能够交互式地从红外图像和可见光图像中针对不同的特征层次和空间区域挖掘互补特征，从而实现两种模态之间的互补特征提取。
• 我们进一步设计了CFC，用以促使融合图像包含这些挖掘出的特征，并使其比输入图像具有更高的区分能力，从而确保不同模态的特征得到有效融合。
• 与现有最先进方法相比，所提出的C2LNet在M3FD、RoadScene、LLVIP等公共数据集上的红外可见光图像融合性能更为出色，同时在现实世界场景中也表现出良好的泛化能力。

相关工作
近年来，红外可见光图像融合逐渐受到越来越多的关注。本节将回顾四个主要类别的代表性研究成果：基于自编码器（AE）的方法、基于CNN的方法、基于Transformer的方法以及基于GAN的方法。

问题阐述
给定一张红外图像[数学处理错误]IR和一张可见光图像[数学处理错误]IV，红外可见光图像融合的任务旨在生成一张融合图像[数学处理错误]IF，该图像需同时包含来自[数学处理错误]IV和[数学处理错误]IR的视觉信息，其数学表达式为：[数学处理错误]IF=Φ(IV,IR)，其中Φ表示融合模型。遵循现有方法，本文采用编码-解码的方式构建Φ模型。如图2所示，整个融合模型Φ遵循编码器-交互模块-解码器的架构。给定可见光图像和红外图像输入[数学处理错误]IV和[数学处理错误]IR后，两个针对特定模态的编码器[数学处理错误]ΦV和[数学处理错误]ΦR负责提取特征。

方法
本节将详细介绍所提出的C2LNet。首先介绍C2LNet的整体框架，接着阐述所提出的交互式互补性挖掘（ICM）在跨模态互补特征提取方面的具体机制，最后介绍用于监督融合图像生成的互补性融合约束（CFC）。

实验
本节首先介绍数据集和实验设置，然后在与三个公共数据集以及电力工厂收集的NK-EF数据集上的实验中，对本文方法与现有最先进方法进行全面的定性和定量比较。接下来，通过消融实验评估C2LNet中各组成部分及超参数的有效性。最后，将C2LNet应用于物体检测任务，进一步检验其辅助下游应用的能力。

结论
本文提出了C2LNet，这是首次尝试研究红外可见光图像融合任务中的跨模态互补性学习。为从不同模态中挖掘互补性，本文提出了交互式互补性挖掘（ICM）方法，该方法能够从可见光图像和红外图像中提取出与不同特征深度和不同空间区域相关的互补视觉线索，从而为图像融合提供有效的互补视觉线索。为确保特征能够得到有效融合……

局限性及未来方向
本文主要研究不同特征深度和不同空间区域之间的互补性。不过，可见光图像和红外图像之间的互补性也可能以多种潜在形式存在。此外，本文通过提高Inception熵值来增强融合图像的区分能力，但预训练的Inception-V3模型可能在图像质量较低的现实世界场景中无法准确捕捉语义信息。因此，未来……

数据与代码获取地址
我们的代码和数据可在https://github.com/XingyuNKU/C2LNet获取。

CRediT作者贡献说明
孙星宇：撰写——初稿、软件、方法论。刘晓斌：撰写——审阅与编辑、指导、方法论、概念构思。袁静：撰写——审阅与编辑、指导、概念构思。李建宁：撰写——审阅与编辑。胡楠：撰写——审阅与编辑。王平宇：撰写——审阅与编辑。

利益冲突声明
本文作者不存在任何可能影响研究结果的已知财务利益关系或个人关系。

致谢
本研究部分得到了中国国家重点研发计划（项目编号2024YFB4708901）的支持，部分得到了国家自然科学基金（项目编号U21A20486、62473208、92367105、62401294）的支持，部分得到了天津市杰出青年科学基金（项目编号20JCJQJC00140）的支持，部分得到了中国博士后科学基金会CPSF博士后 Fellowship计划（项目编号GZC20240753）的支持，部分得到了中国博士后科学基金的支持。