基于任务的红外与可见光图像融合：通过细节与语义的双重注入方法

《NEOTROPICAL BIOLOGY AND CONSERVATION》：Task-Driven Infrared and Visible Image Fusion via Detail and Semantic Dual Injection

针对红外与可见图像融合中任务相关信息整合困难的问题，本文提出任务驱动双注入融合网络TDFuse。通过细节注入模块DIM和语义注入模块SIM，分别提取任务相关的细节和语义信息，并采用融合特征融合块FFB实现多模态特征融合。创新性地设计细节-语义双约束损失函数，有效平衡任务目标与融合质量。实验表明，该方法在M3FD、MSRS、LLVIP等数据集上显著提升图像融合质量，并在目标检测、语义分割等下游任务中取得优于传统方法的结果。

　　

Kai Zhang|Peng Zhang|Ludan Sun|Feng Zhang|Wenbo Wan|Jiande Sun

中国山东师范大学信息科学与工程学院

摘要

最近，将与任务相关的信息引入红外图像和可见光图像的融合中，提高了融合图像在实际场景中的实用性。然而，由于融合特征和任务相关特征的异质性，很难将任务信息整合到融合图像中，从而导致图像质量下降。为了解决这个问题，我们提出了一种基于任务的可见光和红外图像融合网络TDFuse，该网络实现了从下游任务中双重注入细节信息和语义信息到融合图像中。具体来说，细节注入模块（DIM）和语义注入模块（SIM）分别用于逐步将任务相关的细节信息和语义信息提取到融合特征中。在DIM中，任务细节增强块用于将融合特征与任务网络中的细节信息结合。SIM中的任务语义增强块负责将语义信息注入融合特征中。同时，我们设计了一种细节-语义双重约束损失函数，以确保DIM和SIM能够从任务网络中自适应地学习相应的细节信息和语义信息。通过这种双重注入方式，融合图像包含了更多来自下游任务的细节和语义信息。在M³FD、MSRS、LLVIP等数据集上的广泛实验表明，我们的方法不仅保证了融合图像的视觉效果，还提高了下游任务的性能。代码可在https://github.com/Fullness-1/TDFuse获取。

引言

由于各种传感器的成像原理不同，单一模态图像往往无法充分表示场景的全面信息（Zhang等人，2021年）。例如，红外图像能够捕捉目标的热辐射特征，但纹理细节有限。相比之下，可见光图像提供了丰富的纹理和颜色信息，但在低光照条件或复杂环境下的性能受到限制。为了解决单一模态成像的局限性，提出了红外和可见光图像融合技术，以提供更全面的场景信息，并显著提高高级视觉任务的性能，如目标检测（Zhang等人，2025a）和语义分割（Zhou等人，2025年）。因此，这项技术具有重要的理论研究价值，并具有广泛的应用潜力。

现有的红外和可见光图像融合方法分为传统方法和深度学习方法。传统方法主要基于多尺度变换（Li等人，2021a）、稀疏表示（Cao等人，2016年）和显著性分析（Jian等人，2022年）等技术来实现多模态图像的有效融合。然而，由于这些方法依赖于手动设计，在特征表示方面存在局限性，难以有效融合不同模态之间的互补信息。近年来，深度学习方法通过强大的端到端特征学习能力取得了显著进展。基于卷积神经网络（CNNs）（Tian等人，2020年）、生成对抗网络（GANs）（Xie等人，2021年）、变换器（Zhang等人，2025c）和扩散模型（Yu等人，2025年）的先进融合方法能够从源图像中学习出稳健的深度特征表示，从而显著提高融合图像的视觉效果和信息丰富度。尽管相关融合方法在融合评估指标上取得了相对优异的结果，但研究主要集中在融合任务本身，忽略了融合图像与下游任务之间的内在相关性，导致融合结果缺乏实际应用潜力。

针对上述问题，越来越多的研究人员尝试将图像融合与下游任务相结合，如图1(a)-(d)所示。具体来说，CDDFuse（Zhao等人，2023年）首先训练融合网络以获得融合图像，然后使用这些图像来训练目标检测网络，遵循图1(a)所示的范式。Liu等人（2022年）采用了图1(b)所示的框架，并提出了一种协作训练策略，增强了融合图像中的目标信息和纹理细节。Tang等人（2022年）采用了图1(c)所示的方案，将融合网络和分割网络级联起来。为了提高训练效率，该方法还设计了一种自适应策略以获得更好的性能。然而，多模态融合主要强调捕捉图像对之间的像素级关系，而下游任务需要在更复杂的场景背景下获取语义信息（Zhang等人，2024b）。由于融合网络和任务网络的优化方向不同，联合优化任务驱动方法难以确保融合和下游任务之间的最佳效果，同时增加了复杂性。此外，由于融合特征和语义特征的异质性，直接将融合特征与语义特征结合的语义引导方法可能会导致融合图像中局部细节信息的丢失，从而降低融合结果的视觉质量。

为了解决这些问题，我们提出了图1(d)所示的基于任务的红外和可见光图像融合网络TDFuse，通过双重注入细节信息和语义信息来实现融合。在TDFuse中，细节注入模块（DIM）和语义注入模块（SIM）用于将下游任务中的细节和语义信息提取到融合特征中。具体来说，DIM包括特征融合块（FFB）、细节融合块（DFB）和任务相关细节增强块（TDEB）。FFB用于获取融合特征。DFB利用不同的操作符在细节损失的约束下提取任务相关的细节信息，然后通过TDEB将任务相关的细节信息有效地与融合特征结合。同样，我们设计了语义注入模块（SIM），包括FFB、语义融合块（SFB）和任务相关语义增强块（TSEB），在语义损失的约束下提取任务相关的语义信息，并实现融合特征的语义增强。与传统的联合优化方法相比，我们提出了一种新颖的细节-语义双重约束损失函数，以约束任务网络和融合网络中的细节和语义信息，确保融合特征能够自适应地学习更多任务相关信息。这不仅避免了不同任务之间的梯度冲突，还减轻了直接注入语义信息导致的性能下降。在M³FD、MSRS和LLVIP数据集上的实验表明，提出的TDFuse具有优越的融合性能。此外，我们还通过进行目标检测和语义分割实验进一步证明了TDFuse的有效性。主要贡献如下：1.

我们提出了一种基于任务的红外和可见光图像融合网络TDFuse，能够高效注入任务相关的细节和语义信息。

2.

我们设计了DIM和SIM来实现细节和语义信息的双重注入。任务相关信息被提取到这两个模块中，然后通过TDEB和TSEB进一步整合到融合特征中。

3.

我们提出了一种细节-语义约束损失函数，以指导融合网络自适应地从任务网络中学习任务相关的细节和语义信息。

4.

在三个融合数据集上的广泛实验证明了TDFuse的优越性。此外，目标检测和语义分割任务的结果也显示了TDFuse的有效性。

部分内容

红外和可见光图像融合

在传统方法中，可见光和红外图像通常被分解为不同的组件，然后使用特定的融合规则或策略将这些组件集成起来生成最终的融合图像。例如，Li等人（2021b）应用多尺度变换和范数优化来增强融合图像的对比度和细节信息。此外，将图像块稀疏映射到稀疏空间的稀疏表示也被广泛使用。

TDFuse

在本节中，我们首先在第3.1节介绍TDFuse的总体架构。然后，在第3.2节和第3.3节解释细节注入模块和语义注入模块。最后，在第3.4节描述了设计的损失函数。

实验

在本节中，我们在三个公共数据集上进行了全面实验，以验证所提出的TDFuse的有效性。此外，我们还进行了目标检测和语义分割实验，以评估该方法在解决下游任务挑战方面的能力。最后，通过消融研究和参数分析验证了所提出的TDFuse的有效性。

结论

在本文中，我们提出了一种基于任务的红外和可见光图像融合网络TDFuse，该网络实现了细节和语义的双重注入。该方法利用DIM和SIM从下游任务中注入细节和语义信息。具体来说，FFB用于获取融合特征。DFB和SFB用于从融合特征中提取细节特征和语义特征，以提高融合特征的表示能力。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文所述的工作。

致谢

本工作部分得到了中国自然科学基金（62576197）、山东省科技创新青年人才计划（SDAST2024QTA051）、山东省高等学校青年创新团队发展计划（2024KJH001）、山东省自然科学基金（ZR2023MF066, ZR2025QC681）、中国博士后科学基金（2019TQ0190, 2019M662432）的支持。