非对称退化条件下红外-可见光图像融合的结构与退化协同推理

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Structure–Degradation Co-Reasoning for Infrared–Visible Image Fusion under Asymmetric Degradation

　　

• •
  SD-CR显式地对结构先验和修复需求进行推理。
• •
  冲突感知推理生成输入自适应的修复决策。
• •
  一个模型处理五种可见退化，无需测试时适配。

引言

红外-可见光（IR-VIS）图像融合旨在将红外模态的热显著性信息与高质量可见光图像的丰富纹理和颜色信息相结合，从而生成更具信息量的合成图像。该技术在夜间感知、监控、目标增强和复杂场景理解等领域得到了广泛应用。然而，实际环境条件往往远非理想。可见光图像特别容易受到低光照、传感器噪声和雾的影响，导致纹理退化、结构模糊以及视觉信息的严重丢失。因此，将专为高质量输入设计的融合模型应用于此类退化场景，往往会产生细节模糊、目标显著性减弱的融合图像，难以满足实际应用需求。

一种直接的解决方案是先修复退化的可见光图像，再将其与红外图像进行融合。虽然这一策略很直观，但它通常将修复和融合视为两个相对独立的阶段。结果，修复过程中红外模态提供的结构引导未被充分利用，而融合阶段不可避免地继承了前序修复阶段引入的误差或伪影。其他方法[1]、[2]尝试直接融合退化输入，但现有大多数研究仍然以隐式方式将修复与跨模态融合耦合在一起，如图1(a)所示。这种隐式耦合无法回答一个关键问题：对于每个输入样本，模型应更多依赖红外模态提供的结构先验，还是更注重退化可见光图像的修复需求？

在不对称退化场景中，这一问题尤为突出。在此类场景中，可见光图像退化，而红外图像仍能提供相对稳定的结构和显著目标信息。在此背景下，核心挑战不仅仅是修复可见光图像或融合两种模态，而是要为每个样本自适应地协调红外引导的结构补偿与可见光修复。过度强调结构先验可能导致红外结构线索被过度注入可见光修复过程，从而引入结构偏差，使结果偏离可见光模态的自然外观。因此，解决该问题的关键在于建立一个显式的前融合机制来协调结构补偿与可见光修复。

为解决上述问题，我们提出了一种结构-退化协同推理（SD-CR）框架，用于不对称退化条件下的IR-VIS图像融合。与现有的退化条件下IR-VIS图像修复与融合方法不同，我们的方法如图1(b)所示，将修复建模为结构域与退化域之间的显式协同推理过程。具体而言，结构域从红外模态中提取以捕捉稳定的结构先验，而退化域则从退化的可见光模态中推断以表征当前输入的修复需求。基于结构先验与修复需求之间的冲突，我们设计了一种结构-退化跨推理算子（SD-CRO）来生成统一的修复决策。该决策随后用于驱动一个推理引导修复网络（RGR-Net），自适应地协调结构补偿与退化感知修复，以生成高质量的修复可见光特征。最后，我们开发了一个轻量级融合头，将修复后的可见光信息与红外特征集成，生成最终的融合图像。

与现有方法相比，我们的方法在修复过程中显式引入了来自红外模态的稳定结构先验，而不是仅在最终融合阶段使用红外信息。通过将结构先验和修复需求分解为两个相互作用的域，所提出的方法为统一的修复与融合提供了更清晰、更具可解释性的机制。本工作的主要贡献总结如下：

• •
  我们提出了一种结构-退化协同推理框架，将红外结构先验和可见光修复需求建模为两个相互作用的域，从而在单一推理框架内统一了退化输入的修复与融合。
• •
  我们设计了跨域冲突建模和结构-退化跨推理算子，显式地表征结构先验与修复需求之间的相对优先级，并利用该关系生成输入自适应的修复决策。
• •
  我们开发了一个推理引导修复网络和一个低维融合头，前者将跨域推理结果转化为自适应的修复行为，后者将修复后的可见光特征与红外线索集成以生成融合图像。

章节摘要

IR-VIS图像融合

面向任务的融合方法引入高层视觉任务（如语义分割和物体检测）的监督信号，以使融合图像更适合下游视觉任务。例如，SeAFusion [3]、DetFusion [4]和PSFusion [5]分别从语义感知、检测驱动优化和渐进式语义注入的角度增强融合图像对高层视觉任务的适应性。考虑到不同的下游任务

问题定义与概述

我们研究不对称退化条件下的IR-VIS图像融合，其中可见光图像受到低光照、噪声或对比度衰减的破坏，而红外图像仍保留相对稳定的结构和显著目标线索。给定红外图像I_ir和退化可见光图像$I_{\mathrm{v}}^{\text{deg}}$，我们的目标是生成高质量的融合图像I_fuse。为此，我们提出了SD-CR，将修复建模为结构域

实验设置

数据集与评估协议。我们在退化的IR-VIS图像融合设置下进行训练和评估。训练数据基于DDL-12 [34]构建。在训练数据中，仅可见光图像被退化处理，而对应的红外图像保持不变。遵循先前工作，我们在训练中考虑了五种可见光退化类型，包括模糊、雾、低光照、噪声和过曝。每种退化包含四个严重程度级别：轻微、中等、一般和

结论

在本文中，我们提出了SD-CR用于不对称退化条件下的IR-VIS图像融合。通过显式建模结构先验、修复需求及其冲突，SD-CR在融合前自适应地协调结构补偿与退化感知修复。在五种合成退化、多个真实场景和标准融合基准、下游检测与语义分割任务以及机制分析上的大量实验表明，所提出的方法

CRediT作者贡献声明

王晓莎（Xiaosa Wang）：撰写 – 原稿、验证、软件、方法论、调查、形式分析、数据整理。李华锋（Huafeng Li）：撰写 – 审阅与编辑、监督、项目管理、方法论、概念化。王文（Wen Wang）：可视化、验证、形式分析、数据整理。张亚飞（Yafei Zhang）：可视化、验证、调查、数据整理。刘宇（Yu Liu）：撰写 – 审阅与编辑、可视化、验证、形式分析。束项波（Xiangbo Shu）：撰写 – 审阅与编辑，

利益冲突声明

作者声明他们不存在已知的可能影响本文所报告工作的竞争性财务利益或个人关系。

王晓莎|李华锋|王文|张亚飞|刘宇|束项波