面向图像融合的多退化多任务一体化框架

《Neurocomputing》：Multi-degradation and multi-task all-in-one framework for image fusion

　　

摘要

现有的多模态图像融合方法通常假设理想的成像条件，无法有效地处理现实世界中的退化问题。此外，大多数融合方法往往仅关注单一融合场景下的特定退化类型，忽略了不同任务或退化条件下共享的信息和内在联系。为了解决这些局限性，我们提出了一种集成多种融合任务和退化条件的统一图像融合方法，通过单一的解耦框架生成融合图像和去退化图像。该方法基于三个核心思想：1）将融合模态和退化图像作为条件显式地集成到扩散过程中，建立条件与扩散目标之间的强相关性。2）利用现有融合方法作为软教师生成多个候选伪标签，通过任务感知选择函数挑选最优候选，并借助预训练的精炼网络进行优化，以更好地对齐真实数据流形。3）将图像退化建模与融合建模解耦，在正向扩散过程中有意识地弱化条件影响，使不同任务收敛到共享的潜在空间，从而实现最大化的信息共享。我们的方法在各种融合任务和复杂退化场景下均取得了有竞争力的结果。值得注意的是，我们仅通过一个轻量级扩散模型即可高效处理所有任务，甚至在速度上超越了许多非扩散基线方法。代码将在以下地址公开：https://github.com/Ist-Zhy/MDMTFuse。

引言

多模态图像融合（MMIF）旨在将异构源图像中的互补信息整合为统一的表示，使其具有更高的信息量和视觉表现力 [1], [2]。该技术不仅能显著提升图像质量 [3], [4]，还为目标检测 [5] 和诊断 [6], [7] 等下游任务提供了强有力的支持。其广泛应用涵盖红外与可见光图像融合（IVF）、多聚焦图像融合（MFF）、多曝光图像融合（MEF）和医学图像融合（MIF）等多个领域。

近年来，深度学习技术的快速发展推动了MMIF领域的显著进步，涌现出各种基于深度神经网络的融合范式 [8], [9], [10]。近期的基于扩散模型的医学融合和融合超分辨率方法进一步展示了扩散模型在MMIF中的灵活性[11], [12]。然而，尽管MMIF领域取得了显著进展，大多数现有方法仍面临关键局限性。1）对现实退化缺乏鲁棒性。 大多数现有融合方法通常假设理想的成像条件，难以有效应对现实世界中可能出现的各种退化。这严重限制了其实际鲁棒性和泛化能力，如图1(a)所示。虽然一些研究提出了针对退化问题的融合方法 [13], [14]，但这些方法通常仅关注单一融合场景下的特定退化类型，泛化能力有限。2）通用退化感知方法存在固有缺陷。 最近，尽管一些研究人员尝试通过引入外部语义上下文来开发通用退化感知方法 [15], [16]，但这些方法往往严重依赖文本的质量和精确性。此外，它们难以处理复杂的复合退化，并且由于获取高质量标注的成本高昂，面临可扩展性问题。3）单任务优化和复杂的多模型部署。 上述大多数方法均为单一融合任务进行设计和优化 [17], [18], [19]，往往忽视了不同融合任务或多样化退化场景之间的内在联系和共享信息。此外，现有方法在尝试实现通用性时，通常需要加载或微调多个针对不同任务的独立模型 [20], [21], [22]，这无疑增加了部署的复杂性和资源消耗。事实上，不同任务或退化现象之间往往存在可互补的共享信息，能够增强各单一任务的性能 [23], [24]。如果能够有效利用这些内在联系，模型的泛化能力和性能上限将得到显著提升。

为应对这些挑战，我们提出了一种基于扩散模型的图像融合方法，命名为MDMT-Fuse，如图1(c)所示。与现有方法不同，我们的框架将退化建模与融合解耦，能够同时生成高质量的融合图像和修复的源图像。具体而言，我们以残差形式将条件信息显式地集成到扩散过程中，从而建立了条件与扩散目标之间的强相关性。这种基于残差的设计为模型提供了明确的初始视觉线索，显著提升了训练和采样效率。此外，我们将图像退化建模与融合建模解耦，并在正向扩散过程中有意识地弱化条件约束。这使得来自不同模态或退化类型的输入能够收敛到共享的潜在分布，促进跨任务的有效信息共享并提升泛化能力。最后，我们引入了一种基于融合先验的伪标签选择与精炼策略来确定目标分布。我们首先从多个现有方法中收集候选融合结果，根据任务特定的标准选择最优子集，然后通过专用网络 [25] 进行精炼，以更好地对齐真实数据流形。综上所述，我们的主要贡献如下。

• •
  我们提出了一种具有退化适应性和任务通用性的图像融合方法。该方法能够有效处理各种退化下的多模态图像融合任务，并通过解耦设计实现融合图像和退化源图像的双重输出。
• •
  我们利用现有融合方法作为软教师，结合任务感知指标和轻量级精炼网络生成并精炼高质量伪标签，有效解决了缺乏真实监督的问题。
• •
  我们将图像退化建模与融合建模解耦，在正向扩散过程中有意识地弱化条件影响。这使得来自多样化模态或条件的输入能够收敛到共享的潜在分布，实现跨任务的最大化信息共享。

章节摘要

图像融合方法

现有的MMIF方法一般可分为几类，包括基于基本感知的方法、任务驱动的方法，以及更近期的学习范式，如基于无监督学习和知识蒸馏的方法。基于基本感知的方法主要聚焦于设计有效的网络架构和损失函数，从源图像中提取并融合互补特征，以改善视觉质量和统计指标 [22], [26], [27], [28], [29]。早期

概述

我们的框架旨在通过两阶段基于扩散模型的设计实现多种退化下的统一图像融合。具体而言，整体流程由两个紧密耦合的组件组成：(1) 先验引导的伪真值生成模块（图2）；(2) 两阶段基于扩散模型的融合框架（图3）。

为了解决缺乏真实融合真值图像的问题，我们首先使用先验引导的伪标签生成策略构建可靠的监督信号。如图

数据集与设置

我们在四个代表性融合任务上进行了实验：红外与可见光融合（IVF）、多曝光融合（MEF）、多聚焦融合（MFF）和医学图像融合（MIF）。使用的数据集包括：IVF使用MSRS [49]、FMB [33] 和 LLVIP [50]；MEF使用SICE [51] 和 MEFB [52]；MFF使用RealMFF [53]、WFF-WHU [54] 和 Lytro [55]；MIF使用哈佛医学数据集 [56]。退化-清洁图像对通过任务特定的退化流水线合成：对于IVF，我们遵循EMS-Dataset [15]

结论

本文提出了一种新的MMIF框架，具有对退化的强适应性和跨任务的泛化能力。通过将退化建模与融合解耦，我们的方法能够同时产生高质量的融合结果和干净的、去退化的源图像。带有软化约束的残差引导扩散过程将多样化的退化输入对齐到统一的潜在空间，增强了整合能力和鲁棒性。此外，我们将现有方法作为软教师来生成

CRediT作者贡献声明

朱华怡： 撰写 – 原稿、可视化、资源、方法论、概念化。 胡晓鹏： 撰写 – 原稿、软件、形式化分析、数据整理。 李旭阳： 撰写 – 原稿、项目管理、方法论、调查。 陈瑞： 撰写 – 审阅与编辑、撰写 – 原稿、项目管理、资金获取。 刘乔： 撰写 – 审阅与编辑、撰写 – 原稿、监督、软件、项目管理。 常晓军：

利益冲突声明

作者声明不存在已知的竞争经济利益或个人关系，这些关系可能影响本文所报告的工作。

致谢

本研究受国家自然科学基金（项目编号62202362、62302073）、中国博士后科学基金（项目编号2022TQ0247、2023M742742）、广东省杰出青年科学基金（项目编号2023B1515020079）以及广东省基础与应用基础研究基金（项目编号2024A1515011626、2025A1515012949）的资助。

朱华怡于2024年获得桂林电子科技大学工学学士学位。目前在西安电子科技大学攻读硕士学位。研究方向包括计算机视觉和图像融合。

朱华怡|胡晓鹏|李旭阳|陈瑞|刘乔|常晓军|董迪