STD-DiffFusion：基于场景纹理分解引导的扩散算法实现纹理增强型图像融合

《Neurocomputing》：STD-DiffFusion: Texture-enhanced image fusion via scene-texture decomposition guided diffusion

　　摘要：在图像融合中，有效保留纹理仍至关重要。基于像素级和梯度约束的深度融合网络虽然注重全局结构，但难以捕捉精细纹理。生成式方法，尤其是扩散模型，通过生成与源分布匹配的融合图像来产生更真实的纹理，由于其训练稳定性和可解释性，已成为主流方法。然而，基于扩散的方法仍然存在细节丢失的问题，并且需要带有复杂约束的配对训练数据。为实现完整的内容保留和精确的纹理重建，我们提出了STD-DiffFusion这一新框架，它结合了场景-纹理分解与扩散模型。场景信息通过粗粒度特征引导全局内容，而纹理信息则增强细粒度细节，提升图像的丰富度和真实感。融合控制模块可动态调整场景和纹理的强度，以减少冗余。纹理增强模块则可弥补扩散过程带来的信息损失。在红外-可见光、多焦点和多曝光融合任务中的大量实验表明，该方法的性能处于领先水平。评估结果证实，其在融合质量和细节保留方面均优于现有方法。

引言：图像融合[1]、[2]、[3]、[4]的主要目标是将多个源图像中的互补信息整合为单一图像。保留并提升纹理的真实性至关重要，因为纹理包含了进行准确特征提取和定量分析所需的关键结构信息。这一过程显著提升了图像的清晰度和可解释性，从而提高了在自动驾驶[5]、[6]、遥感[7]以及医学成像[8]、[9]、[10]等应用中的测量可靠性。因此，在图像融合结果中有效保留纹理仍是确保测量有效性的关键挑战。

传统的图像融合方法已从简单的加权平均发展到基于分解-重建的方法。基于分解-重建的方法倾向于将源图像分解为不同组件，然后通过线性组合来保留互补信息。虽然这些方法能够有效保留明显的边缘，但线性运算的固有限制往往会导致高频细节的平滑和模糊。在早期研究中，研究人员常常依靠梯度约束来保持纹理细节的完整性，其方式是确保融合后的图像与原始图像具有相似的梯度。然而，梯度方法是一把双刃剑——它实际上可能会引入噪声并在过程中导致信息丢失。在[11]中，Zhu等人使用稀疏编码对图像进行分块处理，然后选择详细的图像信息。Tian等人[7]采用卡通-纹理分解方法，通过分离的纹理处理来指导融合图像的重建；Kim等人[12]随后引入了从额外样本中学习的字典来增强高频成分。尽管如此，由于纹理细节是由随机的高频元素混合而成的，不同样本之间的纹理细节存在差异，且在字典学习过程中这些细节往往会被平滑处理。虽然分解策略，尤其是纹理分离策略，为纹理的专门处理奠定了基础，但传统方法在保留纹理细节方面仍存在局限。

深度学习的进步推动了图像融合技术的重大突破，出现了如IFCNN[13]、U2Fusion[14]和PMGI[15]等具有里程碑意义的算法。然而，这些融合网络仍然面临与纹理相关的挑战：广泛使用的像素级以及L1/L2损失函数在训练过程中可能导致数据平均化效应，从而生成全局结构或平均化的表示，但会使精细的纹理特征变得模糊。此外，深度神经网络主要依赖梯度相似性来保持融合后图像的纹理特征与原始图像一致。然而，DNN中常用的基于梯度的损失函数通常只能提取边缘信息，从而导致细微纹理信息的丢失。

近年来，基于生成模型的图像融合方法取得了显著进展。与传统基于像素级约束的方法不同，生成式融合算法（如[16]）通过概率建模来学习数据分布，从而能够合成更自然的纹理细节，提升视觉感知质量。作为主流的生成模型，扩散模型[16]、[17]、[18]利用马尔可夫链进行迭代去噪，从而能够在保证训练稳定性的同时生成高质量图像。然而，它们的性能在很大程度上依赖于配对训练数据，这使得它们不太适用于那些没有真实标签的图像融合任务（如红外-可见光融合）。更为关键的是，现有的基于扩散的融合方法[16]、[17]、[18]、[19]通常采用两种策略之一：要么以高昂的计算成本从头开始训练模型，要么在反演过程中施加复杂的工程化先验约束以实现稳定且可控的生成。这两种策略都会不可避免地导致精细信息的丢失。前者受到训练数据的规模和质量限制，同时在优化过程中还可能抑制高频细节；后者由于其固有的融合规则，往往会抑制或扭曲纹理细节。值得注意的是，这两种策略的处理流程并非专为处理纹理信息而设计。

在这项工作中，我们提出了STD-DiffFusion，这是一种通用的图像融合框架，它结合了场景-纹理分解与扩散模型，不仅能完整保留内容，还能精确重建精细纹理。鉴于图像的统计特性有助于纹理分离[20]，如图1所示，我们利用NSS模型将图像分解为粗粒度和细粒度组件。具体而言，图1(a)显示粗粒度组件始终能够捕捉到全局场景结构，而图1(b)则表明，细粒度组件比图像梯度更能有效地编码丰富的局部模式细节。因此，我们明确将源图像分解为场景结构和纹理细节两个组件。提取出的纹理细节作为重要的条件输入，用于指导扩散模型，从而生成纹理更加丰富且真实的融合图像。此外，分解后特征的跨场景稳定性表明，该方法有望成为不同融合任务之间统一的知识共享机制。

其次，为缩小扩散模型固有的随机性与图像融合高精度要求之间的差距，我们设计了双分支网络架构。该架构采用一个轻量级的双输入控制分支来指导主要的基于扩散的生成分支，从而有效约束输出，提升图像的真实性。同时，为积极弥补可能的细节丢失问题，还在生成分支中集成了一专用的纹理增强模块。

第三，我们采用了融合控制模块来生成逐像素的融合权重，以解决融合过程中的模态偏好问题。该融合控制模块会在推理阶段根据测试数据自适应地调整融合权重，使其能够在无需重新训练整个模型的情况下处理不同的数据分布。此外，像素级的融合能够保留更多原始图像的细节，尤其是边缘和纹理，这符合我们在融合图像中保留高频特征的目标。

大量实验表明，我们的方法在多种图像融合任务中都取得了领先的性能，包括红外-可见光图像融合、多焦点图像融合以及多曝光图像融合。无论是从定性还是定量评估来看，所提出的方法在融合质量、高频特征保留以及内容一致性方面均优于其他对比方法。

总体而言，本工作的主要贡献可总结如下：
•我们提出了一种分解映射框架，能够从源图像中提取场景结构信息和纹理细节信息，从而实现对粗粒度和细粒度特征的同时建模。
•我们提出了一种双控制网络架构，用以更好地编码全局内容并保留细节信息。此外，还设计了一个轻量级的双输入网络，将场景结构信息和纹理细节信息的引导融入到无条件扩散主干网络中。
•我们提出了一种融合控制模块，能够根据测试数据自适应地修改融合权重，从而使模型在更广泛的融合场景中表现更好。
•大量实验表明，所提出的方法在视觉质量和定量指标方面均优于现有方法，为通用型图像融合技术提供了新的发展方向。

本文的其余部分结构如下：第2节回顾了与本文主题相关的研究，包括基于深度学习的多模态图像融合方法和基于扩散的生成模型。第3节详细介绍了STD-DiffFusion。第4节详细阐述了定性和定量实验及分析结果。第5节总结了整篇论文的工作内容，并探讨了未来的研究方向。

章节摘录：
基于深度学习的多模态图像融合：近年来，基于深度学习的图像融合方法取得了显著进展，已成为解决图像融合问题的主流技术。这些方法大致可分为两类：单任务图像融合方法和通用图像融合方法。单任务图像融合方法通常为特定任务设计专用网络。例如，Text-IF[21]设计了文本语义编码器和语义交互融合解码器，以实现多模态...

所提出的方法：该方法主要由四个部分组成：一个将源图像分解为多个语义组件的分解模块；一个用于生成融合权重的融合控制模块；一个用于合成最终图像的扩散生成分支；以及一个为扩散过程提供引导信息的引导分支。在本节中，我们首先介绍所提出方法的整体架构，然后详细阐述每个组成部分。

数据集：我们在三种图像融合场景进行了大量实验：多模态融合、多焦点融合以及多曝光融合。多模态融合任务使用了MSRS红外和可见光数据集[40]。MFFW[41]和MEFB[42]数据集则分别用于多焦点融合和多曝光融合实验。MSRS数据集[40]是一个广泛使用的红外和可见光图像融合数据集，包含1444对经过配准的红外和可见光图像。该数据集还提供了...

结论：在本文中，我们提出了一种基于无条件扩散模型的通用图像融合框架，该框架能够处理多种融合场景，包括红外和可见光图像融合、多曝光图像融合以及多焦点图像融合。借助预训练扩散模型强大的生成能力，我们的方法能够生成具有丰富纹理的理想融合图像。此外，我们还设计了一个动态自适应加权模块，用于调整融合权重...

CRediT作者贡献声明：
Wenmin Zhou：写作——审阅与编辑，写作——初稿，方法论，研究，概念构思。Jie Wu：验证，软件，数据整理。Yidan Liu：可视化，形式分析。Leyuan Fang：写作——审阅与编辑，资金获取，概念构思。Jun Yue：写作——审阅与编辑，监督，方法论，概念构思。

利益冲突声明：作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。Wenmin Zhou于2023年在中国河南省郑州市的郑州大学获得测量控制技术与仪器学士学位，目前她正在中国湖南省长沙市湖南大学人工智能与机器人学院攻读博士学位。她的研究兴趣包括机器学习、计算成像以及图像处理。

Wenmin Zhou|Jie Wu|Yidan Liu|Leyuan Fang|Jun Yue
中国湖南省长沙市湖南大学人工智能与机器人学院，邮编410000