《Infrared Physics & Technology》：DIFF-SB: A process-optimized diffusion model for infrared-visible image fusion using Split Bregman
编辑推荐：
摘要红外-可见光图像融合技术通过整合热成像与可见光图像的互补信息，能够生成对比度高、目标清晰且纹理细腻的图像。现有的基于扩散模型的融合方法存在两个关键缺陷：过度依赖高质量融合先验，以及未能充分利用源图像信息，导致在弱光或以热成像为主的场景中出现严重信息损失。为解决这些问题，我们提
摘要
红外-可见光图像融合技术通过整合热成像与可见光图像的互补信息，能够生成对比度高、目标清晰且纹理细腻的图像。现有的基于扩散模型的融合方法存在两个关键缺陷：过度依赖高质量融合先验，以及未能充分利用源图像信息，导致在弱光或以热成像为主的场景中出现严重信息损失。为解决这些问题，我们提出了DIFF-SB这一融合框架，它采用了深度展开的Split Bregman算法，并对其数学模型进行了优化以适应图像融合任务。该框架将过程优化和基于物理原理的约束条件融入到扩散采样过程中，充分利用每种成像模式的内在特性。DIFF-SB通过Split Bregman的问题分解与迭代优化机制来实现稀疏性与保真度的平衡。此外，我们还引入了注意力特征解耦模块，将源图像分解为基础结构子空间和细节子空间，从而为后续的约束施加提供不同的特征基础。这一方法有效克服了传统Split Bregman优化仅限于单一特征维度的局限，使得我们的框架能够对跨模态信息施加多维度、差异化的约束，从而在复杂场景中更精确地保留互补细节，进而提升融合性能并增强结果的可解释性。在红外-可见光图像数据集上的大量实验表明，DIFF-SB具有出色的性能，有助于提升物体检测和语义分割等下游任务的效率。
引言
红外成像能够在各种光照条件下稳定捕捉热辐射信息，但却缺乏精细的纹理细节。多模态图像融合技术则通过整合不同成像模式的信息，生成更为全面准确的场景表征。然而，由于各种传感器的工作原理及环境因素的限制，它们往往难以同时实现空间细节的保留与光照条件的不变性。为克服这些局限，多模态图像融合技术试图充分利用不同模态之间的互补特性，从而生成结构与纹理更为完整的融合图像。这种技术思路能够充分发挥多传感器之间的协同作用，提升视觉感知能力以及后续的智能处理性能。其中应用较为广泛的一种技术就是红外-可见光图像融合技术[1]、[2]。该技术旨在同时保留红外图像中的热辐射信息与可见光图像中的精细纹理细节，从而提升物体检测[3]、目标跟踪[4]以及语义分割[5]等高级视觉任务的性能。与此同时，图像融合技术也从传统的基于模型的方法发展到了基于数据驱动的学习方式。早期的融合方法依赖于手工设计的融合规则[6]，但由于这些规则是固定的，因此难以适应复杂的跨模态非线性特征，限制了方法的泛化能力。
深度学习为图像融合技术带来了根本性的变革，使得融合方法从依赖预先设计的先验转变为基于学习得到的表示。这种新的范式赋予了融合方法前所未有的表达能力和情境适应性，使其能够捕捉到之前无法表达的复杂非线性互补关系，从而重新定义了融合技术的性能极限[7]。在这一基础上，深度生成模型进一步拓展了图像融合的技术范畴。其中，生成对抗网络通过对抗学习方式，能够生成视觉效果极为逼真的融合图像[8]。不过，基于GAN的融合方法往往存在训练不稳定以及可解释性较差的问题，这会在需要高度可靠性的关键场景中导致不可靠的融合结果[9]。
去噪扩散概率模型由于其渐进式的噪声建模能力和强大的图像生成能力，已成为一类极具影响力的生成模型[10]。通过正向扩散与反向去噪两阶段的处理流程，DDPM能够生成高保真度的图像，在生成能力与可解释性方面都展现出巨大的潜力，非常适合用于多模态融合任务。然而，现有的基于扩散模型的融合方法往往需要高质量的真实数据来学习融合图像的分布。而且，源图像的固有成像特性通常只能通过去噪网络以隐式方式被纳入模型，这就容易导致重要的结构信息与精细纹理细节的丢失或被压制。
目前的基于扩散模型的融合方法，如DIFF-IF[11]，通常依赖其他算法预先生成的融合图像，并通过搜索策略来获取特定任务所需的真实数据作为参考。这类先验不可避免地限制了模型自身的学习能力与性能上限[12]，而如何获得最优的先验仍然是一个相当棘手的难题。即便RIF-DIFF[13]采用了基于排序的机制来选择更优的先验，并利用残差图像作为生成目标以减少偏差，其核心依然在于寻找更优质的真实数据。至关重要的是，这些方法仍然过度依赖高质量先验，严重限制了扩散模型的生成灵活性以及在不同场景下的泛化能力。总体而言，现有的基于扩散模型的融合方法大多依赖结果层面的先验或隐式条件，缺乏对反向扩散过程进行明确、分步指导的手段。
为减少对高质量先验的依赖，并在生成过程中降低源图像信息的损失，我们提出了DIFF-SB这一框架，它将基于扩散模型的融合过程重新定义为一种基于物理原理的优化过程。DIFF-SB采用深度展开的Split Bregman融合网络来指导每一阶段的反向扩散过程。该过程首先以一个粗略的经验先验作为起点，之后再由SBFN来引导生成过程。与依赖静态先验不同，SBFN能够根据源图像的固有特性，如热辐射与纹理细节，动态地实现稀疏性与保真度之间的平衡。为克服单一维度Split Bregman优化的局限，我们还在SBFN中加入了注意力特征解耦模块。该模块能够将特征分为基础结构与细节子空间，从而实现自适应的多维度约束，有选择地抑制冗余信息，同时保留跨模态的互补细节。这种设计使得扩散采样过程从原本依赖先验的模仿任务，转变为基于过程优化且符合物理原理的生成过程，从而在保持生成灵活性的同时，实现可控且可解释的图像融合效果。
本研究的主要贡献如下：
- •
我们提出了DIFF-SB这一全新的融合框架，它通过结合基于扩散模型的生成方法与Split Bregman优化技术，专门用于红外-可见光图像融合任务。通过将基于模态特性的约束条件直接嵌入到扩散过程中，DIFF-SB打破了对手工高质量先验的过度依赖，实现了从依赖结果驱动的监督方式向可控、基于过程优化的生成方式的转变。
- •
我们设计了基于深度展开的Split Bregman融合网络，该网络通过问题分解与迭代优化的方式，实现了多维度的一致性控制，从而能够生成高保真度的融合图像。
- •
我们提出了注意力特征解耦模块，该模块能够有效地将图像的基础结构与局部细节特征分开，为后续的约束施加提供明确的特征基础。
内容片段
基于深度学习的方法
深度学习已成为多模态图像融合领域的主流技术。早期的研究主要探索卷积神经网络架构，试图自动学习从源图像到融合输出之间的映射关系。刘等人对深度学习在像素级图像融合中的应用进行了系统总结，为模型设计提供了方法论基础[14]。近年来，BCMFIFuse[15]提出了一种双通道跨模态特征交互网络，能够明确地对特征进行建模
方法论
所提出的DIFF-SB框架的整体架构如图1所示。该框架以配准好的红外图像与可见光图像对作为输入，首先以一个粗略的经验先验启动反向扩散过程，然后在每个时间步骤中通过带有明确一致性约束的Split Bregman优化算法逐步改进中间结果，最终生成高质量的融合图像。
实验部分
本节通过一系列实验，评估所提出的方法在红外-可见光图像融合任务上的表现。
结论
基于扩散模型的图像融合方法通常采用无监督或监督两种范式。无监督方法虽然不需要外部先验，但往往存在生成结果不稳定、可控性差以及推理效率低等问题；而监督方法虽然可以利用明确的优化目标，但其性能仍受限于所模仿的先验质量。为解决这一问题，我们提出了DIFF-SB这一经过过程优化的融合框架，它将Split Bregman算法融入其中
CRediT作者贡献说明
刘兆伦：撰写——审稿与编辑、指导、资源协调、项目管理、资金申请、数据整理、概念构思。张世龙：撰写——初稿撰写、可视化处理、结果验证、软件开发、方法设计、实验分析、形式化分析。孙志坚：撰写——审稿与编辑、指导、资源协调、项目管理、形式化分析。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢
本研究部分得到了河北省自然科学基金的资助，项目编号为F2025203033。
Zhaolun Liu|Shilong Zhang|Zijian Sun
中国秦皇岛市燕山大学信息科学与工程学院，邮编066004
