RIF-Fuse：一种具有残差增强功能的可逆频率分解方法，用于实现鲁棒的多模态融合 作者：杨安克（Anke Yang）、刘炳奇（Bingqi Liu）、刘明哲（Mingzhe Liu）、丁海华（Haihua Ding）、莫佩军（Peijun Mo）、赵成强（Chengqiang Zhao）、刘向和（Xianghe Liu）以及叶涛（Tao Ye）

《Remote Sensing》：RIF-Fuse: Invertible Frequency Decomposition with Residual Enhancement for Robust Multimodal Fusion Anke Yang, Bingqi Liu, Mingzhe Liu, Haihua Ding, Peijun Mo, Chengqiang Zhao, Xianghe Liu and Tao Ye

　　**亮点**

**主要发现是什么？**
提出了一种基于残差增强的可逆频域融合框架RIF-Fuse，该框架能够明确分离红外图像和可见光图像中的低频结构和高频细节。引入了Haar残差增强机制来补偿高频响应的不足，从而改善纹理保留效果并减少训练过程中的细节损失。设计了一种基于频带的差分融合策略，以抑制低频结构冲突，同时增强高频边缘和纹理，使得在TNO和RoadScene数据集上融合出的图像更加清晰自然。

**主要发现的意义是什么？**
研究表明，显式的频域分解可以为多模态图像合成提供一种更加可控和稳定的替代方案，相比隐式的端到端特征融合方法。通过同时提升结构一致性、纹理保真度和跨场景鲁棒性，该方法能够生成更高质量的融合图像，适用于夜间感知和监控等实际应用。

**摘要**
红外-可见光图像融合（IVIF）旨在将红外图像的热显著性与可见光图像的丰富纹理结合在一个表示中。本研究提出了RIF-Fuse框架，通过频带可控的结构-细节分离机制来提高融合稳定性和细节保真度。该框架利用基于小波的流程明确区分低频结构成分和高频纹理，并在高频分支中集成Haar残差增强机制以补偿弱纹理问题；同时采用频带感知的差分融合策略来抑制结构冲突并突出边缘。通过两阶段训练方案确保了优化过程的稳定性。在TNO和RoadScene数据集上的大量实验表明，RIF-Fuse相比现有方法能够生成更清晰的细节和更自然的图像结构，展现出在多个评估指标上的优越性能，为高保真多模态图像合成提供了可靠的解决方案。

**1. 引言**
红外-可见光图像融合（IVIF）的目标是将红外图像的热目标显著性与可见光图像的丰富纹理结合起来，生成既保留目标可区分性、结构一致性又具有细节清晰度的融合图像[1,2]。这一技术在夜间监控、自动驾驶和安全感知等应用中具有重要意义。红外成像对光照变化具有更好的鲁棒性，能够突出目标特征；而可见光成像则提供更自然的纹理、边界和细粒度场景结构。然而，由于两种成像机制和数据分布的显著差异，直接增强红外显著性可能会导致可见光结构的自然度下降。在深度学习广泛应用之前，许多IVIF方法基于变换域开发，包括多尺度分解、稀疏表示和小波基框架[3,4]。这些方法能够有效分离粗略的结构信息和细节，但通常依赖于手工设计的活动度量和融合规则，因此在复杂跨模态场景中的泛化能力有限，尤其是在源图像存在强烈模态差异、结构竞争或局部纹理较弱的情况下。

**2. 相关工作回顾**
本节回顾了传统变换域和深度学习视角下的红外-可见光图像融合（IVIF）研究。为了更好地定位所提出的框架，我们将讨论分为四个方向：传统变换域方法、端到端统一融合、结构化跨模态建模和频域感知/全局建模。这些方法在如何分解、选择和保留互补的红外和可见光信息方面存在差异。

**2.1 传统变换域基础**
在深度学习时代之前，许多IVIF方法基于变换域表示，如多尺度变换、稀疏表示和小波基分解框架[3,4]。这些方法能够分离低频近似成分和高频细节成分，具有良好的可解释性，并为融合规则设计提供了明确的基础。在这种范式中，低频系数用于保留全局亮度和结构信息，而高频系数则用于增强边缘和纹理。尽管具有可解释性，但传统变换域方法通常依赖于手工设计的活动度量和系数选择策略，因此在源图像存在强烈模态差异、局部纹理较弱或目标-背景交互复杂时适应性有限。此外，尽管经典小波分解有助于区分结构和纹理信息，但大多数传统方法无法学习数据驱动的跨模态交互，难以在具有挑战性的场景中保持热显著性和自然纹理之间的平衡。

**2.2 端到端统一融合**
端到端框架通常采用编码-融合-解码流程，并在无监督或弱监督目标下学习融合映射，例如重建一致性、强度保持和梯度约束。早期的代表性方法包括DenseFuse、IFCNN、RFN-Nest和U2Fusion[5,7,9,15,16]，它们证明了深度网络可以有效学习多模态特征的互补性。尽管取得了进展，现有方法仍存在纹理过度平滑和结构重建不稳定的问题。因此，两个常见问题仍然存在：高频纹理容易过度平滑，模态间的低频差异可能累积成结构冲突，导致局部伪影或背景不稳定。

**2.3 结构化建模与跨模态交互**
近期研究开始将频域分解与深度神经网络结合。经典小波理论为分离低频结构和高频细节提供了自然的多分辨率表示[3,4]，而小波辅助的深度框架进一步表明，显式频域分解可以改善低级视觉和图像融合中的细节保留和表示可控性[10,11,12,13,14]。然而，现有频域感知方法仍面临挑战：一些方法仅将分解作为预处理或辅助工具；一些方法在非线性变换过程中不显式补偿高频响应的不足；还有一些方法在融合低频信息时缺乏适应性冲突抑制机制。从信息表示的角度来看，这些挑战本质上与不同频带中的优化目标相关。低频成分主要表征全局布局、亮度和结构一致性，而高频成分主要描述边缘、纹理和细节清晰度。因此，更有效的解决方案是明确分离这两种信息类型并为其分配不同的融合策略。同时，分解-重建过程应保持信息传输的稳定性，否则频域建模可能会引入不可控的信息损失并降低融合鲁棒性。

**2.4 基于残差增强的可逆频域融合框架RIF-Fuse**
受这些观察的启发，我们开发了RIF-Fuse，这是一种用于红外-可见光图像融合的残差增强型可逆频域融合框架。该方法通过可逆小波分解-重建流程明确分离结构和纹理信息，实现不同信息组分的频带可控优化[13,14]。在高频分支中引入了残差增强型Haar频率编码器，以稳定弱纹理响应并减少训练过程中的细节损失。此外，设计了频带感知的差分融合策略来抑制低频结构冲突，同时增强高频边缘和纹理。结合两阶段训练方案，这些组件提高了优化稳定性和跨场景鲁棒性。

**3. RIF-Fuse框架的详细设计**
- **频带可控的显式分解接口**：构建了小波分解和重建流程，以明确表示结构（低频）和纹理（高频）成分，同时保持信息传输的稳定性。
- **残差增强的高频建模**：在高频路径中引入Haar残差增强机制，以稳定弱纹理响应并减少平滑偏差引起的细节损失。
- **频带感知的差分融合策略**：设计了子带级融合规则，以抑制低频成分中的结构冲突，同时增强高频成分中的边缘和纹理。

**4. 实验与结果**
在TNO和RoadScene数据集上的广泛实验表明，RIF-Fuse生成的图像细节更清晰，结构更自然，优于现有方法。结果表明，RIF-Fuse在多个评估指标上实现了卓越的平衡，为高保真多模态图像合成提供了可靠的解决方案。

**5. 结论**
本文总结了RIF-Fuse的主要贡献，并指出了其在红外-可见光图像融合领域的应用前景。这些方法表明，融合质量的提升不仅可以通过修改网络结构来实现，还可以通过引入更强的语义或任务级指导来实现。与现有的统一、结构化或小波辅助方法不同，所提出的RIF-Fuse被设计为一个残差增强的可逆频域框架。它明确地为低频和高频分量分配了不同的语义角色，引入了残差增强路径来补偿高频分支中较弱的纹理响应，并采用了一种基于频带的差异融合策略来满足结构和细节子带的独特需求。通过这种方式，我们的方法旨在提供一个更具可解释性和可控性的融合机制，同时通过可逆分解和重建保持信息的忠实传输。

3. 方法
3.1. 框架概述
如图1所示，我们提出了RIF-Fuse，这是一个用于红外-可见光图像融合的分解-逐带融合-重建框架。给定一对红外图像I和可见光图像V，目标是生成一个融合图像F，该图像保留了可见光模态的自然纹理和细节，同时注入了显著的红外目标，同时避免了由于模态差异引起的结构冲突和伪影。与直接在空间域融合特征不同，RIF-Fuse为潜在表示明确分配了两个语义角色：基础（结构基础）和细节（纹理细节）。这种明确的划分是基于这样的观察：低频和高频信息在多模态融合中扮演不同的角色，因此不应该在完全相同的融合机制下进行优化。首先使用编码器提取和分解两种模态的特征：

图1. 提出的RIF-Fuse框架概述。该框架采用了两阶段的分解-融合-重建策略。在第一阶段，每种模态通过BFE和DFE分解为基础特征和细节特征，然后重建以稳定特征分解。在第二阶段，基础特征和细节特征分别通过WBFL和WDFL融合，并解码以生成融合图像。基础融合在小波域中使用WA和PV规则进行，而细节融合则采用RHFE来增强边缘和弱纹理。右下角面板显示了Resformer块的结构。缩写：BFE，基础特征提取；DFE，细节特征提取；WBFL，基于小波的基础融合层；WDFL，基于小波的细节融合层；RHFE，残差增强的Haar频率编码器；WA，加权平均；PV，保留可见光。这里，B代表相对低频的信息，如全局结构和亮度，而D捕获相对高频的变化，如边缘和纹理。

在获得基础和细节表示后，进行逐带融合：

最后，解码器重建融合图像：

以频率感知方式进行融合的动机在于，频带分解明确暴露了低频和高频分量的层次结构。低频分量与全局布局、亮度一致性和结构稳定性更为相关，而高频分量主要对应于边缘、局部对比度过渡和细纹理。因此，RIF-Fuse的设计原则可以总结为在稳定低频结构的同时锐化高频细节。通过解耦这两种信息类型并为其分配不同的融合策略，所提出的框架为结构一致性和细节保真度之间的权衡提供了更可控的解决方案。

为了清晰起见，基础融合模块、细节融合模块和基于变压器的编码器-解码器主干的详细结构分别在图2、图3和图4中展示。图2展示了基于小波的基础融合过程，图3显示了残差增强的细节融合过程，图4描绘了主干中使用的Resformer块的内部结构。

图2. 基础融合块的结构。基础分支对基础特征应用Haar小波分解，对低频分量使用加权平均，保留可见的高频分量，然后通过逆小波变换重建融合的基础特征。
图3. 细节融合块的结构。细节分支通过小波分解、残差增强和卷积融合来增强和融合高频细节信息。
图4. Resformer块的结构。每个块由一个Multi-DConv Head Transposed Attention（MDTA）模块用于全局交互和长距离依赖建模，后面跟着一个Gated-DConv Feed-Forward Network（GDFN）用于高效的局部纹理增强。采用层归一化和残差连接来稳定优化并改善特征传播。

3.2. 两阶段训练策略
在红外-可见光图像融合任务中，通常没有真实的融合图像作为监督数据。直接同时训练分解、融合和重建可能会导致早期优化不稳定[25]。因此，我们采用了两阶段训练策略。这种策略的动机是需要将表示稳定与融合学习分开。在早期训练阶段，如果一次性优化分解、子带融合和图像重建，编码器可能还不能提供足够稳定的基础-细节表示，这反过来使得后续的融合模块更难以优化。因此，我们首先建立一个可靠的分解空间，然后在其基础上引入特定于融合的学习。这种分阶段设计提高了优化稳定性，并在训练过程中使每个模块的作用更加明确。

3.2.1. 第一阶段：分解预训练
第一阶段的目标是学习稳定的基础-细节表示。对于输入图像，

训练目标定义为

其中表示像素重建损失，强制结构相似性，表示正则化项。在这个阶段，只有编码器和解码器参数被更新，而所有与融合相关的模块保持不变。在我们的实现中，第一阶段对应于前20个训练周期。这个阶段鼓励编码器在引入跨模态融合之前为每种模态产生稳定的基础和细节表示，从而减少来自融合层的优化干扰。

3.2.2. 第二阶段：融合训练
在获得稳定的分解后，引入融合层，并对整个网络进行联合优化。这个阶段使得分解表示和融合策略在融合目标下共同进化，提高了训练稳定性和最终的融合性能。更具体地说，预训练的编码器首先从红外和可见光输入中提取特定于模态的基础和细节特征。然后激活基础融合模块和细节融合模块以生成融合的子带表示，最终解码为融合图像。在这个阶段，融合目标与分解正则化项结合，以便网络在保持第一阶段学到的所需的结构-细节分离行为的同时提高融合质量。

在我们的实现中，第二阶段在分解预训练阶段之后开始，占据剩余的30个周期。在这个阶段，编码器、解码器、基础融合模块和细节融合模块以端到端的方式共同优化。学习率在第一阶段设置为，在第二阶段降低到，这进一步稳定了从表示学习到以融合为导向的优化的过渡。

从优化的角度来看，这种两阶段策略有两个目的。首先，它防止了在有意义的基-细节语义形成之前，分解过程被过早的融合梯度所主导。其次，一旦获得了稳定的分解基础，融合模块就可以专注于学习如何更有效地协调低频结构信息和高频细节信息。因此，两阶段设计不仅仅是一种训练启发式方法，而且是所提出的基于频率感知的融合框架的一个组成部分。

3.3. 基于小波的频率融合
为了明确建模频域信息，采用Haar小波变换来进行离散小波分解（DWT）和重建（IDWT）[3,4]。对于输入的特征图，DWT将其分解为四个子带：

我们采用Haar小波，因为它简单、正交、计算量轻量，并且易于集成到可逆的分解-重建流程中。此外，一级Haar分解直接产生一个低频近似子带和三个方向性高频细节子带，这与我们明确分离结构和纹理信息的目标非常吻合，同时保持频域变换的开销较低。这种分解自然地将结构信息（低频）与纹理信息（高频）分开，允许将不同的融合策略分配给不同的语义角色。在RIF-Fuse中，基础分支旨在保持低频结构的一致性并抑制跨模态冲突，而细节分支则专注于保留和增强高频边缘和纹理。

3.3.1. 基础融合
如图2所示，基础分支首先将特定于模态的基础特征分解为小波子带，然后执行基于频带的融合以保持结构一致性，同时抑制低频冲突。基础分支旨在在减少模态之间的低频冲突的同时保持结构一致性。给定基础特征

首先应用小波分解：

由于低频子带主要决定全局结构和亮度分布，它们被适应性融合：

由于低频子带主要决定全局结构和亮度分布，因此它们被适应性融合：

权重网络被实现为一个轻量级的两层卷积模块。具体来说，连接的低频特征首先通过卷积从通道投影到C通道，然后进行批量归一化和ReLU激活。然后使用第二个卷积生成最终的权重图，sigmoid激活将限制在范围内。这种设计允许网络在保持低计算开销的同时，适应性地强调每个位置的更可靠的结构响应。权重网络与整个模型一起端到端地进行优化，而不是单独训练。

对于基础分支中的高频子带，优先保留方向响应更强的模态：

融合的基础特征通过IDWT重建：

这种设计的理由是，红外和可见光模态之间的低频不一致性是结构竞争和背景不稳定的主要原因之一。因此，低频融合通过自适应加权来处理，而不是直接平均，而高频方向响应被选择性地继承以保留与结构相关的细节，而不引入过多的平滑。

3.3.2. 细节融合
图3展示了细节融合分支。细节分支旨在保留边缘和纹理，同时避免模态之间的不连续切换。给定细节特征

首先应用小波分解：

子带沿通道维度打包：

一个轻量级的卷积编码器生成频率表示：

为了提高细节保留，引入了残差旁路：

残差增强后的表示变为：

在方程（18）中添加残差之前，两个分支被投影到相同的特征大小。编码后的频率表示是从打包的小波子带获得的，并映射到目标特征维度，而残差分支应用步长卷积投影，以便具有与相同的空间分辨率和通道数。因此，在维度对齐之后进行残差添加，这确保了方程（18）中的操作是明确定义的。最后，进行跨模态融合：

然后将融合的细节特征上采样到原始分辨率：

与直接的空间域连接相比，这种设计提供了两个优势。首先，小波分解暴露了方向性高频响应，使得与纹理相关的融合更加结构化和可控。其次，残差增强路径补偿了在非线性特征变换过程中可能被抑制的低频响应，从而提高了重建融合图像中的边缘连续性和细节保留。

3.4. 基于变压器的编码器-解码器主干
为了增强长距离依赖建模和改善全局上下文聚合，我们在所提出的框架中采用了基于变压器的编码器-解码器主干。与纯卷积设计相比，基于变压器的块在捕获长距离上下文交互方面更有效，这对于红外-可见光图像融合非常有益，因为目标显著性、结构一致性和背景连贯性通常取决于局部细节和非局部上下文关系。整个主干在图4中展示。

编码器首先将输入图像投影到一个潜在特征空间

然后通过堆叠的变压器块处理编码后的特征以提取层次化的上下文表示

在当前的实现中，编码器包含4个变压器块，解码器也包含4个变压器块。这种配置旨在平衡表示能力和计算效率。解码器在基础-细节融合后重建特征表示

最后，输出层将解码后的特征映射到融合图像：

如图4所示，每个变压器块由一个归一化层、一个多头自注意力模块和一个前馈模块组成，以及相邻子层之间的残差连接。该设计使得主干网络能够在统一的架构中共同建模全局交互和局部特征细化。从表示学习的角度来看，将变换器模块引入编码器-解码器结构具有两个优势。首先，全局感受野有助于在重建过程中保持场景级别的结构一致性，这在红外和可见光模态包含不同但空间相关的显著特征时尤为重要。其次，上下文聚合使得融合表示不那么依赖于纯粹的局部决策，从而降低了结构不连续或局部纹理不一致的风险。基于变换器的主干网络并不直接替代频率分解的作用；相反，它补充了所提出的频率感知融合流程。小波引导的基础和细节分支明确地规定了应保留和融合的信息类型，而基于变换器的编码器-解码器则为编码和重建提供了更强的上下文建模。通过这种方式，显式的频率分解和全局上下文建模被整合到一个统一的框架中。

3.5 方法总结
总之，RIF-Fuse首先通过两阶段训练策略建立了稳定的基础-细节分解。然后引入基于小波的频域模块来进行带域融合。低频成分强调结构一致性和冲突抑制，而高频成分则专注于保持边缘和纹理。残差增强的频率编码器进一步稳定了高频表示。通过整合可逆小波分解、带域感知融合策略和残差增强机制，RIF-Fuse在红外-可见光图像融合中实现了结构稳定性和细节保真度之间的更好平衡。附录A提供了额外的实验结果和补充的视觉比较。

4. 实验
本节对所提出的残差增强型可逆频域融合框架RIF-Fuse进行了系统的评估。由于红外-可见光图像融合缺乏用于监督和评估的独特真实融合图像，单一数据集或指标无法完全反映融合方法的整体性能。因此，我们采用了一种结合跨数据集评估、多种定量指标、消融研究和定性视觉比较的实验方案。具体来说，该模型在MSRS数据集[26]上进行训练，并在TNO[27]和RoadScene[28]数据集上进行评估。定量评估使用了反映信息内容、结构保留和细节强度的多种互补指标。

4.1 训练和测试设置
我们采用源域训练和跨域测试的方案。模型在MSRS数据集上进行训练，而在TNO和RoadScene上进行测试。这种设置更好地反映了训练分布与测试环境不同的实际应用场景。所提出的方法是在PyTorch中实现的。训练遵循第3节描述的两阶段策略。在第一阶段，仅更新编码器和解码器以建立稳定的基础-细节表示，而所有与融合相关的模块保持不变。在第二阶段，激活基础融合模块、细节融合模块和频域融合模块，并对整个网络进行联合优化。这种设置使训练计划与所提出框架的功能分解更加一致。模型训练了50个周期，批量大小为16。前20个周期用于分解预训练，剩余30个周期用于融合训练。采用Adam优化器并设置权重衰减。学习率在第一阶段为，在第二阶段为。训练过程中应用余弦退火学习率调度。

在实现过程中，第一阶段的优化仅限于表示学习，以便编码器首先为每种模态提供稳定的基础和细节特征。在建立这个分解空间之后，第二阶段引入与融合相关的模块，并在融合目标下联合优化整个模型。这种分阶段设置提高了优化稳定性，并降低了过早的融合梯度破坏有意义的频率感知表示形成的风险。为了保证可重复性，尽可能在相同的预处理流程和相同的评估脚本下对所有模型进行定量比较。当有官方实现时，直接使用它们；否则，根据原始描述重新实现比较方法。这种设置旨在确保在统一的测试条件下进行公平比较。我们还评估了所提出框架的计算成本。对于给定的输入大小，RIF-Fuse包含1.64 M个可学习参数，需要120.25 G FLOPs。平均推理时间为每张图像158.19毫秒，相当于6.32 FPS。推理时间是在NVIDIA GeForce RTX 4090 GPU上使用PyTorch 2.1.2和CUDA 12.1进行100次前向传递时测量的，FLOPs是使用标准的基于PyTorch的剖析工具计算的。

4.2 数据集
MSRS（训练数据集）。MSRS数据集[26]包含了从真实世界道路场景中收集的对齐的红外和可见光图像对。它包括夜间场景、行人、车辆和复杂背景等各种条件。我们使用MSRS作为训练数据集。
TNO（测试数据集）。TNO数据集[27]是红外-可见光融合研究中广泛使用的基准数据集。它包含具有不同成像条件的多样化场景，常用于评估鲁棒性和泛化能力。
RoadScene（测试数据集）。RoadScene[28]专注于以道路为中心的场景，包含车辆、行人和建筑物。该数据集强调结构一致性和细节保留，适合评估融合算法的实际可用性。

4.3 基线
为了全面评估所提出的方法，我们将RIF-Fuse与几种代表性的红外-可见光融合方法进行了比较。这些方法代表了文献中的不同设计理念，包括端到端统一融合、显式特征分解、全局上下文建模、跨模态交互和以鲁棒性为导向的融合设计。通过选择具有不同架构特性的基线，我们旨在提供更平衡的比较，并从多个角度更好地分析所提出框架的优势。具体来说，比较的方法包括PIAFusion[29]、U2Fusion[9]、IGNet[30]、CDDFuse[25]、PFCFuse[31]、EMMA[17]、MaeFuse[19]和DAFusion[18]。PIAFusion和U2Fusion是代表性的端到端融合方法，是评估统一空间域融合行为的重要参考。IGNet提供了另一个基线，用于评估红外-可见光融合环境下的特征交互和重建能力。其中，CDDFuse[25]引入了相关驱动的双分支分解，以明确分离共享和模态特定的组件，使其成为结构化表示学习的强大基线。PFCFuse[31]整合了PoolFormer和CNN模块，以改善全局上下文建模，同时保持局部特征提取能力。EMMA[17]通过等变特征对齐增强了跨模态交互，因此特别适合评估更强的特征通信是否可以提高融合质量。我们还包括了两种最近的方法，MaeFuse[19]和DAFusion[18]。MaeFuse利用掩码自编码器预训练来改善表示学习和跨域泛化，而DAFusion则关注在分布变化和退化成像条件下的鲁棒性。这些方法共同为在一般和具有挑战性的场景下评估所提出的RIF-Fuse框架提供了有竞争力和代表性的基线。尽可能使用官方实现。否则，根据原始论文重新实现方法。所有模型都在相同的预处理流程和评估脚本下进行评估，以确保公平比较。此外，表1、表2、表3、表4、表5和表6中明确给出了比较方法的相应参考编号，以便与原始文献进行交叉验证。

4.4 评估指标
融合质量不能仅用一个指标来完全描述。因此，我们使用了七个广泛使用的指标来评估融合性能的不同方面。
EN（熵）：衡量融合图像的信息内容。
SD（标准差）：反映强度分布的对比度和分散程度。
SF（空间频率）[34]：表示边缘和纹理变化的强度。
MI（互信息）[35]：评估保留了多少源信息。
SCD（差异的相关性总和）[36]：衡量结构变化的保留程度。
VIF（视觉信息保真度）[37]：反映感知保真度。
[38]：评估边缘保留质量。
这些指标共同衡量了信息丰富度、结构保留和细节表示。附录B提供了额外的实验结果和补充的视觉比较。

4.5 定量比较
表1和表2报告了在TNO和RoadScene数据集上的定量比较结果。总体而言，RIF-Fuse在多个互补指标上取得了有竞争力的性能，并在结构稳定性和细节保留之间显示出了良好的平衡。由于不同的指标强调融合质量的不同方面，定量结果应综合考虑，而不仅仅通过单一指标来解释。在TNO数据集上，所提出的方法在EN、SF和MI方面取得了最佳性能，同时在SD、VIF和方面也保持竞争力。EN的改进表明融合图像包含更丰富的整体信息，而最高的SF表明边缘和纹理活动更强。强烈的MI分数进一步表明两种模态的互补信息在融合结果中得到了有效保留。尽管CDDFuse和MaeFuse在某些感知或结构相关指标上表现良好，但RIF-Fuse在信息丰富度、细节活跃度和源信息保留方面表现出更优的平衡，这与共同保留热显著性和可见细结构的设计目标一致。在RoadScene数据集上，RIF-Fuse的优势更加明显。所提出的方法在EN、SD和SF方面取得了最佳值，并在SCD方面达到了竞争水平。特别是SD和SF的改进表明融合图像具有更强的对比度变化和更活跃的高频响应，这对于包含边界、车辆、行人和其他结构丰富对象的道路场景来说是理想的。尽管一些比较方法在某些个别指标（如MI或VIF）上获得了更高的值，但RIF-Fuse在与对比度增强、结构表现力和细节清晰度最密切相关的指标上始终表现强劲。由于RoadScene包含更复杂的场景结构，如车辆和道路边界，这些结果表明所提出的框架能够在具有挑战性的场景中保持结构一致性和细节清晰度。总之，两个数据集上的定量结果表明，所提出的可逆频率分解和带域感知融合策略有助于提高信息丰富度和细节表示，同时保持竞争性的结构一致性。这一趋势在RoadScene上尤为明显，因为场景复杂性对对比度保留和纹理重建提出了更高的要求。

4.6 先前验证
为了调查所提出框架的优势主要来自频域表示还是手工制作的线索，我们将几种代表性的先验（包括Canny、GRE和HOG）与基于小波的分解基线IDWT进行了比较。为了公平比较，这些先验在相同的评估协议下作为替代前端表示使用，并使用相同的定量指标在TNO和RoadScene数据集上对其输出进行评估。在这个验证实验中，Canny用于强调边缘响应，GRE用于增强与局部梯度相关的结构，HOG用于表征方向敏感的局部模式，IDWT作为频域分解基线。这种比较旨在确定所提出框架的优势主要来自频率感知表示还是手工制作的局部线索。从表3和表4可以看出，手工制作的先验可以增强某些局部响应，但通常只在特定的指标上表现良好。例如，Canny由于其边缘增强特性而产生强烈的SF值，而GRE或HOG可能在特定场景下改善某些结构相关统计。然而，这些先验缺乏同时保留结构和细节的统一表示机制。与手工制作的先验相比，IDWT在几个结构和信息相关指标上表现出更优的整体行为，尽管它并不是在每个指标上都是最好的。在TNO数据集上，IDWT在比较的先验中获得了最高的SD、MI、SCD和VIF。在RoadScene数据集上，IDWT在SD、MI和VIF上也明显更强，而手工制作的先验在某些其他个别指标（如SF或SCD）上表现出相对更好的值。因此，这些结果并不是一致地声称具有更稳定的性能，而是更准确地表明，频域分解提供了一种更加平衡和系统的表示方法，既能保留全局结构，也能保留互补的源信息。这一观察结果与RIF-Fuse的设计理念是一致的。手工制作的先验通常专门用于增强某些局部模式，如梯度或边缘响应，但它们并没有提供一个统一的分解接口来共同调节低频结构信息和高频细节信息。相比之下，基于小波的分解提供了一种更加结构化的多尺度表示方法，这更符合同时保持结构一致性和细节保真度的融合目标。

4.7 消融研究
为了分析每个组件的贡献，我们在TNO和RoadScene数据集上进行了消融研究。消融研究围绕所提出框架的主要模块进行，包括基于小波的分解基线、带感知融合策略、基于Haar的高频建模路径以及细节分支中的残差增强机制。为了清晰起见，评估的配置定义如下：IDWT表示基于小波的分解基线；BA表示带感知融合策略；IDWT + Haar表示结合了小波分解和基于Haar的高频路径的模型；IDWT+BA将分解基线与带感知融合策略结合起来；RIF-Fuse表示完整的模型。此外，为了更明确地隔离残差补偿机制的贡献，我们进一步引入了一个“无残差增强”配置（在表5和表6中简称为“w/o res-enhance”），在该配置中，高频分支中的残差被移除，同时保留了基于Haar的分解路径。这种额外的配置是必要的，因为之前报告的IDWT + Haar设置验证了引入基于Haar的细节路径的效果，但它并没有完全隔离残差补偿机制本身的贡献。

首先，将IDWT与BA进行比较显示，带感知融合在两个数据集上都提高了EN和SF，表明对低频和高频组件的差异化处理可以有效增强信息丰富度和边缘活性。这一趋势表明，即使在引入完整的残差增强框架之前，也为结构和细节组件分配不同的融合行为也是有益的。

其次，将IDWT与IDWT+Haar进行比较，展示了引入基于Haar的高频路径的效果。Haar分支在RoadScene数据集上特别提高了EN和SF，表明额外的频率感知细节建模有助于保留弱纹理和增强更复杂场景中的局部细节响应。应该更直接地比较IDWT + Haar和“w/o res-enhance”，因为这两种设置的主要区别在于是否激活了残差补偿路径。从表5和表6可以看出，这两种配置在几个指标上的差异相对有限，这表明基于Haar的高频路径已经对细节建模做出了实质性贡献。因此，残差增强分支应该被解释为提供了额外的但相对适度的细化，而不是单独的主导性能提升。

更具体地说，在TNO数据集上，IDWT + Haar和“w/o res-enhance”在EN、SF、VIF等指标上表现出非常相似的结果，而SD、MI和SCD的差异也相对较小。这表明，在背景较干净、显著目标较集中的简单场景中，主要的好处已经来自基于Haar的频率感知细节路径，而残差补偿机制主要提供了有限的补充细化。在RoadScene数据集上，这两种配置总体上仍然接近，但完整模型在EN、SD和SF方面仍然实现了最强的联合性能。这表明残差增强路径本身并没有显著改变性能趋势，但仍然可以在完整框架内提供有用的补充。

表5和表6中的指标变化也表明，所提出的模块并不会同时改善所有指标，因为不同的指标强调融合质量的不同方面。在TNO数据集上，引入BA和与Haar相关的组件显著提高了EN和SF，表明信息丰富度和边缘/纹理响应更加活跃。然而，与IDWT基线相比，SD、MI和VIF有所下降。这种现象与所比较配置的不同表示特性密切相关。作为纯基于小波的分解基线，IDWT以更直接的方式保留了源图像的统计信息和子带信息，分解后的学习调制相对有限。因此，其融合输出与原始源分布的相关性更强，这对于SD、MI和VIF等指标有利，这些指标对强度分散、源信息继承和源相关的感知保真度敏感。这种趋势在相对简单的场景中尤为明显，因为源结构更清晰，原始统计特性可以更直接地保留。相比之下，所提出的模块并不旨在最大化与源图像的直接统计相似性。相反，它们通过抑制低频结构竞争和增强高频细节建模来引入更适应性的融合调节。尽管这改善了结构-细节的协调性，并增强了融合表示的表现力，但也降低了输出直接遵循原始源分布的程度。因此，一些倾向于更强源级统计一致性的指标可能会下降，即使融合图像表现出更好的结构组织和更丰富的细节表示。相比之下，所提出的模块更积极地增强高频细节并抑制结构冲突，这提高了细节的表现力，但可能会降低与源图像的直接统计相关性。

在RoadScene数据集上，行为略有不同。尽管MI和VIF与IDWT相比有所下降，但完整的RIF-Fuse模型实现了最高的SD以及最佳的EN和SF。这表明，在结构更复杂的场景中，如包含边界、车辆和密集分布纹理的道路环境，所提出的带感知融合和残差增强细节建模在增强对比度和结构表现力方面更为有效。因此，消融结果表明，所提出的框架在对比度/细节增强和源信息保留之间取得了更好的平衡，而不是统一最大化每个指标。

最后，在完整的RIF-Fuse模型中结合上述机制，使得两个数据集的整体平衡性最强。在TNO数据集上，完整模型实现了最佳的EN和SF，同时在其他指标上也具有竞争力。在RoadScene数据集上，它实现了最佳的EN、SD和SF，表明所提出的框架可以共同提高对比度、结构表现力和细节清晰度。

4.8 定性比较
图5展示了在TNO和RoadScene数据集上的定性比较结果。与竞争方法相比，RIF-Fuse在保留显著红外目标的同时，保持了更自然的可见纹理和更清晰的结构边界。更具体地说，在包含弱目标或暗背景的区域，所提出的方法更清晰地突出了热学上显著的对象，而不会引入严重的背景过度增强。同时，如道路边界、车辆轮廓和周围场景结构等纹理区域保持相对清晰和连续。这一观察结果与定量结果一致：强的SF和EN值对应于更好的边缘活性和信息丰富度的保留，而竞争性的SCD值表明这些改进是在没有明显结构不一致的情况下实现的。相比之下，一些比较方法倾向于过度强调红外显著性或可见纹理。前者可能导致不自然的局部亮度或结构漂移，而后者可能会削弱目标的突出度。视觉结果表明，RIF-Fuse提供了更平衡的融合行为，这与稳定低频结构同时增强高频细节的设计原则是一致的。

5. 讨论
尽管所提出的RIF-Fuse框架在多个基准测试中取得了有竞争力的性能，但仍存在一些限制，并为进一步改进提供了机会。首先，当前框架主要关注频域分解和局部特征交互。尽管基于变压器的骨干引入了基于注意力的全局建模能力，但在某些复杂场景中，远距离区域之间的长距离结构依赖性可能仍然无法充分捕获。在这种情况下，有限的全局交互可能会限制模型在整个图像中保持完全一致的结构关系的能力。最近的序列建模方法，如状态空间模型（例如Mamba）[39,40]，已经展示了在高计算效率下捕获长距离依赖性的强大能力。将这些机制整合到融合框架中可能会进一步提高全局结构协调性，同时保持高效的推理。

其次，所提出的框架假设红外和可见图像是对齐的。然而，在实际应用中，由于传感器差异、视角变化和环境干扰，轻微的不对齐或配准错误往往是不可避免的。这些空间不一致性可能会影响频域融合的可靠性，特别是在直接组合高频组件时，可能会导致融合结果中出现局部伪影或结构扭曲。为了解决这一限制，未来的研究可以探索明确考虑配准不确定性的鲁棒融合策略。例如，结合轻量级对齐模块、空间变换器或可变形特征对齐机制可能有助于在不完美配准条件下提高融合过程的鲁棒性。

第三，尽管基于小波的分解提供了可解释且计算效率高的频域表示，但在建模复杂的跨模态关系时仍可能存在某些限制。固定的小波滤波器可能无法完全适应多样化的场景结构或模态特定特性。因此，更灵活的替代方案，如可学习的频率变换、自适应多尺度表示或动态分解策略，可以进一步提高融合框架的表示能力。尽管存在这些限制，所提出的带感知融合设计为平衡结构一致性和细节保留提供了一个清晰且可解释的机制。

6. 结论
本文提出了RIF-Fuse，这是一个带感知的红外和可见图像融合框架，它将频域分解与基于Resformer的编码器-解码器架构相结合。所提出的方法通过基础-细节分解策略明确分离结构和纹理信息，并在小波域中进行带域融合。低频组件被适应性加权以保持结构一致性，而高频组件被选择性地继承以保持边缘和纹理细节。此外，残差增强的Haar频率编码器（RHFE）和Concat + Conv融合模块进一步改善了细节表示，并增强了融合过程的稳定性。在TNO和RoadScene数据集上进行的广泛实验表明，所提出的方法与几种最先进的融合方法相比取得了有竞争力的性能。定性和定量结果都显示，RIF-Fuse有效地保留了显著的红外目标，同时保持了自然的可见纹理和清晰的结构边界。此外，消融研究验证了所提出的频域融合策略的有效性以及每个组件对整个框架的贡献。

尽管所提出的方法取得了有希望的结果，但仍有一些方面值得进一步研究。未来的工作将探索更强的全局建模机制、更鲁棒的感知对齐融合策略和自适应频率表示，以进一步提高框架的鲁棒性和泛化能力。我们希望所提出的带感知融合设计能为未来关于可解释和高效的多模态图像融合方法的研究提供有用的指导。