编辑推荐：
红外与可见光图像融合方法研究，提出基于深度图像先验的双输入网络架构，通过连接模块增强红外特征表达，利用自回归特性构建融合任务先验。实验表明该方法在多个公开数据集上融合质量优异，支持下游目标检测和语义分割任务，验证了网络结构对跨模态特征融合的有效性。
郝斋|邓敏杰|严伟|王龙|李安宇
重庆师范大学计算机与信息科学学院，中国重庆，401331
摘要
红外图像与可见光图像融合的目标是生成一种同时包含两种模态特征的图像，从而增强其信息丰富度和表现能力。尽管深度图像先验在传统的逆问题（如图像恢复和去噪）中表现出色，但传统的网络结构难以有效捕捉多模态图像融合所需的联合特征。为了解决这个问题，我们提出了一种融合框架，该框架以可见光图像作为主要的退化输入，并将融合任务建模为基于可见光模态的融合特征图像的重建。该框架利用融合图像的内部递归性，在下采样阶段引入连接模块来增强红外特征表示，从而利用网络结构形成指导融合过程的深度图像先验。实验结果进一步表明，尽管网络受到退化输入的影响，其结构仍能隐式提取图像融合所需的有效先验。通过替换网络路径中的输入图像，可以激活深度图像先验以生成目标融合图像。我们在几个公开的红外-可见光数据集上进行了定性和定量比较，证明了所提出方法在融合质量和下游任务性能方面的有效性。我们的代码可在
https://github.com/DMinjie/ZVIR获取。
引言
融合红外图像和可见光图像的主要目的是将红外图像的热信息与可见光图像的详细纹理信息结合起来，生成新的图像，从而显著提高目标检测和跟踪的能力。现有的红外图像和可见光图像融合技术主要分为两类：传统方法和深度学习方法。传统方法通常包括基于多尺度变换、稀疏表示、子空间和显著性等方法[1]。然而，传统方法在设计上往往较为复杂，并且在现实环境中仍面临挑战。因此，凭借其强大的学习能力，深度学习逐渐成为图像处理的主流方法。根据结构差异，深度学习方法主要可以分为四类：基于卷积神经网络（CNN）的方法、基于自动编码器（AE）的方法、基于生成对抗网络（GAN）的方法以及基于变换器的方法。此外，还有一些方法将深度学习与传统方法结合使用，以进一步提高融合性能。
近年来，深度图像先验在超分辨率（SR）和图像重建领域的成就[2]成功证明了可以从原始图像中直接提取图像的先验信息，而无需依赖大型数据集。未经训练的神经网络在处理图像重建和去噪等任务时，可以生成符合自然图像统计特性的结果[3]。在此基础上，深度图像先验已被扩展到单模态多焦点图像融合任务[4]，其中全焦点图像的生成被视为一个去噪问题来实现图像融合。
然而，传统的深度图像先验方法仅适用于单模态逆问题，不适用于跨不同模态的特征提取，这限制了它们在红外图像和可见光图像融合中的应用。为了解决这一限制，我们设计了一种双输入网络架构。主路径接收可见光图像，并通过跳跃连接为图像重建提供直接的结构信息。次级路径以可见光图像和红外图像的线性加权组合作为输入，允许通过连接模块在网络中调节红外特征。在损失函数方面，我们强调了来自可见光图像的空间结构信息以及来自可见光和红外图像的边缘信息。由于网络设计的不对称性和损失配置，迭代优化过程中的输出倾向于表现出可见光偏置的特征分布。然而，网络隐式地学习了有用的先验。在最后一次迭代中，通过扰动网络路径中的输入，可以激活嵌入的深度图像先验，从而生成融合图像。所提出的ZVIR融合框架的贡献总结如下：
•据我们所知，这是首次将深度图像先验应用于红外图像和可见光图像融合任务的研究，其中利用网络结构提取深度图像先验以实现零样本融合。
•提出了一种新颖的网络架构，通过连接模块逐步增强特征先验，使网络能够根据图像本身包含的信息建立不同的先验。
•本研究验证了网络架构能够隐式捕获深度图像先验。通过引入对输入路径的扰动，可以减轻浅层对这些先验的抑制作用，从而促进深度图像先验的激活并生成最终的融合图像。
•在多个公开的红外-可见光数据集上进行了广泛的定性和定量实验，证明了所提出方法在融合质量和下游任务性能方面的有效性。
本文的结构如下：第2节回顾了图像融合和深度图像先验应用的相关工作。第3节详细描述了所提出的网络架构，并解释了每个模块的功能。第4节通过与其他方法的比较实验，评估了融合质量和下游任务性能。第5节进行了消融研究并提供了理论分析。第6节总结了研究结果。
相关工作
相关工作
在本节中，将介绍和回顾与红外图像和可见光图像融合（VIF）相关的方法，然后介绍深度图像先验的应用和发展。
方法
在本节中，我们将详细介绍网络架构，包括每个模块的功能和细节。然后，我们描述损失函数的设计，以及激活深度图像先验的方法。
对比实验与分析
在本节中，我们使用公开数据集与最先进的方法进行对比实验，以验证所提出方法的有效性。此外，我们还在图像融合的下游任务上进行了目标检测和语义分割实验。最后，我们评估了网络的参数规模和运行效率。
结构先验分析
在辅助路径中，我们使用红外图像和可见光图像的加权融合作为网络的红外特征输入。在此路径中，红外图像的权重影响整个网络中红外特征的表示。在本节中，我们进行了实验，以验证不同红外特征比例下融合图像的表现性能，从而验证了所提出结构的有效性。如图16所示，随着
结论
本文提出了一种用于红外图像和可见光图像融合的深度图像先验网络架构，以及由深度图像先验激活的零样本方法。融合任务被构建为基于可见光图像重建融合图像，利用融合图像本身的内部递归性。网络结构提取并平衡来自不同模态的特征信息，形成深度图像先验。研究表明，尽管深度图像的表达
CRediT作者贡献声明
郝斋：撰写 – 审稿与编辑、软件、方法论、资金获取、数据管理。邓敏杰：撰写 – 审稿与编辑、初稿撰写、方法论、概念化。严伟：撰写 – 审稿与编辑、验证。王龙：撰写 – 审稿与编辑、验证。李安宇：撰写 – 审稿与编辑、指导。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
