OFVFusion：基于光流引导的显著性学习方法，用于红外与可见光视频的融合

《Pattern Recognition》：OFVFusion: Optical flow-guided saliency learning for infrared and visible video fusion

　　•一种新型的循环框架将视频融合重新定义为Seq2Seq学习任务。•双流光流引导确保了运动对齐的鲁棒性。•在潜在空间中明确建模了长时间依赖性。•一种可学习的实例自适应损失函数平衡了热特征和纹理细节。•OFVFusion在实现SOTA性能的同时，还具有优越的计算效率。

引言
单一类型的传感器往往无法提供全面的场景表示[1]。红外（IR）图像能够穿透烟雾等遮挡物来描绘热轮廓，但缺乏纹理背景细节[2]。相反，可见光（VI）图像能够捕捉丰富的纹理，但极易受到照明变化的影响[3]。红外和可见光图像融合（IVIF）将这些互补的模态集成到一个信息丰富的结果中[4]，在安全监控、自动驾驶和侦察等领域展现出巨大潜力[5]。通过卷积神经网络（CNNs）、自动编码器（AEs）、生成对抗网络（GANs）和变换器（Transformers），深度学习在静态图像融合方面取得了显著进展[6]。然而，在转向视频处理时仍然存在一个根本性的瓶颈：局部几何精度与全局时间连贯性之间的内在冲突。大多数当前方法采用逐帧静态的处理方式，将视频视为独立的帧，并忽略时间上的先验信息。这种对时间相关性的忽视使得模型容易受到信号扰动的影响，导致亮度波动和纹理闪烁。为了克服这些限制，我们认为视频融合应该被视为一个序列到序列（Seq2Seq）任务，其中运动作为主要约束条件。这种动态范式反映了人类的视觉方式，通过在场景间保持时间记忆来实现这一点，如图1所示。尽管最近取得了进展，但在时空建模方面仍存在三个根本性的缺口。首先，尽管光流[7]能够有效描述像素级别的运动，但其系统集成到融合过程中的程度仍然不够充分，常常由于几何流未校准而导致重影伪影。其次，现有的时间模型[8]通常处理高分辨率的特征图，这带来了巨大的计算开销和内存延迟，阻碍了实时性能。第三，平衡热特征和纹理细节是一个非静态问题，传统的固定权重损失函数无法在易变的场景中进行自适应调整。因此，迫切需要一个高效框架，将显式的运动校准与场景自适应优化相结合。

为了解决这些问题，我们提出了OFVFusion，该框架使用三种核心策略将视频融合重新定义为一种具有运动感知的Seq2Seq范式。首先，设计了一种具有置信度门控的双流运动对齐机制，以确保在多种照明场景下的鲁棒几何配准。其次，时间建模被转移到一个低分辨率的潜在空间中，使用轻量级的深度可分离卷积长短时记忆网络（Depthwise Separable ConvLSTMs），显著减少了计算负担，同时保留了长时间依赖性。第三，引入了一种端到端的实例自适应显著性损失函数（End-to-End Instance-Adaptive Saliency Loss），自动优化融合过程中的权衡。实验表明，OFVFusion有效地解决了稳定性和精度之间的冲突，其推理速度优于基于Transformer的SOTA模型。主要贡献总结如下：
- 一种新型的运动感知框架，通过结合双流光流引导和潜在空间循环，从根本上改变了视频融合的范式，解决了长期存在的时间抖动问题。
- 一种潜在时间融合模块（Latent Temporal Fusion Module, LTFM），在计算效率和长时间时空建模之间实现了最佳平衡，确保了高保真度的特征聚合，而不会出现高分辨率延迟。
- 一种场景自适应优化策略，具有可学习的损失参数，能够在复杂环境中自动调整热目标与纹理保留之间的平衡。

本文的其余部分组织如下：第2节回顾相关工作；第3节详细介绍了提出的方法；第4节展示了实验结果；第5节对本文进行了总结。

本文片段
典型的红外和可见光图像融合
IVIF方法可以根据其核心理念大致分为传统方法和基于深度学习的方法。传统方法主要依赖于数字图像处理技术（广泛应用于图像[9]和视频压缩[10]）。这些方法通常根据其特征分解策略分为三类。首先，多尺度变换（Multi-scale Transform, MST）方法，包括金字塔变换[11]和小波变换[12]，将图像分解为频带。

问题表述
大多数现有的IVIF方法将视频融合简化为一系列独立的帧，忽略了时间连续性。设Vir={Itir}t=1T（Itir∈R1×H×W）和Vvi={Itvi}t=1T（Itvi∈R3×H×W）分别表示长度为T的红外和可见光视频序列，其中粗体符号表示图像张量，斜体表示标量。设Vf={Itf}t=1T（Itf∈R3×H×W）表示最终生成的融合视频序列。传统的静态范式采用逐帧映射：Itf=Gstatic(Itir)

实验与分析
本节详细介绍了实验设置、与代表性方法的性能比较、消融研究以及下游视觉任务的评估。

结论
在本文中，我们提出了OFVFusion，这是一种具有运动感知的框架，将视频融合重新定义为动态的Seq2Seq任务。通过结合双流对齐和潜在时间融合模块，我们的方法有效解决了时间不一致性问题。在多个基准测试上的评估表明，OFVFusion能够抑制闪烁和重影，同时平衡了热特征和纹理保真度。鉴于所评估的硬件和指定的基准测试，该框架实现了卓越的性能。

CRediT作者贡献声明
强振凯（Zhenkai Qiang）：撰写——原始草稿、软件实现、方法论设计、概念化。
沈宇（Yu Shen）：监督、项目管理、资金获取。
裴冠翔（Guanxiang Pei）：可视化、验证、形式分析。
袁振（Zhen Yuan）：撰写——审阅与编辑。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢
本研究得到了国家自然科学基金（项目编号62241106和61861025）、甘肃省重大科技项目（项目编号26ZDFA006）、甘肃省关键人才项目（项目编号2026RCXM025）以及甘肃省重点研发计划（项目编号24YFGA037）的支持。

强振凯 | 沈宇 | 裴冠翔 | 袁振