FusionICTC：基于帧间相关性特征提取与时序一致性度量反馈的红外与可见光视频融合方法

《Optics & Laser Technology》：FusionICTC: Infrared and visible video fusion method based on inter-frame correlation feature extraction and temporal consistency measurement feedback

　　唐晓林|邓虎|曲薇薇

摘要：红外与可见光视频融合能够弥补单模传感器在目标特征表示方面的不足。然而，现有方法在融合当前帧时往往无法提取帧间时间特征。此外，它们没有同时利用当前帧和前序帧作为参考信号来优化融合过程，从而导致融合视频的时间一致性较差。为解决这些问题，本文提出了一种新的融合方法FusionICTC。在特征提取阶段，我们构建了一个具有双向约束的自模糊聚类框架，用于捕捉连续帧之间的关联特征。具体而言，我们首先进行超像素分割和联合簇数估计，然后通过先验概率的双向动态建模来构建区域级特征相关性。在特征融合阶段，我们引入了比例-积分-微分（PID）控制策略，并构建了一个基于特征差异的BP神经网络，以适应PID控制器系数的动态变化，从而提升每帧的适应性融合能力。在测量反馈阶段，我们基于人类视觉时间注意力和图信号处理提出了一个时间一致性测量模型。该模型利用超像素分割和块邻接图来计算动态掩码图，从而使反馈机制能够从当前帧或前序帧中自适应地选择参考信号。在多个数据集上的实验表明，FusionICTC具有更优的性能。

引言：红外与可见光图像融合技术是多源视觉感知领域中的关键技术，其目的是整合双模图像的互补特性，从而重建出既能突出热目标又能保留场景细节的高质量融合结果，有效克服单传感器成像的固有局限性。可见光图像虽然能提供丰富的纹理信息，但却容易受到光照变化、烟雾干扰以及恶劣天气条件的影响。而红外图像则依靠热辐射来捕捉热源目标，具备较强的抗干扰能力，但其纹理细节的分辨率较低。将这两种图像的独特优势结合起来，可以显著提升视觉系统在复杂环境中的感知能力和场景理解能力。作为智能视觉任务的重要预处理手段，红外与可见光图像融合已广泛应用于智能监控、自动驾驶、军事侦察、安全监测以及物体跟踪等领域。一般来说，红外与可见光图像融合方法可以有效地扩展到视频融合任务中。现有的方法主要包括像素级融合、特征级融合以及决策级融合。像素级融合方法直接对双模图像的对应像素进行运算，能够最大程度地保留原始细节和真实的灰度信息，因此具有简单的算法结构和高可解释性，但这类方法对噪声、光照变化以及配准误差较为敏感。作为中间层次的融合策略，特征级融合方法首先从源图像中提取轮廓和局部形状等结构特征，经过特征选择和融合后再重建融合图像。这类方法可以有效抑制噪声干扰，提升抗干扰能力，并突出目标特征，以更好地适应复杂场景，但它们不可避免地会丢失一些原始细节，且计算复杂度较高，实时性能也较差。决策级融合方法则结合红外图像和可见光图像的高层视觉任务输出，如检测或分割结果，从而得出最终决策。这类方法具有很强的语义区分能力以及对噪声的较强鲁棒性，但由于它们侧重于任务导向的信息整合而非图像重建，因此保留的视觉细节有限。本质上，上述视频融合方法仍属于图像融合范畴，它们忽略了视频与静态图像之间的本质差异，导致相邻视频帧之间缺乏时间一致性。与以往研究的不同，郭明等人受模仿章鱼启发，提出了一系列红外与可见光视频融合方法。这些方法首先为不同跨模态视频帧特征差异下的各种融合算法构建有效性模型，然后计算每对待融合帧的帧内多特征差异，最后根据这些差异自适应地选择最优融合算法。不过，这些研究仍然侧重于帧内特征，而忽视了帧间特征对融合视频的重要影响。图1展示了FusionICTC的两种相邻融合帧与两种现有最先进方法的结构性相似性差异。在视频处理任务中，帧间关联特征和差异特征起着至关重要的作用。吴等人提出了一种基于小波变换的Transformer框架（WaveFormer），用于视频修复。该框架通过离散小波变换将特征分解为低频和高频成分，利用低频表示来捕捉连续帧之间的长距离时间依赖性，而高频成分则用于保留精细的结构和纹理变化。这种互补设计能够有效抑制噪声干扰，同时保持时间连贯性和细节真实性。BVINet通过将时间一致性先验与时空Transformer相结合，在盲视频修复任务中取得了优异性能，它能够实现可靠的跨帧信息传递，并精确定位受损区域。此外，还引入了小波稀疏Transformer，以保留具有辨识度的高频细节和时间变化，从而在复杂退化情况下保持结构完整性并提升时间稳定性。吴等人进一步提出了DLVINet，用于双镜头视频修复。该方法利用稀疏时空Transformer来建模长距离时间依赖性，并从远距离帧传递互补信息，从而准确填补缺失区域。此外，还设计了跨镜头纹理Transformer，以保留双目视图间的精细纹理变化，确保在标准和非标准双镜头系统中都能保持视觉清晰度和时空一致性。另外，还有几种基于PID控制的红外与可见光视频融合方法也取得了不错的性能。受上述进展的启发，我们在红外与可见光视频融合中加入了帧间关联建模、帧间差异引导以及时间一致性反馈机制。然而，大多数现有的视频融合方法仅关注单帧信息的整合，缺乏明确的帧间关联建模，且依赖固定的融合参数，无法适应帧与帧之间的差异。为解决这些局限性，本文提出了一种统一的红外与可见光视频融合框架——FusionICTC，该框架同时利用帧间关联特征和帧间差异特征，并引入时间一致性反馈机制以实现自适应视频融合。具体而言，我们首先设计了一个具有双向约束的自模糊聚类模型，以准确提取帧间关联特征，确保相邻帧之间的特征表示一致性。图2展示了传统视频融合方法与所提出的FusionICTC之间的差异。其次，我们对帧间特征差异进行量化，并利用BP神经网络学习时间波动与PID控制器中比例、积分和微分系数增量之间的非线性映射关系，从而实现融合权重的自适应动态调整。第三，我们构建了一个基于人类视觉时间注意力和图信号理论的时间一致性测量反馈模型，并将其集成到PID控制系统的测量反馈模型中。该掩码能够增强静态区域内跨帧共享结构的保留，同时在动态区域内允许合理的变化，从而便于自适应地利用历史信息。现有视频融合方法与FusionICTC的测量反馈机制如图3所示。本文的贡献如下：·我们提出了一种具有双向约束的自模糊聚类框架，用于提取红外或可见光视频的帧间关联特征。·我们利用BP神经网络来拟合帧间多特征差异与PID控制器中比例、积分和微分系数增量之间的非线性关系。·我们基于人类视觉时间注意力和图信号理论构建了一个时间掩码生成器，并将其集成到PID控制系统的测量反馈模型中。·我们在多个数据集上进行了融合实验、消融实验以及物体检测实验，以验证FusionICTC的优越性。

相关工作：近年来，红外与可见光视频融合逐渐引起了广泛的研究兴趣。然而，由于数据规模有限且模型复杂度较高，大多数现有研究都是从图像融合方法衍生而来的。因此，有必要对红外与可见光图像融合领域的代表性方法进行系统梳理。

方法：FusionICTC的整体框架如图4所示，它由四个模块组成：帧间关联特征提取模型、帧间特征差异引导的自适应控制模型、受控融合模型以及时间一致性测量反馈模型。a) 前馈传播：如方程（26）所示，网络输入层的四个节点x1、x2、x3和x4分别接收四个帧间特征差异值。x1=ΔEN_IRt，x2=ΔEN_VIs，x3=ΔLG_IRt，x4=ΔLG_VIs。以x1、x2、x3和x4作为隐藏层的输入，隐藏层中第j个节点的输出和输出层中第k个节点的输出分别为：opj=fnetp，fpj=f∑i = 14wijxpi；opk=fnetp，pk=f∑j = 15wjkopjfx=11 + e^-x。其中，P表示样本数量，p表示样本索引。b) 错误反向传播：对于BP神经网络，错误反向传播可以指导网络权重的更新方向。P个样本的全局误差可通过方程（29）计算。Ew=1/2∑p = 1P∑k = 13Tpk - opk^2，其中Tpk表示输出层中第k个节点的期望值。网络的计算误差首先从输出层反向传播到隐藏层，然后调整输出层与隐藏层之间的权重，更新方向为Ew对Ex的负梯度。

实验：在本节中，我们首先介绍实验平台、实验中使用的公共数据集、融合评估指标以及对比算法。接着，描述第3.2节中提到的BP神经网络的训练细节。随后，在第3.3节讨论帧间关联特征权重α的取值方法。最后，进行融合对比实验、消融研究、融合效率分析以及下游任务实验。

结论：本文提出了一种基于帧间关联特征提取和时间一致性测量反馈的红外与可见光视频融合方法。首先，我们构建了一个具有双向约束的自模糊聚类框架，用于挖掘相邻帧之间的关联特征。其次，引入BP神经网络，根据相邻帧之间的特征差异自适应地选择PID控制系数的增量。随后，通过……