不对齐的红外-可见光图像融合的双向自注册方法

《Pattern Recognition》：Bi-directional Self-Registration for misaligned infrared-visible image fusion

　　

• •
  提出了B-SR，这是一种用于红外-可见光图像融合的全自监督框架。
• •
  引入了代理数据生成器（PDG）和逆代理数据生成器，以实现可靠的自我监督。
• •
  设计了邻域动态对齐损失函数，以确保精确的像素级对齐。
• •
  证明了该框架在面对各种复杂的现实世界中对齐问题时仍具有很强的鲁棒性。

引言

多模态图像融合因能够整合来自不同传感器的互补信息，从而提升自动驾驶、智能监控、医学诊断和遥感等领域的感知能力，而越来越受到关注[1]、[2]、[3]。红外图像能够提供热信息，在弱光条件下依然可靠；而可见光图像则具有丰富的纹理和颜色细节。通过红外-可见光图像融合，可以利用这两种图像的互补特性实现更全面的场景感知[4]、[5]、[6]。随着红外-可见光传感器的日益普及，在现实世界的图像错位情况下实现稳健的融合变得越来越重要。

一个主要挑战是不同模态之间的空间错位，这类错位可能是由传感器位置差异、平台抖动或视角变化引起的[7]。这种错位会严重降低融合质量，导致出现重影现象和几何失真，进而影响物体检测与跟踪等后续任务[8]。然而，许多融合方法仍然假设输入图像已经过对齐处理，而在实际应用中这种情况很少存在[9]、[10]、[11]。

尽管非常重要，但由于平移、旋转、缩放、视差或传感器畸变导致的局部变形以及跨模态的外观差异，实现稳健的多模态对齐仍然是一项艰巨任务。因此，对齐并非图像融合中的简单预处理步骤，而是一个核心挑战。虽然一些基于弱对齐的方法[12]、[13]在强监督条件下能够容忍一定程度的错位，但它们需要大量的标注工作，且主要解决的是特征级对齐问题，因此不适用于那些没有真实融合图像作为参考的像素级融合场景。

有一些研究将対齐机制融入到融合过程中。基于平移的方法通过在注册之前对某一模态进行平移来减少跨模态的差异[11]、[14]、[15]、[16]，但其性能容易受到平移质量和伪影的影响。而监督学习方法则需要依赖经过精确对齐的图像对，但在实际的红外-可见光应用场景中，这样的图像对很难大规模获取且标注成本高昂[17]。这些局限性促使人们寻求一种无需真实变形信息或图像平移即可处理红外-可见光图像错位的自监督框架。如图1所示，(a)展示了B-SR的自监督工作原理，而(b)则体现了其相比现有最先进方法更为精准的对齐与融合效果。

为此，我们提出了双向自注册（B-SR），这是一种用于红外-可见光图像对齐与融合的全自监督框架。为了无需依赖真实变形信息，B-SR通过代理数据生成器（PDG）和逆代理数据生成器（IPDG）构建监督机制，将这些变换后的图像与原始图像映射到同一个坐标空间中。为了解决模态间的差异问题，B-SR还会估算双向变形场，并利用邻域动态对齐损失函数来实现对关键边缘周围的局部结构匹配。此外，该框架还将注册、重建和融合过程结合在一起，通过分阶段优化，让各步骤相互配合，从而使融合结果更具优势。其主要贡献如下：

• •
  我们提出了一种基于PDG和IPDG的双向自监督注册机制，用于红外-可见光图像的对齐。该机制无需依赖传统的数据增强或基于平移的监督方式，而是利用记录下来的几何扰动和逆映射关系，构建可逆的跨模态监督机制，从而无需真实变形信息即可实现图像注册。
• •
  我们设计了一种邻域动态对齐损失函数，用于实现跨模态的局部结构匹配。该损失函数不会强制要求红外图像和可见光图像在强度上完全一致，而是会在局部邻域内寻找基于边缘特征的对应关系，从而使对齐结果更能抵抗因模态差异带来的外观变化。
• •
  我们开发了一种基于注册引导的融合框架，并采用了分阶段优化策略。该框架首先通过注册和重建过程学习具备对齐意识的表示形式，然后再基于这些表示形式进行图像融合，从而在无需预先对齐的训练数据对的情况下，也能有效降低空间错位带来的影响。

章节要点

多模态图像对齐

图像注册是计算机视觉领域的一项基础任务，早期的方法主要是为单模态图像开发的[18]、[19]。传统方法依赖于手工设计的特征或统计相似度度量方法，比如互信息[20]、基于SIFT的描述子[21]以及轻量级的ORB风格描述子[22]。虽然这些方法在单模态图像注册方面表现良好，但在处理红外-可见光图像的对齐问题时往往效果不佳[23]。较大的模态差异会破坏直接

方法论

我们提出了B-SR，这是一种全自监督的双向注册框架，旨在解决红外-可见光图像融合过程中的空间错位问题。如图2所示，B-SR由三个部分组成：用于对多模态图像进行注册的注册模块、用于恢复图像内容的重建模块，以及基于代理数据生成及其逆过程的自监督机制，该机制可用于提升对齐精度和特征提取效果。最后还有一个融合模块，用于将已对齐的图像对整合起来

实验设置

数据集。我们在RoadScene[41]和TNO[42]这两个基准数据集上对我们的模型进行了测试。为了进一步验证该模型在更复杂的错位多模态融合场景下的性能，我们还在从无人机视角拍摄的DroneVehicle[43]数据集上进行了实验。在RoadScene数据集中，我们会随机将红外图像沿图像宽度方向移动0.5%至1.5%，以此模拟由于传感器位置差异而产生的空间错位。

评估指标。我们采用了九种指标来评估融合结果的质量，包括对融合后图像的

结论

我们提出了双向自注册（B-SR），这是一种用于处理红外-可见光图像错位问题的全自监督融合框架。通过结合双向注册、代理数据生成以及基于边缘特征的约束条件，B-SR能够在无需图像平移或真实监督信息的情况下实现精确的对齐。其对注册、重建和融合过程的统一优化，使得该框架能够在各种不同的错位情况下实现稳定的空间对齐和高质量的图像融合

CRediT作者贡献说明

Timing Li：论文撰写——审阅与编辑、初稿撰写、可视化处理、结果验证、软件开发、方法设计、问题研究、形式化分析、概念构思。 Bing Cao：指导监督、方法设计、形式化分析、概念构思。 Qinghua Hu：指导监督、资源协调、资金筹措、数据整理。 Pengfei Zhu：指导监督、资源协调、项目管理、资金筹措、数据整理。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关联关系。

Timing Li|Bing Cao|Qinghua Hu|Pengfei Zhu