眼见为实：一种轻量级的、基于一致性监督的隐式配准与融合网络，适用于红外图像和可见光图像

《Infrared Physics & Technology》：Seeing is believing: A lightweight consistency-supervised implicit registration and fusion network for infrared and visible images

　　摘要
目前大多数未经注册的红外和可见光图像融合方法仍然将配准和融合视为两个耦合但独立监督的任务，并且通常依赖逆变形场来指导配准过程。然而，由于图像存储和处理是在离散的像素网格上进行的，逆变形场不可避免地会遭受插值引入的误差。这些误差会损害配准的准确性，进而传播到后续的融合阶段，最终降低融合图像的质量。为了解决这个问题，我们提出了SIBFusion，这是一个轻量级的隐式配准和融合框架，它由基于一致性的视觉监督来指导。SIBFusion没有引入显式的变形场监督，而是利用线性交叉注意力机制来模拟跨模态的空间对应关系，并实现隐式特征对齐。此外，配准和融合是从统一的视觉一致性角度共同优化的，从而减少了变形场估计误差对最终融合结果的负面影响。附录A提供了线性交叉注意力的对应条件理论分析，描述了它在有界特征空间误差的情况下可以近似真实对应位置的特征值的条件。在三个公共数据集上的广泛实验，以及在M3FD上的下游目标检测评估表明，SIBFusion在多个基准测试中实现了有竞争力或更优的融合性能，同时保持了较高的参数效率和相对较低的理论计算复杂度，并为高级视觉任务生成了更具区分性的视觉表示。

引言
红外和可见光图像融合是多模态图像处理中的一个重要任务。其目标是将红外图像中的热辐射线索和可见光图像中的丰富纹理结构细节整合到一个信息丰富的表示中。红外图像对光照变化具有鲁棒性，可以在夜间或恶劣环境中突出显示热目标，而可见光图像则提供了丰富的纹理、颜色和结构细节[1]。通过结合这些互补特性，红外和可见光图像融合可以生成具有更丰富场景信息的图像[2]，这有利于下游视觉任务，如目标检测[3][4]、语义分割[5][6]和人员重识别[7][8]。尽管红外和可见光图像融合已经取得了相当大的进展，但许多现有方法都是基于输入的红外和可见光图像在空间上对齐的假设来开发的。然而，在实际的双传感器成像系统中，传感器布置、成像视角、焦距和透镜畸变的差异往往导致两种模态之间的空间错位。直接融合错位的输入可能会引入重影伪影、边缘模糊和结构不一致性，从而降低融合图像的质量。最近的研究尝试通过将配准和融合集成到级联或联合框架中来解决未注册的红外和可见光图像融合问题。例如，ReCoNet以端到端的方式共同训练配准和融合[9]，而RFNet和MURF促进了配准和融合之间的相互增强[10][11]。SemLA将语义指导引入配准-融合过程[12]，IMF和MulFS-CAP在未注册输入的情况下改善了渐进式密集配准和跨模态对齐感知[13][14]。更近期地，ME-PMA结合了联合多视图嵌入和渐进式多尺度对齐来改善配准和融合之间的协作[15]，而CPMFusion通过双向监督的对抗生成和局部畸变感知估计来利用跨模态相关性[16]。尽管有这些进展，大多数现有方法仍然依赖于显式的空间变换估计（如变形场、位移场或密集对应矩阵）来完成跨模态对齐。因此，最终融合结果的质量与估计的空间变换的准确性紧密相关。这些方法通常通过结合仿射和弹性变形来模拟实际错位，并使用相应的逆场作为配准监督。这种监督在离散的图像网格上是不完美的。设??:??→?2是一个前向位移场，其中???(??)=??+???(??)。逆位移???1在变形坐标??=???(??)处定义，因此???1?(??)=????(??)，??=???(??)=??+???(??)。虽然方程(1)在连续坐标下是精确的，但??通常位于像素之间；因此，在规则网格上表示???1需要插值、拼接或重采样，从而引入数值误差。图1展示了由此产生的监督偏差：(a)–(d)显示了原始、前向变形和估计的逆网格；(e)–(f)揭示了前向-逆向组合后的残余位移；(g)–(h)显示了不完美的恢复及其空间误差图。因此，用作直接目标的逆场可能会使配准产生偏差并将误差传递给融合。为了缓解这一限制，我们提出了SIBFusion，这是一个由视觉一致性而非反向场目标监督的轻量级隐式配准和融合网络。线性交叉注意力模型模拟跨模态对应关系，并在可见参考坐标处聚合红外特征，而无需显式回归密集变换，同时Cross-Scale Feature Aggregation模块整合了双尺度上下文。因此，配准和融合是针对统一的视觉目标进行优化的。图2总结了这种区别：配准误差在两阶段级联中传递到融合(a)，而逆场误差即使在联合训练的模型中也可能使配准分支产生偏差(b)。相反，SIBFusion使用视觉一致性监督来完成这两个任务(c)，从而减少目标漂移，而无需显式恢复几何变换。

我们的主要贡献总结如下：
- 为了避免由噪声较大的反向变形场引起的目标漂移，我们用基于一致性的统一视觉监督替代了反向场监督，为联合图像配准和融合定义了一个隐式优化空间。据我们所知，这是第一个利用基于一致性的视觉监督的端到端配准-融合框架。
- 为了在没有显式预测变形场的情况下解决跨模态空间错位问题，我们提供了一个对应条件理论分析，表明当与真实对应关系相关的变换相似性主导了来自非对应位置的总体干扰时，线性交叉注意力可以在有界特征空间误差的情况下近似真实对应位置的特征值。基于此分析，我们设计了一个跨模态特征对齐模块，通过基于注意力的特征聚合进行隐式特征对齐。
- 为了解决跨域监督下优化方向的不稳定性，我们提出了一个基于视觉的一致性引导损失。具体来说，通过将注册特征重建为像素级引导图像，我们制定了一个相对于未移动图像的视觉损失，从而进一步提高配准准确性并保留红外信息。
- 为了验证所提出方法的有效性和优越性，我们在三个公共数据集上进行了全面实验，包括定性和定量比较，在M3FD上进行了下游目标检测评估、消融研究和效率分析。实验结果表明，SIBFusion在保持高级视觉任务的区分性目标和结构信息的同时，实现了更好的融合质量和计算效率。

相关工作
最近的多模态图像融合方法旨在整合特定模态和共享信息，同时保持空间结构。对于红外和可见光图像融合，现有研究可以沿着两个互补维度组织：如何在空间对齐的输入下提取和交互跨模态特征，以及是否假设空间对应关系或与融合一起共同学习。因此，我们回顾了包括最近异构注意力在内的注册融合方法。

方法论
本节以结构化的方式介绍了所提出的SIBFusion框架的实现。附录提供了线性注意力机制[48]用于跨模态特征对齐的对应条件理论分析。基于这一动机，第3.1–3.5节描述了网络架构及其主要功能模块，包括整体工作流程、特征提取和模态差异消除、跨尺度特征聚合等。

实验
我们进行了全面的实验来评估SIBFusion的性能。具体来说，我们将所提出的方法与最先进的未注册红外和可见光图像融合方法、代表性的传统方法以及级联配准-融合流程进行了比较。此外，还对具有较大空间位移的具有挑战性的红外-可见光图像对进行了面向配准的定性比较，以检验所提出的隐式方法的有效性。

结论
本文介绍了SIBFusion，这是一个用于未注册红外和可见光图像融合的新框架，它在一个统一的端到端架构中共同解决了跨模态错位和图像融合问题。SIBFusion没有依赖于传统的带有反向变形场的监督，而是引入了一种基于一致性的视觉监督策略，该策略构建了一个隐式优化空间，使得配准和融合可以共同优化，以实现共享的视觉目标。

作者贡献声明
Zhu Dafu：写作——原始草稿、可视化、验证、软件、方法论、调查、数据管理、概念化。
Huo Hongtao：写作——审阅与编辑、监督、资源管理、项目管理、资金获取。
Cao Haozhe：写作——审阅与编辑、监督、项目管理。
Liu Xiaowen：可视化、验证、监督、调查、概念化。
Zhu Ziyang：可视化、验证、调查。
Cao Yushan：可视化。

利益冲突声明
作者声明他们没有已知的竞争财务利益或可能影响本文工作的个人关系。

致谢
本项工作得到了中国国家重点研发计划（项目编号2022YFC31400）、高分辨率地球观测计划（项目编号01Y30F05900120/22和GFZX0404130307）、青海省重点研究与转化项目（项目编号2022-SF-150）以及国家自然科学基金（项目编号62206321）的支持。

中国中国人民公安大学信息技术与网络安全学院，北京100038