BusReF：基于一组特征的红外线-可见光图像配准与融合，重点在于可重建区域

《ACM Transactions on Multimedia Computing, Communications, and Applications》：BusReF: Infrared-Visible Images Registration and Fusion Focus on Reconstructible Area Using One Set of Features

多模态图像配准与融合中，传统方法依赖严格对齐和语义信息，存在架构复杂和泛化性差的问题。本文提出BusRef框架，通过粗对齐、精对齐和融合的三阶段协同优化，结合掩膜损失策略抑制不可重建区域干扰，并设计梯度感知融合网络提升多模态信息互补性。实验表明其在红外可见光图像配准融合任务中性能显著优于现有方法。

　　

摘要

在多模态成像场景中，图像的对齐问题一直是一个难以解决的挑战。传统的图像融合算法旨在提升下游视觉任务的性能，但这些算法假设输入图像已经严格对齐才能获得满意的结果。为了放宽这一假设，一种常见的方法是先对图像进行配准；然而，现有的多模态配准方法往往受到复杂架构和过度依赖语义信息的限制。本文提出了BusRef这一统一框架，该框架同时解决了图像配准和融合的问题，特别关注红外-可见光图像配准与融合（IVRF）任务。在该框架中，未对齐的图像对经过三个连续阶段的处理：粗略配准、精细配准和融合。我们证明了这种集成方法能够实现更鲁棒、更准确的IVRF。我们框架的关键在于一种新颖的训练和评估策略，该策略使用掩码来减轻不可重建区域对损失函数的影响，从而显著提高了模型的准确性和鲁棒性。此外，我们还设计了一种具有梯度感知能力的融合网络，能够有效保留两种模态之间的互补信息。全面实验表明，与各种最先进的配准和融合算法相比，BusRef的性能更为优越。我们的代码可在https://github.com/Yukarizz/BusReF获取。