REMM：多模态图像匹配的旋转等变框架

《Expert Systems with Applications》：REMM: Rotation-Equivariant Framework for Multimodal Image Matching

　　• 提出了一种旋转等变方法，以解决现有基于学习的多模态图像匹配方法中缺乏显式旋转等变组件的问题。
• 引入了一个循环移位模块来编码描述符，从而实现在360°完整旋转范围内的鲁棒多模态图像匹配。
• 构建了一个新的多模态图像匹配基准测试，该测试涵盖了多种传感器类型的旋转、缩放和平移变换。
• 在多模态旋转等变匹配方面实现了最佳性能（SOTA），在四个数据集上超越了强基线方法。

**引言**
图像匹配是遥感和计算机视觉任务的基础，例如变化检测（Chen等人，2025年）、视觉定位（Toft等人，2020年）和图像融合（Ma, Jiang, Liu, & Ma，2023年）。然而，单模态成像常常受到环境干扰（如云层、雾或烟雾）的限制，从而降低了数据可靠性。多模态数据融合通过使用光学相机、SAR和红外相机等不同类型的传感器，提供了互补的信息，提高了鲁棒性和准确性（Li, Hu, & Zhang，2023年）。在实际应用中，通过卫星获取的地理空间数据可以利用传感器参数来校正多模态图像之间的旋转和尺度差异。然而，当传感器参数缺失或不准确时，从无人机或相机获取的多模态图像无法校正这些差异。模态差异给匹配带来了重大挑战，而旋转和尺度差异进一步加剧了这一挑战。为了解决多模态图像匹配的问题，已经提出了多种手工设计和基于学习的方法（Li, Xu, Shi, Zhang, & Hu，2022年；Yao等人，2022年；Ye, Shan, Bruzzone, & Shen，2017年；Chaozhen, Wanjie, Junming, & Qing，2021年；Cui, Ma, Zhang, Xu, & Zhong，2021年；Deng & Ma，2023年；Liao等人，2024年；Nie等人，2025年），这些方法主要集中在减轻噪声和几何失真（NRD）上。相关研究还探索了更广泛的跨模态匹配场景中的空间几何一致性。例如，2D3D-SPMatch（Ji, Fu, Nie, Luo, & Tang，2026年）引入了单目和投影深度图来增强图像与点云之间的几何一致性，而Huang等人（2026年）结合了DEM超分辨率和定向梯度模板匹配来提高声纳-DEM地形匹配的鲁棒性。尽管这些方法表现出良好的性能，但大多数基于学习的方法忽略了图像的旋转和尺度变换，使得同时处理复杂的旋转变化和NRD变得困难。传统的手工方法通常通过过滤技术构建旋转和尺度不变的描述符；然而，与深度学习模型提取的描述符相比，它们的性能受限于人工设计的特征的弱鲁棒性。相比之下，基于深度学习的方法在旋转变化下往往会出现特征表示不稳定的问题，因为学习到的描述符通常缺乏足够的区分能力（Cui等人，2021年；Liao等人，2024年）。为了弥合这一差距，引入了群等变卷积神经网络（G-CNNs）（Cohen & Welling，2016年），为旋转等变性提供了一个更严格的数学框架，在各种计算机视觉任务中取得了更好的结果（Han, Ding, Xue, & Xia，2021年；Liu等人，2019年；Peri等人，2022年）。具体来说，虽然GIFT（Liu等人，2019年）增强了描述符的旋转鲁棒性，但其有效性通常仅限于中等角度区间（例如，[-90°, 90°]），并且缺乏真正的全局旋转不变性机制。因此，在极端360°变换下其性能会显著下降。另一种方法是ReF（Peri等人，2022年），它在离散的C8旋转群空间内操作，可以在固定的规范方向上实现可靠的对齐（例如，90°, 180°）。然而，它依赖于有限的离散核集，难以泛化到任意或未知的旋转。此外，基于学习的同源匹配方法（包括稀疏关键点检测-描述符匹配框架如XFeat（Potje, Cadar, Araujo, Martins, & Nascimento，2024年）、半密集匹配器如LoFTR（Sun, Shen, Wang, Bao, & Zhou，2021年）以及密集匹配器如DKM（Edstedt, Athanasiadis, Wadenb?ck, & Felsberg，2023年）和RoMa（Edstedt, Sun, B?kman, Wadenb?ck, & Felsberg，2024年）通常忽略了多模态图像对之间的模态差异，从而限制了它们在处理NRD和几何失真方面的有效性。

最近，将图像匹配与视觉基础模型（VFMs）结合起来显著提高了特征匹配的鲁棒性。例如，LiftFeat（Liu等人，2025a）通过单目深度估计引入了三维几何感知特征，以提高低纹理区域的区分能力。MIFNet（Liu等人，2025b）利用稳定扩散特征从单模态数据中学习模态不变的描述符，实现了令人印象深刻的零样本泛化。类似地，其他VFMs驱动的方法也采用结构和语义指导来弥合模态差异。SFA-Net（Gao, Lan, Huang, & Wang，2025）使用Segment Anything Model（SAM）作为基于边缘的结构先验，而PromptMID（Nie等人，2025）结合了多尺度扩散特征和VFMs特征。除了图像匹配之外，最近的遥感研究还探讨了预训练表示在光谱域中的适应。SpectralX（Zhang等人，2026年）使用参数高效的适配器来提高遥感基础模型在不同区域、季节和光谱模态之间的泛化能力，而BiDA（Zhang等人，2025）通过双向适应学习域不变和域特定表示，用于跨域高光谱图像分类。这些研究进一步展示了预训练模型和自适应特征学习在缓解模态和域差异方面的潜力。虽然最近的VFMs驱动的工作通过大规模预训练先验在减轻NRD方面标志着一个范式转变，但大多数方法并未明确处理大规模旋转，导致在实际场景中面对任意方向时性能显著下降。此外，由于缺乏针对整个360°范围的多模态匹配的标准化基准测试，我们的工作通过在极端旋转变化下确保稳定的特征对应关系，同时克服NRD，填补了这一空白。

目前，多模态图像在旋转和尺度变换下的匹配领域受到缺乏同时结合旋转、缩放和平移的全面基准测试的约束。为了解决这一限制，我们提出了一个专门为多模态图像的旋转和尺度等变匹配设计的新基准测试。该基准测试扩展到了自然图像传感器，并涵盖了广泛的传感器类型。它对由六个不同成像平台（SEN1、SEN2、GF-3、Google Earth、航拍和相机）捕获的图像应用了几何变换（包括旋转、缩放和平移），共产生了33,180对图像。

受传统手工设计的旋转不变描述符（Li, Hu, & Ai，2018年）和最近基于学习的模态不变方法（Deng, Liu, Li, Duan, & Xu，2023年；Deng & Ma，2023年）的启发，我们重新研究了多模态图像中的旋转等变匹配问题，这些问题不仅涉及模态差异，还涉及旋转和尺度的变化。如图2所示，未旋转的多模态图像对（图2(a)和(b)的归一化幅度方向直方图（HNMD）揭示了显著的模态差异。虽然现有的基于学习的方法在某种程度上可以处理这种模态差距，但在将图2(a)与旋转后的图像（图2(c)进行匹配时，其性能会明显下降，主要是因为它们在建模旋转变化方面的能力有限。为了缓解这个问题，Nie等人（2024年）设计了一个双模型框架，一个用于旋转校正，另一个用于提取模态不变特征。然而，这种两阶段流程的复杂性限制了其在实时场景中的应用。相比之下，我们的方法引入了一个循环移位模块，将图2(f)转换为图2(g)，使其在几何上与图2(e)一致。尽管如此，图2(g)在模态上仍然与图2(d)有显著差异，使得匹配任务更加具有挑战性。为了解决这个问题，我们进一步采用了多模态特征学习模块来提取模态不变表示，从而实现了鲁棒和旋转等变的匹配，如图1所示。

本文的贡献可以总结如下：
• 我们提出了REMM框架，通过集成多模态特征学习模块和循环移位模块，解决了现有基于学习的多模态图像匹配方法中缺乏显式旋转等变性的问题。
• 我们引入了一种新的循环移位模块，用于构建旋转等变描述符，实现了在360°完整旋转范围内的鲁棒多模态图像匹配。
• 我们建立了一个新的旋转和尺度匹配基准测试，涵盖了多种传感器类型的旋转、缩放和平移变换。
• 在四个数据集上的广泛实验表明，我们的方法超越了强基线方法，在多模态旋转等变匹配方面实现了最佳性能（SOTA）。

本文的其余部分组织如下：第2节回顾了多模态图像匹配的相关工作。第3节详细介绍了提出的REMM框架。第4节提供了实验结果和分析。第5节讨论了当前研究的局限性。最后，第6节总结了本文。

**相关工作**
在本节中，我们将以前的研究分为两类：传统的手工方法和基于学习的方法。传统的手工方法进一步分为基于区域的方法和基于特征的方法。基于学习的方法则分为基于检测器的方法和无需检测器的方法。

**方法**
在本文中，我们提出了一个用于多模态图像匹配的旋转等变框架（REMM），如图3所示。本节详细描述了由两个主要模块组成的整体框架以及每个模块和损失函数。

**实验**
在本节中，我们介绍了实验设置、数据集和结果。第4.2节提供了我们的实现细节和所使用的四个数据集。由于缺乏多模态图像匹配的旋转不变和尺度不变基准测试，第4.3节介绍了提出的基准测试。第4.4节展示了我们的REMM方法与基线算法之间的比较结果。我们的REMM与九个基线或最佳方法进行了比较。

**局限性**
尽管REMM通过其循环移位和多模态特征学习模块在多模态图像匹配的旋转不变性方面显示出显著的优势，但在实际应用中仍面临某些局限性，主要体现在两个方面：
• 表示和泛化限制。REMM在稀疏匹配范式下运行，这本质上限制了其在纹理较弱区域（如水面或均匀平原）的性能。

**结论**
在本文中，我们提出了一个用于多模态图像匹配的旋转等变框架，称为REMM。以往的基于学习的方法主要集中在提取模态不变描述符上，而忽略了旋转不变性。REMM通过多模态特征学习模块学习模态不变特征，然后使用循环移位模块对其进行旋转编码，从而获得旋转等变描述符，这使得它们能够...

**作者贡献声明**
Han Nie：概念化、方法论、软件、调查、形式分析、写作——原始草稿。
Bin Luo：资源、概念化、写作——审阅与编辑。
Jun Liu：概念化、资金获取、资源、监督、写作——审阅与编辑。
Zhitao Fu：数据整理、资金获取、可视化。
Weixing Liu：可视化、写作——原始草稿。
Xin Su：形式分析、可视化、调查。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

Han Nie | Bin Luo | Jun Liu | Zhitao Fu | Weixing Liu | Xin Su