LAMM：基于自适应多对多映射的大规模不变多源遥感图像匹配技术

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：LAMM: Large-scale invariant multi-source remote sensing image matching based on Adaptive Many-to-many Mapping

　　摘要
随着集成空间-空中-地面地球观测技术的快速发展，多源图像匹配已成为卫星与无人机数据融合、大规模映射和跨平台环境监测的关键前提。然而，图像对之间的显著差异往往导致对应关系稀疏，而视角变化在大规模场景下进一步加剧了几何不一致性，使得现有方法难以获得足够数量的高质量对应关系。为了解决这些挑战，本文提出了一种基于自适应多对多映射的大规模不变多源图像匹配框架。具体而言，我们首先引入了一种多对多匹配方案，通过放宽几何约束来缓解大规模差异带来的对应关系稀疏问题。然后，我们构建了一个多关联差异过滤模块，有效去除了由于约束不足导致的不匹配，同时保留了可靠的多对多关系。最后，我们开发了一种自适应双向映射机制，根据局部尺度变化动态调整细匹配阶段的搜索策略，从而消除了对先验尺度假设的依赖。在各种多源数据集上进行的广泛实验表明，所提出的方法在鲁棒性和准确性方面优于现有方法。我们的代码托管在以下仓库中：https://github.com/yiqing18/LAMM。

引言
图像匹配作为计算机视觉领域的核心任务之一，在遥感图像分析、医学图像融合和机器人导航等应用中发挥着重要作用（Zitova和Flusser，2003；Jiang等，2021）。随着多源传感器技术的进步，多源图像匹配的重要性日益凸显。与同源图像匹配相比，多源图像（如光学/红外/SAR、无人机/卫星图像）由于成像机制的不同，表现出显著的非线性辐射失真、几何变形和纹理特征不匹配，给传统匹配方法在跨模态场景下的鲁棒性带来了挑战（L. Li等，2023）。特别是在城市3D重建和广域地形绘制等大规模场景中，匹配过程必须同时克服包括模态差异、大视角变化、多尺度变换和遮挡干扰在内的复合挑战。现有方法通常由于特征表示能力不足或几何约束失效而出现性能下降（Tuzcuo?lu等，2024）。
为了解决多源图像匹配的挑战，现有方法可以分为两种范式：基于检测器的方法和无检测器的方法。基于检测器的方法依赖于手工设计的特征检测器（如SIFT（Lowe，2004）、RIFT（Li等，2019）、SRIF（J. Li等，2023）或基于学习的检测器（如LIFT（Yi等，2016）、MagicPoint（DeTone等，2017）、SuperPoint（DeTone等，2018）来首先检测关键点，然后构建局部特征描述符。然而，这些方法在多源场景中容易因模态差异而出现特征点定位偏移或重复性下降（Sarlin等，2020）。无检测器方法（Sun等，2021；Chen等，2022；Edstedt等，2024）通过端到端网络直接建模图像之间的密集匹配关系，有效缓解了特征偏移问题，并在模态差异显著的区域提取出鲁棒的匹配特征（Liu等，2024）。尽管无检测器方法在多源图像匹配方面取得了显著进展，但在大规模极端条件或严重视角变化下其性能仍然有限。在存在尺度差异的匹配场景中，大规模图像中的特征点往往与小尺度图像中的相同特征形成一对多的对应关系。如图1所示，对于具有明显尺度差异的无人机-卫星图像对，大规模无人机图像中的区域??和??对应于小尺度卫星图像中的同一个区域??，因此?????和?????都是有效的对应关系。最近的方法尝试通过放宽约束来实现一对多匹配，成功恢复了尺度驱动的对应关系。然而，当存在严重视角变化时，透视效应引起的几何变形和可见性变化进一步复杂化了对应关系模式。这些非均匀变化意味着一对多关系可以在两个方向上自然存在，从而将对应关系转化为更复杂的多对多关系。例如，一对多策略可能恢复了区域??的匹配，但忽略了相反情况，即大规模无人机图像中的区域??同时对应于小尺度卫星图像中的区域??和??。依赖互最近邻准则进行一对一匹配或严格单向分配进行一对多匹配的现有方法强制限制了这些复杂关系，导致大量正确匹配的丢失。为了解决这个问题，我们提出了一种在粗匹配阶段去除这些限制约束的多对多匹配策略。如图1所示，所有这些固有的关系，包括?????、?????、?????和?????，都被成功恢复并视为正确匹配。尽管如此，缺乏严格的几何约束不可避免地引入了大量不匹配。为了解决这个问题，我们利用局部上下文信息，将多对多集合中的每个重复点视为独立实体，重新组织成一对一匹配。这种策略在保证保留对应关系可靠性的同时，保持了匹配的数量。

总结
本文提出了一种基于自适应多对多映射（LAMM）方法的大规模不变多源遥感图像匹配方法。主要贡献包括：
- 引入了一种多对多匹配策略，通过放宽几何约束来缓解大规模差异和严重视角变化引起的对应关系稀疏问题；
- 构建了一个多关联差异过滤模块，在消除由于约束不足导致的不正确匹配的同时保留多对多匹配；
- 提出了一种自适应双向映射机制，在细匹配阶段根据局部尺度变化调整搜索策略，消除了对先验尺度关系的依赖。

本章结构如下：第3节详细介绍了LAMM方法的核心架构；第4节通过比较实验验证了该方法的有效性；第5节总结了研究结果并讨论了未来方向。

检测器基础框架
基于检测器的特征匹配方法长期以来一直是局部特征研究的主流，通常包括三个核心步骤：关键点检测、特征描述和特征匹配。它们的发展从手工设计演变为深度学习驱动的方法。早期的传统特征，如尺度不变特征变换（SIFT）（Lowe，2004）、快速鲁棒特征（SURF）（Bay等，2008）和ORB（Rublee等，2011），在计算机视觉中发挥了重要作用。

方法
在本节中，我们提出的方法以一对源图像????和????作为输入，旨在在复杂背景下建立多源图像之间的像素级对应关系，如图2所示。为了清晰地概述所开发的框架，LAMM的主要实现流程分为四个连续步骤：（1）特征提取：首先使用特征金字塔网络（FPN）（Lin等，2017），图像????和????生成多层次特征{??????,??????}。

实验与结果分析
在本节中，我们介绍了实验中使用的数据集和评估指标，并全面评估了所提出的LAMM算法在涉及大规模和视角变化场景下的有效性。实验分为四个部分。首先，我们分析了LAMM在四种模态（光学、SAR、地图和红外）下的特征匹配性能，并检验了其在不同标准下的鲁棒性。随后，我们对...

结论
本节提出了一种基于自适应多对多映射（LAMM）的大规模不变多源遥感图像匹配方法。该方法通过采用多对多策略放宽了传统的基于一对一的匹配约束，允许在大规模或显著视角差异下保留多对多匹配。这有效地缓解了由于尺度变化引起的匹配稀疏问题。为了进一步提高准确性和鲁棒性，LAMM还结合了...

CRediT作者贡献声明
刘玉燕：撰写——原始草稿、方法论、研究、资金获取。
何伟：撰写——审阅与编辑、监督。
张宏艳：撰写——审阅与编辑、监督、形式分析。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢
本工作得到了中国地质大学（武汉）计算机科学学院联合开放基金（PTLH2025-B-10）和安徽科技大学人才招聘项目（2025yjrc0120）的支持。

刘玉燕 | 何伟 | 张宏艳
安徽科技大学计算机科学与工程学院，中国淮南市，232001