GeoSAM：几何引导的语义对齐与显著性感知状态空间模型，用于可泛化的跨模态图像匹配

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：GeoSAM: Geometry-guided semantic alignment and saliency-aware state space model for generalizable cross-modal image matching

　　多模态图像匹配旨在建立跨异构成像模态的可靠对应关系，这是多传感器融合和视觉定位中的一个基本问题。然而，由于显著的模态差异，包括非线性辐射度变化和外观不一致性，该任务仍然具有挑战性。为了应对严重的模态差异，最近的跨模态匹配方法越来越依赖于高层语义先验和长距离特征交互。诸如DINOv3之类的视觉基础模型提供了具有模态鲁棒性的语义表示，但其粗略的补丁级令牌难以直接与编码局部几何结构的高分辨率CNN特征对齐，导致语义-几何不一致性。除了特征表示之外，可靠的对应估计还需要跨图像对的判别性上下文传播。然而，现有的基于Mamba的状态空间模型通常沿预定义的扫描路径传播信息，没有明确考虑空间可靠性，这可能积累背景响应并削弱判别性结构区域。为了解决这些问题，我们提出了用于鲁棒跨模态匹配的GeoSAM。GeoSAM首先引入了几何引导的语义对齐模块，该模块以跨尺度方式将DINOv3语义先验注入CNN结构表示中，从而实现对语义鲁棒性和局部几何精度的联合建模。此外，提出了显著性感知状态空间调制模块，利用结构显著性掩码自适应地重新加权粗略特征，并结合多方向状态空间扫描以增强图像对之间的长距离上下文建模。关于相对姿态估计、单应性估计和零样本跨模态匹配的大量实验证明了所提方法的有效性。在METU-VisTIR数据集上，GeoSAM在“多云-多云”和“多云-晴天”设置下分别实现了58.79和48.57的AUC@20°分数，比第二好的方法分别高出2.60和2.98个百分点，表明了强大的鲁棒性和跨场景泛化能力。我们的代码公开在：https://github.com/whuzzzz/GeoSAM。

引言多模态图像匹配旨在建立跨异构传感模态的可靠特征对应关系，是遥感图像配准、视觉定位、多传感器感知和跨视角地理定位任务的基础组成部分（Jiang等，2021）。尽管最近取得进展，但由于显著的模态差异，包括非线性辐射度变化、显著的外观差异、弱纹理区域和大视角变化（Zhang等，2026a），这个问题仍然极具挑战性，如图1所示。这些因素常常导致不稳定且不可靠的对应关系，特别是在复杂的现实世界跨模态场景中（Liu等，2024a）。为了解决这些挑战，学习能够同时捕捉几何一致性和语义不变性的鲁棒特征表示已成为核心研究目标（Fang等，2026）。一方面，局部几何结构对于精确的对应估计至关重要，尤其是在具有细粒度空间细节的区域。另一方面，语义级别的不变性对于弥合跨模态外观差异至关重要。然而，现有的表示范式难以在这两方面实现平衡权衡。

卷积神经网络（CNNs）在保留局部空间细节（如边缘和纹理）方面很有效。例如，SuperGlue利用基于CNN的局部特征和基于注意力的匹配来提高对应估计（Sarlin等，2020），而XFeat则专注于具有紧凑表示的高效局部特征提取（Potje等，2024）。然而，它们对外观相关线索的依赖限制了在严重模态变化下的鲁棒性（Z. Li等，2025，Zhang等，2024）。相比之下，视觉基础模型（VFMs），如DINOv3，提供了从大规模预训练中学习到的强大语义表示，并已显示出跨视觉域的有前景的可迁移性。然而，它们的特征通常表示为低分辨率的补丁令牌，缺乏细粒度几何匹配所需的足够空间精度。这种基于CNN的结构特征与基于VFM的语义特征之间的固有差异导致了一个根本的语义-几何表示鸿沟。

最近的研究试图将来自VFM的语义先验与局部结构特征整合以增强跨模态匹配。例如，Tang等（2026）通过特征拼接将VFM导出的语义特征与高分辨率局部表示结合，为对应估计提供了额外的语义指导。然而，从VFM中提取的语义特征通常表示为粗略的补丁级令牌，而局部结构特征保留了细粒度的空间细节。直接组合这些异构表示可能引入空间粒度差异，并削弱语义响应与几何结构之间的对应关系，导致不准确的定位。如图1所示，有效的跨模态匹配需要一种几何感知的语义整合策略，该策略能够在保持空间一致的局部结构信息的同时融入高层语义先验。

除了特征表示，跨模态匹配还需要有效的长距离上下文建模来捕捉广泛空间范围内的全局依赖关系。最近，状态空间模型（SSMs），特别是Mamba，由于其线性计算复杂度和强大的序列建模能力，已成为Transformer架构的有效替代方案（Zhu等，2024）。然而，现有的基于SSM的视觉匹配方法通常依赖于预定义的扫描策略和均匀的状态传播，而没有显式建模空间可靠性或特征重要性（Lu和Du，2025）。在跨模态场景中，来自背景区域、弱纹理区域和重复结构的冗余响应可能在状态演化过程中累积，导致状态漂移和关键结构区域的判别力降低，如图1所示。

为了解决上述限制，我们提出了GeoSAM，一种用于多模态图像匹配的几何引导语义对齐和显著性感知状态空间模型。GeoSAM由两个核心组件组成。首先，引入了几何引导的语义对齐模块，以跨尺度和空间一致的方式将来自DINOv3的模态鲁棒语义先验注入基于CNN的结构表示，从而减轻由朴素特征融合引起的语义-几何错位。其次，设计了显著性感知状态空间调制模块，将空间可靠性纳入长距离依赖建模。通过使用结构显著性掩码自适应地重新加权粗略特征，并整合多方向状态空间扫描，模型在状态传播过程中有效抑制背景冗余，同时增强判别性结构响应。通过整合这两个机制，GeoSAM实现了一个统一框架，共同增强语义鲁棒性、局部几何精度和长距离上下文建模能力。本工作的主要贡献总结如下：

• 我们提出了GeoSAM，一种用于多模态图像匹配的几何引导语义对齐和显著性感知状态空间模型，它结合了结构保持的语义注入和显著性感知状态传播，以实现鲁棒的跨模态对应估计。
• 我们引入了几何引导的语义对齐模块，以跨尺度和空间一致的方式将DINOv3语义先验注入CNN结构表示，有效桥接语义鲁棒性和局部几何精度，同时减轻语义-几何错位。
• 我们设计了一种显著性感知状态空间调制机制，利用结构显著性掩码重新加权粗略特征，并整合多方向状态空间扫描，减少背景引起的状态污染并提高特征判别性。
• 在多个具有挑战性的跨模态基准上的广泛实验证明了在匹配准确性、鲁棒性和跨域泛化方面具有竞争力且常常领先的性能。

章节片段基于检测器的方法早期的跨模态图像匹配方法通常遵循关键点检测、局部描述和特征匹配的经典流程，其中首先提取稀疏关键点，然后通过最近邻搜索或其变体建立对应关系。传统手工方法主要通过设计辐射不敏感或模态不变表示来减轻跨模态外观差异。RIFT引入了辐射变化不敏感的

概述如图2所示，我们提出了GeoSAM，一种用于跨模态图像匹配的几何引导语义对齐和显著性感知状态空间模型。给定一对来自不同模态的图像，记为IA和IB，GeoSAM首先使用两个互补分支提取特征。采用冻结的DINOv3编码器提供模态鲁棒的语义先验，而CNN编码器保留高分辨率结构细节。这两个分支旨在捕捉语义鲁棒性

实现细节GeoSAM仅在MegaDepth数据集上训练。遵循XoFTR（Tuzcuo?lu等，2024）中采用的数据增强策略，我们生成模态扰动的训练图像以增加跨模态外观多样性。具体来说，输入图像的色调、饱和度和明度分量被随机扰动，然后进行灰度转换、随机余弦强度变换和高斯模糊，以生成具有不同强度的伪热成像外观

结论本文提出了GeoSAM，一种用于多模态图像匹配的几何引导语义对齐和显著性感知状态空间模型。关键思想是共同解决跨模态场景中的语义-几何错位和不可靠的长距离状态传播。具体来说，GeoSAM引入了几何引导的语义对齐机制，以几何一致的方式将来自DINOv3的模态鲁棒语义先验注入高分辨率结构特征，从而减轻

CRediT作者贡献声明Zhizheng Zhang：写作——审阅与编辑，写作——原稿，可视化，验证，监督，软件，资源，方法学，形式分析，数据管理。Ruixuan Jiang：写作——原稿，可视化，验证，监督，数据管理。Pengcheng Wei：可视化，监督，方法学，数据管理。Zijuan Li：验证，监督，形式分析。Jindou Zhang：监督，调查。Rui Cao：监督，软件。Meng Yang：验证，

利益冲突声明作者声明，他们没有任何已知的竞争经济利益或个人关系，这些可能影响本文所报告的工作。

致谢本工作得到国家重点研发计划（批准号：2023YFB3906102，No. 2023YFB3906100）和云南省重点研发项目（批准号：202403ZC380001）的支持。

Zhizheng Zhang|Ruixuan Jiang|Pengcheng Wei|Zijuan Li|Jindou Zhang|Rui Cao|Meng Yang|Zhenfeng Shao|Jiayi Ma|Deren Li