2D3D-SPMatch：基于空间感知的跨模态几何一致性方法，用于无需检测器的图像与点云匹配

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：2D3D-SPMatch: cross-modal geometric consistency based on spatial perception for detector-free image and point cloud matching

　　雅帅吉 | 志涛傅 | 哈聂 | 宾罗 | 博辉唐
昆明理工大学国土资源工程学院，中国昆明650093

**摘要**
图像与点云之间的高精度匹配是3D重建、机器人定位与导航以及多模态感知的基础。然而，2D图像与3D点云之间存在显著的模态差异，现有方法往往无法充分利用统一模态下的空间深度几何信息，导致空间感知能力有限，以及跨模态特征的提取受到限制，缺乏空间几何一致性。这一问题在纹理较弱且区域高度相似的情况下尤为突出，因为在这种情况下难以获得对齐良好的跨模态描述符，从而影响匹配精度。为了解决这些问题，我们提出了2D3D-SPMatch，这是一种基于空间感知的新型跨模态几何一致性方法，适用于无需检测器的图像和点云匹配网络。首次利用空间感知的深度信息来明确建模空间几何一致性，实现了鲁棒的图像和点云匹配。其核心思想是使用单目深度估计模型生成图像深度估计图，同时将3D点云投影以获得投影深度图，并利用这些深度图来编码跨模态空间几何信息，设计了一种图像和点云空间几何注意力机制，以增强跨模态特征的几何一致性和区分度。具体而言，我们首先将图像深度估计图和点云投影深度图输入结构匹配的空间几何编码器（SGE），以提取具有结构一致性的几何特征，从而提高空间感知能力并促进跨模态特征的一致对齐。接下来，为了缩小模态差异并加强跨模态空间几何一致性，我们设计了空间几何注意力融合（GeoAttn）模块。GeoAttn将来自图像和点云深度图的几何特征融合到各自的特征提取网络中，引导模型关注跨模态几何一致的线索，有效增强纹理较弱和区域高度相似情况下的几何表达能力，同时减少模态差异的影响。我们的方法显著提高了跨模态匹配的精度和鲁棒性，为精确的下游配准提供了可靠的基础。在7Scenes和RGB-D Scenes V2数据集上的广泛实验中，配准召回率分别达到了81.6%和62.8%，验证了该方法在增强复杂场景中跨模态空间几何一致性和缓解模态差异方面的优越性能，并在统一评估协议下取得了最佳和整体领先的性能。源代码将公开发布：https://github.com/RSDPLab/2D3D-SPMatch

**引言**
图像与点云配准是遥感和计算机视觉领域的核心研究课题，其目标是估计一个刚性变换，将场景点云精确对齐到捕捉同一场景的图像的相机坐标框架中（Li等人，2023年），从而实现多模态理解和空间对齐的协同作用。虽然2D图像提供了丰富的纹理、颜色和外观线索，直观地传达了场景细节，但3D点云直接编码了空间几何信息，精确表征了3D形状和空间关系。这种互补性使图像与点云配准在众多视觉任务中具有巨大潜力，为机器人定位（Li等人，2020a，2020b；Sarlin等人，2023年）、3D重建（Liu等人，2024年；Nguyen等人，2024年）和自动驾驶（Chalvatzaras等人，2023年；Wang等人，2025a，2025b）等应用带来了重要价值。与单模态配准（如图像配准（Lee等人，2021年；Li等人，2020a，2020b；Rocco等人，2020年；Sun等人，2021年；Zhou等人，2021年）和点云配准（Bai等人，2020年；Huang等人，2021年；Qin等人，2022年；Yu等人，2021年）相比，跨模态配准面临更严重的挑战，因为存在显著的模态差异，且难以提取跨模态间几何一致的特征。

图像与点云匹配是实现高精度配准的基础。然而，数据结构和表示方式的本质差异导致了明显的模态差异：图像排列在规则网格上，以RGB颜色空间编码密集的像素级外观信息，强调纹理和外观特征的语义布局；而点云由稀疏且分布不规则的3D点组成，主要表征场景的空间几何形状，更侧重于几何形状和结构一致性（Wang等人，2024年）。这种模态差异导致特征分布的不匹配，因为图像特征倾向于关注外观相似性，而点云特征则更侧重于几何一致性（Wang等人，2021年），这使得直接建立准确稳定的跨模态对应关系变得困难。现有的基于度量学习的图像与点云匹配方法可分为两类：基于关键点的匹配（Wang等人，2021年；Feng等人，2019年；Ren等人，2023年）和无检测器匹配（Kang等人，2024年；Li等人，2023年）。基于关键点的方法分别检测2D关键点和3D关键点，然后使用相关描述符进行匹配。但由于两种视觉域中关键点的定义和描述存在显著差异，难以检测到一致的关键点，导致跨模态关键点检测的重复性和稳定性较低（Tretschk等人，2023年）。无检测器方法采用粗到细的策略，有效避免了关键点检测的重复性和稳定性问题。例如，2D3D-MATR（Li等人，2023年）和CoFiI2P（Kang等人，2024年）首先在超点和超像素之间形成粗略对应关系，然后将其细化为点-像素匹配，从而实现无检测器的对齐，提高了精度和鲁棒性。如图1(a)所示，尽管无检测器方法规避了由异构2D和3D描述符编码引起的关键点匹配难题，但其精度仍受跨模态差异的限制；特别是在纹理较弱和区域高度相似的情况下，难以获得几何对齐良好的跨模态特征，从而降低匹配精度和鲁棒性。

为了解决上述问题，如图1所示，我们观察到引入通过深度估计获得的图像深度估计图以及通过将点云投影到图像平面获得的点云深度图作为具有空间几何一致性的统一模态中间表示，可以增强空间感知并缩小2D和3D之间的模态差异。图1(b)中的三阶段均匀流形逼近和投影（UMAP）可视化显示，仅使用原始图像和点云特征时，它们的分布明显分离；加入图像深度特征和点云深度特征并通过2D3D-SPMatch进一步融合后，图像和点云特征簇变得更加紧凑、对齐更好，更接近模态一致性。图1(c)中的匹配可视化（绿线表示正确匹配）表明，即使在纹理较弱和区域高度相似的情况下，对应关系也更加密集和稳定。与初始匹配相比，这种基于空间几何一致性的建模有效增强了网络对空间结构的感知能力和跨模态对齐能力，获得了更可靠的匹配结果和整体精度的显著提升。

**跨模态空间几何一致性**指的是在统一特征空间内为同一物理场景区域提供稳定且一致的表示，同时保持其空间和几何结构。具体来说，在统一的深度模态下（包括图像深度估计图和投影点云深度图），位于几何对应位置的跨模态特征需要在统一特征空间中稳定对齐并表现出高相似性。通过提取缓解模态差异的深度引导的跨模态特征，同时保持高相似性和几何一致性，可以有效提高跨模态匹配的鲁棒性和可靠性。因此，引入深度图不仅缩小了2D和3D之间的模态差异，还显著提高了网络的空间感知能力和特征之间的跨模态空间几何一致性。然而，许多现有匹配方法仍然依赖于传统的、针对特定模态的特征提取器（Huang等人，2021年；Li等人，2023年；Wang等人，2021年），如图2(a)所示，这些方法没有充分关注同一模态内的深度几何信息，这限制了空间感知能力，难以弥合2D和3D模态之间的空间结构差异。此外，图像和点云在数据结构、几何表达和感知机制方面的差异阻碍了特征空间中统一表示的形成，限制了跨模态建模的一致性。在纹理较弱或结构相似的区域，这一问题尤为突出，难以获得几何对齐良好的跨模态特征，导致匹配鲁棒性和精度降低。因此，如何有效增强空间感知、缓解模态差异并提高特征之间的跨模态空间几何一致性已成为提高图像与点云匹配性能的关键挑战。

为了增强网络的空间感知能力，有效缓解模态差异，并加强特征之间的跨模态空间几何一致性，如图2(a)所示，我们摒弃了仅依赖特定模态特征提取的传统流程，提出了新的无检测器图像和点云匹配网络2D3D-SPMatch（如图2(b)所示）。通过引入图像深度估计模型和空间几何编码，我们首次明确利用深度几何信息来提高空间感知能力，从而促进跨模态特征的几何一致性。在我们的方法中，我们首次引入深度估计模型生成深度估计图作为中间表示桥梁，统一编码图像和点云的深度几何信息，以获得具有跨模态一致性的空间几何特征。在此基础上，我们构建了跨模态空间几何一致性增强机制，从而在匹配过程中提高跨模态特征的一致性。具体来说，我们生成图像深度估计图并将点云投影到2D平面上以获得点云深度图。为了有效提取这些深度图中的跨模态几何信息，我们设计了空间几何编码器（SGE），从图像和点云深度图中获得具有跨模态一致性的空间几何特征。然后，我们构建了空间几何注意力融合（GeoAttn）模块，将图像和点云的深度几何特征融合到各自的特征提取网络（ResNet-FPN（He等人，2016年；Lin等人，2017年）和KPConv-FPN（Thomas等人，2019年）中。通过跨模态空间几何注意力机制，网络能够有效学习更一致的几何特征，从而增强特征中的跨模态空间几何一致性表达。总体而言，该网络有效缓解了图像和点云之间的模态差异，显著增强了跨模态特征的几何一致性，为高精度图像与点云匹配提供了坚实的基础。

**主要贡献**
（1）我们提出了2D3D-SPMatch，这是一种基于深度图几何信息的无检测器图像与点云匹配网络，通过增强网络的空间感知能力，缓解了模态差异并加强了特征之间的跨模态空间几何一致性。该网络使用图像深度估计图和点云深度图作为统一模态的中间几何表示桥梁，并采用具有统一架构的空间几何编码器（SGE）提取具有跨模态一致性的空间几何特征，从而在图像和点云之间建立了统一的几何表示基础，为后续的高精度匹配提供了有力支持。
（2）我们设计了跨模态空间几何注意力融合模块（GeoAttn），包括图像侧空间几何注意力（GeoAttn-RGB）和点云侧空间几何注意力（GeoAttn-PC）。该模块将图像和点云的深度几何特征融合到各自的骨干网络中。通过跨模态空间几何注意力，增强了网络的空间感知能力，并引导模型关注具有结构一致性的关键区域，从而在纹理较弱和区域高度相似的情况下提高跨模态几何区分度。GeoAtnn有效增强了特征之间的跨模态空间几何一致性，显著提高了匹配精度和鲁棒性。
（3）我们在7Scenes和RGB-D Scenes V2数据集上进行了广泛的实证评估。研究结果表明，所提出的2D3D-SPMatch在注册召回率等关键指标上显著优于其他方法，并且在统一的评估协议下，其整体性能最佳，超过了最新的代表性方法，充分证明了其在精确图像和点云匹配方面的有效性和优越能力。本文的结构如下：第2节概述了相关工作；第3节介绍了2D3D-SPMatch的架构；第4节报告了全面的实验和分析，展示了我们方法的优势；第5节在不同评估协议和指标下与最新方法进行了比较讨论；第6节对本文进行了总结。

随着深度学习在特征提取和融合方面的快速发展，图像和点云匹配引起了广泛关注。现有的基于度量学习的图像和点云匹配方法大致可以分为两类：基于关键点的方法和无检测器方法。这两条研究路线从不同的角度解决了跨模态匹配的挑战，并取得了显著进展，为图像和点云匹配奠定了重要基础。

我们提出了一种基于空间感知的跨模态几何一致性方法——2D3D-SPMatch，用于无检测器的图像和点云匹配，以解决明显的模态差异以及图像和点云匹配中跨模态几何特征一致性不足的问题。如图3所示，对于一对部分重叠的图像和点云数据，我们首先使用Depth Anything（Yang等人，2024a，2024b）模型生成深度估计图。

根据（Li等人，2023）的设置，我们构建了两个数据集：RGB-D Scenes V2（Lai等人，2014）和7Scenes（Glocker等人，2013）。对于7Scenes（Glocker等人，2013），它包含了来自七个不同场景的46个RGB-D序列，我们只保留了重叠率至少为50%的配对，从而得到了训练集（4,048）、验证集（1,011）和测试集（2,304）。对于RGB-D Scenes V2（Lai等人，2014），它包含了来自14个室内场景的11,427个RGB-D帧，我们保留了重叠率超过一定比例的配对。

在当前的跨模态图像-点云匹配研究中，方法大致分为两类：基于关键点的匹配和粗到细的匹配。前者首先在图像和点云的局部区域建立粗略的对应关系，然后进行细化以获得密集的像素-点对应关系。后者近年来受到了越来越多的关注，因为它避免了关键点检测这一具有挑战性的步骤。代表性示例包括2D3D-MATR（Li等人）。

在这项工作中，我们提出了2D3D-SPMatch，这是一个跨模态匹配网络，据我们所知，它是第一个明确使用空间感知深度信息来建模空间几何一致性的无检测器图像-点云匹配方法。该方法旨在解决图像-点云匹配中存在的显著模态差异和空间几何一致性不足的问题。我们首先使用高精度的单目深度估计器Depth Anything来生成图像。

作者贡献声明：
Ji Yashuai：撰写 - 审阅与编辑、撰写 - 原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。
Fu Zhitao：撰写 - 审阅与编辑、监督、资源管理、项目管理、方法论、调查、资金获取、概念化。
Nie Han：撰写 - 审阅与编辑、可视化、调查、概念化。
Luo Bin：撰写 - 审阅与编辑、监督、项目管理、资金支持。

本工作得到了中国国家自然科学基金（项目编号[62561034]）、云南省农业遥感与数字技术国际联合实验室（编号202503AP140020）、“星电”人才支持计划项目（项目编号KKRD202221041）以及云南省基础研究项目（项目编号202301AT070463）的支持。

作者声明：他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。

致谢：本工作得到了中国国家自然科学基金（项目编号[62561034]）、“星电”人才支持计划项目（项目编号KKRD202221041）以及云南省基础研究项目（项目编号202301AT070463）的支持。