DFF-Matcher：一种基于密度融合特征和双向共识匹配的强大跨源配准方法

《Journal of Visual Communication and Image Representation》：DFF-Matcher: Robust cross-source registration with density-fused feature and bidirectional consensus matching

跨传感器点云配准中存在密度差异、传感器噪声及部分重叠等挑战，本文提出DFF-Matcher框架，通过密度融合特征模块缓解密度不均问题，结合双向一致性匹配和自注意力机制提升配准精度，在Kinect-LiDAR等数据集上达到25.4%和22.2%的性能提升。

　　

郭荣|曾振轩|吴江|张熙宇|权思文|胡中文|朱宇|杨佳琪

西北工业大学计算机科学学院，中国西安，710129

摘要

跨源点云配准在实现异构传感器之间的无缝3D感知中起着关键作用。然而，由于密度差异显著、传感器特有的噪声以及异构传感器之间的部分重叠，这项任务仍然具有很高的挑战性。为了解决这些挑战，我们提出了DFF-Matcher，这是一个强大的框架，它结合了密度鲁棒的特征学习和双向共识匹配来弥合不同传感器之间的领域差异。我们的方法引入了一个密度融合特征模块来处理显著的点密度变化，并采用自注意力增强的匹配策略来确保可靠的对应关系估计。这一统一框架为跨源配准建立了一个新的范式，在多种传感器模式下实现了卓越的性能。广泛的实验表明，与现有方法相比，在具有挑战性的Kinect-LiDAR数据集上，我们的方法在特征匹配召回率上提高了25.4%，在配准召回率上提高了22.2%，同时在室内和室外场景中都保持了强大的性能。

引言

跨源点云配准（PCR）[1]是3D视觉中的一个关键任务，旨在通过刚性变换将来自不同传感器（例如LiDAR、RGB-D相机和多视图立体重建）捕获的点云对齐到一个统一的坐标系统中。作为多传感器校准和融合的基石，这项技术增强了环境感知、定位和映射[2]，在自动驾驶、机器人技术和虚拟现实[3]中有广泛的应用。然而，点云获取的进步带来了更多的挑战（例如，具有显著密度差异的跨源数据）。

尽管近年来点云配准取得了显著进展，但大多数方法[4]、[5]、[6]、[7]都集中在同源数据上，并且难以推广到跨源场景。与同源点云不同，跨源数据由于传感器特有的机制[8]而表现出显著的分布差异。这些挑战体现在两个方面：(a) 不均匀的密度分布（例如，LiDAR的稀疏线状点云与RGB-D相机的密集表面分布），这破坏了局部几何一致性和特征区分性；(b) 持续的噪声模式和异常值（例如，环境干扰），这进一步降低了匹配的可靠性，如图1所示。因此，即使是一些具有强泛化能力的方法[9]、[10]在跨源数据中也常常失败。最近的努力试图弥合这一差距。Cross-PCR[11]为室内场景提出了一种从宽松到严格的匹配流程，而SPEAL[12]引入了一个室外数据集，但在室内场景中表现不佳。基于优化的方法[3]、[13]、[14]、[15]虽然对噪声具有鲁棒性，但效率低下且存在场景特定的限制。缺乏大规模的跨源数据集进一步限制了深度学习方法学习不变特征的能力[8]。

为了解决跨源点云配准的挑战，我们提出了DFF-Matcher，这是一个旨在处理密度变化同时保持高配准精度的强大框架。我们的方法利用基于密度鲁棒特征提取的双向匹配策略，有效地弥合了不同传感器之间的领域差异，即使在具有挑战性的跨源场景中也能实现可靠的配准。首先，为了减轻由于密度变化引起的特征提取中的鲁棒性问题，我们引入了一个密度融合特征（DFF）模块，通过融合原始特征和上采样的点云特征来丰富表示。其次，为了解决跨源场景中的匹配挑战，我们设计了一种通用的双向匹配策略，专门针对超点匹配和局部密集点匹配进行优化，以捕获更多潜在的正确对应关系。为了提高局部特征的区分性，我们在对齐的超点上使用自注意力机制，增强了几何上下文意识，从而实现精确的密集匹配。最后，为了确保配准精度，我们开发了一种种子引导的共识优化算法，该算法在迭代验证几何一致性的同时过滤异常值对应关系。

我们在两个数据集上对我们的方法进行了广泛评估：3DCSR[16]和KITTI-CrossSource。在室内和室外基准测试[12]、[17]上的广泛实验证明了我们方法的有效性和鲁棒性。总之，我们的主要贡献如下：

• 我们引入了一个密度融合特征模块，结合点云上采样来生成鲁棒特征，以减轻跨源数据中的密度变化。
• 我们提出了一种鲁棒的匹配范式，通过超点和密集匹配空间中的双向匹配来克服分布差异。
• 我们的框架是第一个成功弥合跨源领域差异的统一解决方案，并在室内和室外场景中实现了最先进的性能。

部分摘录

同源点云配准

近年来，点云配准取得了显著进展。早期的方法主要依赖于迭代最近点（ICP）优化[18]和手工制作的描述符[19]、[20]。然而，这些方法需要有利的初始变换或准确的点对应关系，这限制了它们在复杂场景中的鲁棒性。

随着深度神经网络的出现，已经开发了各种点云编码网络[17]、[21]、[22]、[23]、[24]来建立

概述

在这项工作中，我们专注于刚性跨源点云配准，该任务解决了一个刚性变换，以便将源点云$P\in R^3$通过旋转$R$和平移$t$与目标点云$Q$R3对齐。该变换可以通过以下方式解决：其中$C$表示$P$和$Q$之间的对应关系集，$($pxi,$q{y}_i$表示一对对应的点。由于$C$最初是未知的，我们需要建立点云

数据集

我们在两个跨源数据集上评估了我们的方法：3DCSR [16]和KITTI-CrossSource。我们还在3DMatch [17]及其低重叠子集3DLoMatch [4]上评估了我们的方法，以验证其泛化能力并进一步验证其对点云密度变化的鲁棒性。3DCSR、3DMatch和3DLoMatch是室内数据集。具体来说，3DCSR包括两个跨源类别，共202个室内场景，其中Kinect-SfM有37个场景，Kinect-LiDAR有165个场景。3DLoMatch是

结论

在本文中，由于源场景之间的密度变化和分布差异，传统的特征匹配流程无法建立可靠的对应关系。因此，我们提出了DFF-Matcher，这是一个通过密度鲁棒特征学习和对应关系估计从根本上解决跨源点云配准挑战的新框架。

CRediT作者贡献声明

郭荣：撰写 – 审稿与编辑、方法论、调查、概念化。曾振轩：撰写 – 审稿与编辑、方法论、调查。吴江：可视化、方法论、数据管理。张熙宇：验证、方法论、形式分析。权思文：资源管理、方法论、形式分析。胡中文：资源管理、形式分析。朱宇：监督、形式分析。杨佳琪：监督、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（项目编号62372377）和大湾区地理环境监测重点实验室（GEMLab-2024005）的支持。