动态关联网络与结构感知匹配技术在鲁棒点云配准中的应用

《Computers & Graphics》：Dynamic correlation network and structure-aware matching for robust point cloud registration

　　雷璐|潘美晨|曹凌|齐仁龙|李鹏|潘伟•动态相关性学习可实现旋转不变的适应性特征提取。•掩码注意力机制能够实现与上下文一致的点匹配。•从粗到细的处理流程避免了配准过程中的RANSAC算法。•在KITTI、3DMatch和3DLoMatch数据集上的测试显示该方法具有显著优势。

引言
在许多实际应用中，对部分重叠的3D点云进行精确配准是一项基础性任务，这些应用包括自动驾驶、机器人操作、增强现实以及数字孪生构建。在典型的工业或数字重建流程中，会使用LiDAR或RGB-D传感器从不同视角获取同一场景的多次扫描数据。随后通过点云配准过程对这些扫描数据进行对齐，该过程旨在确定重叠点集之间的刚性变换关系。可靠的配准对于后续的任务，如物体重建和场景理解而言至关重要。

点云配准中的一个关键挑战在于，在不同的相对旋转情况下保持特征相关性的一致性，因为特征相关性的不一致会直接导致对应关系估计的不稳定。尽管现实世界的点云往往存在噪声和不均匀采样问题，但最近的几何处理技术[1]、[2]、[3]有助于稳定局部邻域结构，这凸显了可靠的低级几何结构对于对应关系估计的重要性。然而，即便经过预处理改进，基于学习的特征提取器往往仍难以在大角度旋转下保持一致的相关性建模。

诸如PointNet[4]、PointNet++[5]和PointNeXt[6]之类的经典基于学习的点云网络虽然能够提取出具有区分度的特征表示，但却缺乏固有的旋转鲁棒性。包括PointCNN[7]和PAConv[8]在内的基于卷积的方法虽然能够学习空间自适应核函数，但它们依赖于原始坐标差值，因此容易受到方向变化的影响，其鲁棒性在面对不同旋转角度时也会下降。而DGCNN[9]、GAT[10]以及自适应图卷积[11]等基于图的方法虽然能够有效建模局部几何结构，但仍依赖于静态的相关性机制，无法在不同几何配置下实现泛化。

为提高对旋转的鲁棒性，最近的配准框架开始探索等变或不变的神经网络架构。许多基于学习的方法还依靠数据增强技术来提升对旋转的泛化能力。然而，这类策略无法完全覆盖连续的SO(3)空间，因此在遇到未曾见过的旋转角度时，性能往往会下降。例如，TopFormer[12]这类具有拓扑感知能力的Transformer将结构先验纳入注意力机制中，而SemReg[13]这类基于语义约束的配准方法则利用高级上下文线索来提升姿态估计的准确性。尽管这些方法效果不错，但它们并未明确建模旋转下的特征相关性一致性，其特征表示在不同方向下仍可能变得不稳定。

鉴于这些局限性，我们提出了一种具有结构感知能力的点云配准框架，该框架将自适应相关性建模与高效的上下文推理相结合。该网络首先使用基于向量神经元的编码器提取具有旋转等变特性的点特征。在此基础上，我们引入了动态相关性网络（DCN），该网络能够根据局部几何关系在旋转不变的特征空间中预测出一致的相关性权重，从而实现不同方向下稳定的特征相关性建模，进而提升特征的相关性和区分度。

为进一步提升匹配的稳定性，我们引入了结构感知点匹配（SAPM）模块。SAPM通过线性自注意力机制对局部块级的上下文交互进行编码，并强制实现双向匹配的一致性，从而缓解因特征相关性不一致而导致的对应关系不稳定问题。

本工作的主要贡献如下：
(1) 我们提出了动态相关性网络（DCN），该网络能够在旋转不变的特征空间中进行自适应相关性建模，从而在任意旋转角度下实现稳定且一致的特征相关性。
(2) 我们引入了轻量级的结构感知点匹配（SAPM）模块，该模块能够捕捉上下文依赖关系并强制实现双向一致性，进而提升细粒度对应关系的可靠性。
(3) 我们将上述组件整合到一个统一的从粗到细的配准框架中，并通过在3DMatch、3DLoMatch和KITTI数据集上进行的大量实验表明，与现有的最先进方法相比，所提出的方法具有更高的准确性和鲁棒性。

相关内容摘录
基于学习的点云配准
深度学习通过实现更具表现力和鲁棒性的几何特征表示，极大地推动了点云配准技术的发展。早期的基于点的网络，如PointNet[4]和PointNet++[5]，提出了基础的逐点和分层特征提取思路。PointNeXt[6]进一步发展了这些理念，采用了更优的训练策略；而PointCNN[7]则运用X变换来学习点集的规范排序方式。

基于图的方法在点云处理中发挥着重要作用。给定两个点云P={pi∈R3∣i=1,…,N}和Q={qj∈R3∣j=1,…,M}，刚性配准的目标是确定一个变换T={R,t}，其中R∈SO(3)且t∈R3，使得P能够与Q对齐。我们的方法采用从粗到细的处理流程，结合了(1)用于实现几何感知且具有旋转鲁棒性的特征提取的动态相关性网络（DCN），以及(2)用于基于上下文信息提升密集对应关系估计精度的结构感知点匹配（SAPM）模块。

实现细节
所有实验均使用PyTorch语言实现，是在一台配备有Intel Xeon Gold 5218处理器和NVIDIA RTX 4090显卡的工作站上进行的。我们的模型分别按照标准流程在3DMatch和KITTI数据集上进行训练。训练过程中采用Adam优化器，初始学习率为1×10?4，权重衰减系数为1×10?6。在3DMatch数据集上，每训练一个epoch后学习率会降低0.95倍；在KITTI数据集上，则每训练四个epoch后学习率降低0.95倍。我们在3DMatch数据集上对模型进行了40个epoch的训练。

结论
本文针对的是由于不同旋转角度下特征相关性不一致而导致点云配准中对应关系估计不稳定的问题。为此，我们提出了一种具有旋转鲁棒性的配准框架，该框架从特征提取和匹配两个层面明确建模了相关性一致性。具体而言，我们引入了动态相关性网络（DCN），该网络能够在旋转不变的特征空间中进行自适应相关性建模，从而实现……

CRediT作者贡献说明
雷璐：写作——审稿与编辑、验证、监督、软件开发、资源提供、项目管理、方法设计、资金筹集、正式分析、概念构思。潘美晨：写作——初稿撰写、可视化处理、验证、软件开发、方法设计、研究工作、数据整理。曹凌：写作——审稿与编辑、监督、数据整理。齐仁龙：监督、研究工作。李鹏：项目管理、研究工作、资金筹集、概念构思。潘伟：

利益冲突声明
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金（项目编号：62375078）、中国中医科学院科技创新项目（项目编号：ZN2024A02）、河南省高等学校重点科研计划项目（项目编号：24ZX011）、河南省普通高校青年骨干教师培养计划项目（项目编号：2023GGJS058）以及青年骨干人才培养计划的资助。