DeepPAT：一种具有混合数据集的深度位置感知Transformer，用于鲁棒的点云配准

《Neurocomputing》：DeepPAT: Deep Position-Aware Transformer with Mixed Dataset for Robust Point Cloud Registration

点云配准中提出DeepPAT方法，通过深度PPFTrans编码器提取局部几何特征，结合位置感知Transformer增强特征，引入密度自适应匹配和FPFH-MAC几何一致性对应，有效解决大规模离群点、低重叠及跨源泛化问题，在3DMatch、3DLoMatch等数据集上注册召回率达92.7%和75.7%，跨源数据上显著优于现有方法。

　　

熊凤光|孔宇|黄立刚|匡立群|谢汉

中国北方工业大学计算机科学与技术学院，太原 030051，中国

摘要

点云配准是计算机视觉中的一个基本任务，其目标是通过估计最优变换来对齐来自不同视角的点云对。这一任务面临诸多挑战，包括大规模异常值、低重叠场景以及同源和跨源配准时的泛化能力差等问题。为了解决这些问题，我们提出了DeepPAT，这是一种具有位置感知能力的深度变换器，能够更好地学习局部结构的位置信息。首先，我们设计了一个深度PPFTrans编码器来提取具有局部几何特征的判别性描述符。然后，我们提出了一个位置感知变换器，通过结合相对位置信息来增强这些描述符。为了处理密度不一致的问题，引入了密度自适应匹配算法来生成初始点对应关系。对于异常值的排除，我们提出了FPFH-MAC估计器来构建几何上一致的对应关系。最后，我们在结合了合成数据和真实世界数据的混合数据集上训练我们的模型，以提高跨源数据的泛化能力。实验表明，我们的方法取得了最先进的性能，在3DMatch和3DLoMatch基准测试中的配准召回率分别达到了92.7%和75.7%。值得注意的是，我们的方法在跨源数据上具有很强的泛化能力，在Kinect-sfm和Kinect-lidar基准测试中的配准召回率分别达到了90.6%和9.8%，显著优于现有方法。

部分内容摘录

引言

点云配准是计算机视觉领域的一项基本任务，在SLAM [1]、机器人导航 [2]、自动驾驶 [3] 和3D重建 [4] 等领域有着广泛的应用。作为3D点云处理中的关键技术，点云配准的任务是计算一个最优的刚性变换，以对齐从不同视角收集的一对点云。根据数据来源的不同，配准任务可以分为同源

传统方法

传统的配准方法首先使用描述符从点云中提取几何特征。随后，通过特征相似性在源点云和目标点云之间建立对应关系。然后，使用RANSAC [15] 等算法过滤掉不匹配的异常值，并根据保留的内点估计最优的刚性变换参数。最后，通过优化迭代细化变换参数直至收敛

问题陈述

给定两个部分重叠的点云，其中一个点云称为源点云 $P=\{p_i\in {?}^3|\mathrm{i<mo>=</mo><mn>1<mo>,\; \dots \dots </mo><mo>,\; </mo><mn>N<mo>\}</mo></mn></mn>}$，另一个点云 $Q=\{q_j\in {?}^3|\mathrm{j<mo>=</mo><mn>1,\; \dots \dots <mo>,\; </mo><mn>M<mo>\}</mo></mn></mn>}$ 称为目标点云。配准的目的是计算一个最优的刚性变换 $T\{R,t$，其参数为 和 ，使得 P 与 Q 对齐。将源点云应用到变换 $T$ 中得到 $T(P$，然后我们需要最小化变换后的源点云 $Q$ 与目标点云之间的欧几里得距离：

实验

我们首先在RGB-D重建的3DMatch数据集、合成的ModelNet40数据集和大型室外KITTI数据集上评估了DeepPAT的配准性能。其次，我们还评估了该方法在跨源3DCSR数据集上的泛化性能。值得注意的是，我们验证了混合数据集（3DRegMix数据集）作为3DCSR训练集的适用性。最后，我们设置了消融实验来验证每个模块的有效性。

结论

我们提出了一个通用的点云配准框架——Deep Position-Aware Transformer（DeepPAT）。首先，我们使用深度PPFTrans编码器提取具有局部几何特征的描述符，从而减少了特征损失。然后，提出了一个位置感知变换器，通过引入相对位置信息来增强提取的特征描述符。随后，将这些描述符输入到密度自适应匹配中，以计算局部映射矩阵和全局匹配矩阵

未引用的参考文献

[12]; [47]; [57]; [60]

CRediT作者贡献声明

孔宇：可视化、软件实现。熊凤光：撰写初稿、软件设计、方法论。谢汉：资源获取、资金筹集。匡立群：资金筹集、形式分析。黄立刚：撰写、审稿与编辑、验证。

利益冲突声明

作者声明他们没有已知的财务利益冲突或个人关系可能影响本文所述的工作。

致谢

本工作部分得到了国家自然科学基金（62272426）、山西省科技重大专项“揭示清单”项目（202201150401021）、山西省自然科学基金（202203021212138、20230302121153、202203021222027）、山西省科技成果转化指导项目（202104021301055）以及山西省科技战略的支持

熊凤光1979年出生于中国，拥有博士学位，现为副教授和硕士生导师。他于2005年在中国北方工业大学获得计算机应用技术硕士学位，2018年在中国北方工业大学信息工程学院获得博士学位。他的研究兴趣包括计算机视觉和虚拟现实。