基于特征融合的多通道旋转投影描述子

《Displays》：A feature-fusion-based multi-channel rotational projection descriptor for

　　

•提出FMRPD，一种面向非刚性点云的多通道旋转投影描述子。
•引入基于聚类的LRF构建方法，以增强其在形变和噪声条件下的稳定性。
•将多种几何特征融合到RGBA投影图像中，同时保留拓扑结构。
•开发了一种双粒度级联最优传输匹配策略。
•在基准数据集和真实激光扫描数据集上取得了卓越的鲁棒性表现。

引言

近年来，非接触式3D光学成像技术的快速进步——如结构光和飞行时间（TOF）技术——使得多视角、长时间序列的高分辨率、完整的3D点云扫描成为可能。因此，点云数据已被广泛应用于3D重建、形变分析、视觉显示系统和计算机图形学领域[1]、[2]、[3]、[4]。然而，在真实扫描场景中，柔性材料和动态主体的非刚性物理形变无处不在。在动态场景渲染、AR/VR交互和角色动画等应用中，基于刚性假设的算法往往难以处理复杂条件下的非刚性形变[5]、[6]、[7]、[8]。

非刚性点云可以表示物体在物理交互下的形变，并为视觉渲染和交互式显示应用提供几何信息。然而，扫描过程中持续发生的形变与不可避免的传感器固有噪声相结合，造成了显著的计算瓶颈：提取具有高度鲁棒性和可重复性的局部特征描述子，以在形变前后建立高精度的空间映射。未能实现精确配准将直接导致视觉伪影、结构撕裂以及最终显示输出中渲染质量的下降。因此，为非刚性目标开发高度可靠的局部特征描述方法已成为连接3D视觉、点云处理和下一代视觉显示技术的关键研究前沿[9]、[10]、[11]。

在非刚性点云的局部描述中，热核签名（HKS）和波核签名（WKS）是两种代表性的内在手工特征[12]、[13]。HKS算法的核心在于使用内在谱量或测地距离来替代欧几里得距离，从而在等距形变下获得较高的理论稳定性[14]。WKS则能有效区分不同频率带的几何信息，具有更强的判别力。尽管基于HKS的方法在某些非刚性配准任务中可以保持稳定，但谱特征对真实世界中的测量伪影非常敏感。在实际扫描过程中，受采样不均匀、传感器噪声以及法线和邻域估计中的底层误差的制约，这些内在特征在稀疏或含噪声的点云数据上极易发生严重退化。

基于深度学习的特征描述算法也是近期的研究热点。成熟的方法将谱算子、函数映射和测地度量嵌入到网络中，直接学习等距不变或等距感知的特征，例如PointNetLK、CPD-Net、DGCNN和DeepGMR。虽然基于学习的点云局部特征描述子在非刚性应用中展现出强大的潜力，但仍面临对噪声和遮挡敏感、计算成本高以及对拓扑变化适应性差等挑战[15]、[16]、[17]、[18]。此外，这些方法依赖于大规模标注数据集，而非刚性点云的数据集通常稀缺，限制了模型在不同场景中的泛化能力。

总而言之，基于手工特征的描述子对小样本数据具有更好的适应性，可以在有限的计算资源下高效运行，并拥有更强的可解释性。此外，手工特征描述子还可以作为深度学习方法的输入数据，进一步提升模型性能。因此，本文采用基于手工特征的方法来构建非刚性点云的局部特征描述子。

在非刚性场景中，被测物体可能经历各种不可预测的形变，如拉伸、压缩和弯曲，以及局部几何退化，如遮挡、孔洞、数据缺失和轻微局部不连续。这些问题为局部特征描述子的构建提出了以下挑战：（1）非刚性形变导致表面几何属性产生显著的非线性波动，使得基于单关键点邻域构建的传统局部参考框架难以在形变前后保持稳定，导致描述子的可重复性大幅下降，从而阻碍后续的高精度配准。（2）在现有的基于投影的局部特征描述方法中，二维投影结果通常被降维为一维统计直方图以实现高效特征编码。然而，这种向量化表示在一定程度上可能忽略了投影图像中包含的空间邻域关系和结构分布信息，从而限制了描述子有效表征非刚性点云的能力。（3）在真实测量环境中，传感器噪声、自遮挡和不均匀采样等因素普遍存在，使局部特征匹配过程面临高噪声干扰和大搜索空间的双重挑战。传统匹配策略难以同时有效抑制干扰、增强匹配鲁棒性，并满足非刚性点云配准中计算效率和稳定性的综合要求[19]、[20]、[21]、[22]。

为解决上述挑战，本文提出了一种用于非刚性点云的局部特征描述与相似度评估方法，称为FMRPD（基于特征融合的多通道旋转投影描述子）。需要注意的是，本工作专注于非刚性点云的局部几何特征描述与对应估计，而非直接执行完整表面重建。所提出的FMRPD旨在为后续非刚性配准和重建相关应用提供可靠的特征对应。鉴于非刚性点云具有高度的形变自由度和不稳定的局部几何特性，基于单关键点邻域构建的传统LRF往往无法在形变前后保持一致性和可重复性。因此，本文首先对点云进行聚类，将复杂的非刚性形变近似为若干局部刚性形变。基于这些聚类，为每个聚类构建共享的LRF，将聚类内所有点纳入参考框架的计算。该策略显著增强了LRF在噪声和非刚性形变条件下的稳定性。在FMRPD构建过程中，同一聚类内的所有关键点共享相同的LRF，这有助于在形变前后保持局部参考框架的一致性。

随后，以关键点为中心构建球形投影面并将其划分为网格。关键点邻域内的点被投影到这些球形网格上。与简单地将投影结果压缩为一维统计向量的传统方法不同，本文在投影域内明确保留了球形网格的空间布局和邻接关系。在每个网格单元内，计算点的几何特征和分布特征。通过并行地将曲率、测地距离、点密度和法线一致性等多维几何属性映射到投影图像的R、G、B和A通道上，构建多通道特征融合投影图。这种表示方式在二维投影图像中编码了局部几何信息及其空间分布。由于非刚性形变通常表现为局部连续且平滑的几何扰动，上述投影表示在一定程度上能够保持投影图中整体结构和分布模式的稳定性，使非刚性形变主要反映为图中局部区域的渐进变化，而非整体结构的严重破坏。基于此特性，投影图在非刚性形变前后能够保持相对一致的结构表示，为后续特征匹配提供稳定的结构约束。

最后，为了充分利用投影图中嵌入的全局结构信息和原始分辨率下的局部细节特征，本文提出了一种基于双粒度级联最优传输的特征匹配方法。该方法构建了由全局结构层和原始分辨率层组成的双粒度特征空间，并引入了自适应显著性注意力机制，实现了由粗到细的级联匹配策略。该策略在提升匹配效率和鲁棒性的同时，降低了噪声的影响。在MPI-FAUST、SHREC2011以及使用蓝线激光扫描仪获取的真实世界数据集上的实验结果表明，FMRPD优于现有代表性描述子。此外，它对高斯噪声、降采样和真实传感器伪影表现出强大的鲁棒性，分别在各自数据集上达到了87.84%、88.51%和81.75%的召回率。

（1）提出了一种面向非刚性点云的新型LRF计算方法。该方法对点云进行聚类，并为每个聚类构建稳定的LRF，减少形变导致的坐标系一致性破坏。该方法在噪声和形变存在的情况下保持了高度的可重复性和稳定性，有效增强了非刚性点云的特征匹配精度。

（2）本工作的核心创新在于FMRPD描述子的构建，这是一种基于多通道投影的非刚性点云特征融合描述框架。该方法构建了图像级特征融合策略，将多维几何属性并行映射到二维投影图像的不同通道上。该融合策略在低维空间中保留了三维表面的完整局部拓扑信息，与传统的基于特征向量拼接的描述子相比，在一定程度上减少了空间信息损失。它提升了描述子在非刚性形变和数据退化条件下的鲁棒性和判别能力。

（3）为了更好地利用所提出FMRPD描述子的结构特性，引入了一种双粒度级联最优传输匹配策略。该方法构建了包含全局结构层和原始分辨率细节层的特征空间，并引入了自适应显著性注意力机制。通过以由粗到细的方式结合全局结构约束与局部细节信息，匹配模块在保持高匹配精度的同时，提升了鲁棒性和计算效率。

本文的其余部分结构如下。第2节简要回顾了现有的点云局部特征描述方法，重点讨论基于投影的描述子。第3节详细描述了所提出的FMRPD方法。第4节展示了本文方法在多个数据集上与几种最先进方法对比的实验评估结果。第5节总结了本文的工作并讨论了未来展望。

部分摘录

相关工作

鉴于本文提出的方法通过融合投影方式描述局部点云特征，本节重点回顾通过投影方式描述局部点云特征的方法。

方法

如图1所示，所提出的FMRPD框架由四个主要阶段组成。首先，对不同形变状态的输入非刚性点云进行聚类，并为每个聚类构建共享的LRF，以提供稳定的局部几何参考。其次，将每个关键点局部邻域内的点云旋转并投影到网格上。第三，计算几何和分布特征，包括密度、测地距离、曲率和法线一致性等。

实验设置

所提出的FMRPD描述子和所有对比算法均在统一的硬件平台上进行评估。实验工作站配备了AMD Ryzen 5 3500X CPU和16 GB内存。本研究中使用的六方HP-L-5.8激光扫描探头的参数列于表1中。

数据集

为全面评估描述子的性能，实验采用了两个成熟的公共非刚性点云数据集和一个使用六方扫描仪构建的真实扫描数据集。

结论与未来工作

本文提出了FMRPD，一种用于非刚性3D点云配准的基于特征融合的多通道旋转投影描述子。本工作的主要贡献在于FMRPD描述子的构建。为了提升局部参考框架在非刚性形变下的稳定性，首先对输入点云进行聚类，并为每个聚类构建共享的LRF。该策略降低了局部坐标系对不稳定单点的敏感性

利益冲突声明

作者声明不存在任何可能影响本文所报告工作的已知竞争性财务利益或个人关系。

致谢

作者衷心感谢所有为本研究提供公共数据集的研究人员。他们的高质量数据资源为本文理论验证提供了重要基础。同时，作者感谢点云库（PCL）社区的开发者与维护者。他们成熟高效的算法框架和工具链为本方法的实现与实验评估提供了有力支持。

史嘉怡 | 李宇奇 | 吴思文 | 陈刚 | 叶东