LoVCS：一种基于局部体素中心的3D物体识别描述符

《Journal of Visual Communication and Image Representation》：LoVCS: A local voxel center based descriptor for 3D object recognition

3D物体识别中提出基于局部参考框架（LRF）和加权策略的体素中心签名（LoVCS）描述符，结合系统遍历的1-point变换估计方法，有效提升鲁棒性和计算效率，实验在三个数据集上识别率达81.13%-99.07%|

　　3D物体识别一直是计算机视觉和图形学领域的重要研究方向。在复杂场景中识别物体是一项具有挑战性的任务，因为环境中常常存在遮挡和干扰。局部特征描述符（LFDs）因其对遮挡和干扰的鲁棒性，被广泛应用于3D物体识别。然而，现有的LFDs在面对噪声和点密度变化时，其描述符匹配性能往往不佳。为了解决这一问题，本文提出了一种新的LFD。首先，引入了一种新颖的加权策略，利用投影距离计算邻近点的权重，从而构建出一个更稳健的局部参考框架（LRF）。接着，提出了一种新的特征属性，即局部体素中心，用于计算体素值。这些体素值被拼接起来形成最终的特征描述符。这种特征属性不受噪声和点密度变化的影响，因为它不是直接从点中提取的，从而提升了整个LFD的鲁棒性和描述能力。此外，我们设计了一种3D变换估计方法，用于生成变换假设。该方法通过距离比对对应关系进行排序，并遍历排名靠前的对应关系计算变换，从而减少了迭代次数，消除了随机性，同时允许预先设定迭代次数。实验结果表明，所提出的LRF实现了高可重复性，而LFD表现出优异的匹配性能。变换估计方法在精度和计算效率方面也具有优势。总体而言，本文提出的3D物体识别方法实现了较高的识别率。在三个实验数据集中，分别达到了99.07%、98.31%和81.13%的识别率，超过了对比方法。代码可在以下链接获取：https://github.com/taowuyong?tab=repositories。

在计算机视觉和图形学领域，3D物体识别已被广泛研究。3D物体识别在机器人抓取等任务中发挥着重要作用。早期的方法依赖于全局特征描述符，如视角特征直方图和球面谐波，这些描述符编码了整个物体的形状信息。然而，物体通常在场景点云中被部分遮挡和扫描，因此全局特征描述符无法有效识别遮挡和干扰下的物体。近年来，局部特征描述符（LFDs）成为3D物体识别的有力工具。这些描述符通过精确编码关键点周围的局部表面信息，表现出对遮挡和干扰的强鲁棒性，因此适用于识别复杂场景中的物体。

3D物体识别的性能主要依赖于两个关键组成部分：LFD和3D变换估计。一个稳健的LFD能够建立更准确的模型与场景点云之间的对应关系，从而提高识别率。大量针对3D物体识别和点云对齐的LFD已被提出，大致可分为基于局部参考框架（LRF）和局部参考轴（LRA）的描述符。LRA基于的描述符，如旋转图像（SI）、局部特征统计直方图（LFSH）和局部法向量统计直方图（LNDSH），通过计算关键点的法向量（即LRA）并编码其周围的局部信息。尽管这些描述符包含了几何信息，但往往忽略了空间信息，导致描述能力有限。相比之下，LRF基于的描述符，如独特形状上下文（USC）、旋转投影统计（RoPS）、三正交局部深度图像（TOLDI）、旋转轮廓签名（RCS）和三局部坐标图像（TriLCI），考虑了空间和几何信息，提供了更优越的描述能力。这些描述符构建了一个LRF，并编码其周围的局部信息。然而，现有的LRF方法在比较研究中表明，它们仍然无法计算出精确的LRF，导致LRF的可重复性较低。此外，这些特征属性（如RoPS的点分布、TriLCI的局部坐标、RCS的轮廓签名）是从点中提取的，因此容易受到噪声和点密度变化的影响。这些问题显著限制了LFDs的鲁棒性和描述能力。

即使拥有一种优秀的LFD来建立对应关系，错误的对应关系仍然不可避免。因此，一种3D变换估计方法对于在大量错误对应关系中计算刚性变换至关重要。现有的方法可以分为基于随机样本一致性（RANSAC）和选择性方法。选择性方法旨在从受污染的初始集合中筛选正确的对应关系，利用它们计算变换。一些方法通过特定领域对对应关系进行聚类，如几何约束聚类（GCC）、博弈论匹配（GTM）和3D霍格投票（3DHV）。然而，这些方法往往保留了大量错误的对应关系，甚至一个错误的对应关系也可能扭曲变换模型。其他方法为每个对应关系分配投票分数，按排名选择前K个作为正确的对应关系，如基于投票的方法、局部和全局投票（LGV）以及相互投票（MV）。一个关键挑战是确定一个合适的K值，这通常会导致保留错误的对应关系。基于RANSAC的方法，如1点RANSAC和全局约束1点样本一致性（GC1SAC），在每次迭代中随机选择对应关系计算变换，并通过置信度分数进行验证。然而，当错误的对应关系占主导地位时，这些方法需要大量的迭代才能达到精度，因此耗时较长。此外，迭代次数无法预先设定。

尽管已经提出了基于深度学习的描述符（如3DMatch和RI-GCN）以及3D变换估计方法（如SuperGlue和PointDSC），但它们通常需要大量的训练数据，这在实际应用中可能并不总是可用。训练这些神经网络也消耗了大量计算资源。当数据和硬件资源有限时，非学习方法仍然是唯一可行的选择。此外，一些基于深度学习的描述符（如CGF和PPFNet）依赖于手工设计的特征作为输入以实现旋转不变性，这突显了手工设计描述符在推进深度学习方法中的持续重要性。因此，本文专注于非学习方法。

基于上述分析，我们提出了一种新的LFD和一种3D变换估计方法。为了实现高度描述性和鲁棒性的描述符，我们首先引入了一种LRF方法。通过开发一种新的加权策略，计算邻近点的权重，从而增强LRF对干扰的鲁棒性，并提高其可重复性。接着，我们提出了一种新的特征属性，即局部体素中心，用于计算特征值，从而更好地保留局部信息。因此，我们的描述符实现了高描述性和鲁棒性，并建立了更多的正确对应关系。

此外，我们提出了一种3D变换估计方法，用于在存在错误对应关系的情况下计算正确的变换。该方法首先对对应关系进行排序，然后遍历排名靠前的K个对应关系计算变换。我们的方法消除了随机性，并减少了所需的迭代次数，因此更有可能获得正确的变换，同时提高了计算效率。基于LoVCS描述符和3D变换估计方法，我们提供了一种3D物体识别方法。由于这两个组件的良好性能，我们的3D物体识别方法具有较高的识别率。

本文的其余部分组织如下：第2节介绍了相关工作。第3节提出了关键点检测器。第4节详细介绍了我们的描述符。第5节给出了3D物体识别流程和提出的3D变换方法。第6节展示了实验和分析。最后，第7节总结了全文。

在局部特征描述符的研究中，首先回顾了基于LRA的描述符。完全属性对统计直方图（FApSH）通过计算每个邻近点的五个属性，生成属性对图像，并通过统计每个像素的点数构建直方图。LFSH通过整合两个距离属性和一个角度属性，得到三个子向量。这些子向量被整合成特征直方图。对于每个邻近点，不变距离空间体素化（VOID）计算三个属性。随后，基于LRF的描述符，如USC、RoPS、TOLDI、RCS和TriLCI，通过构建LRF并编码其周围的局部信息，实现了更优越的描述能力。然而，现有的LRF方法在比较研究中表明，它们仍然无法计算出精确的LRF，导致LRF的可重复性较低。此外，这些特征属性（如RoPS的点分布、TriLCI的局部坐标、RCS的轮廓签名）是从点中提取的，因此容易受到噪声和点密度变化的影响。这些问题显著限制了LFDs的鲁棒性和描述能力。

在关键点检测方面，Harris角点检测器被提出用于从2D图像中检测关键点。随后，Rusu和Cousins将这一方法扩展到处理3D点云数据。3D Harris检测器被开发出来，它为每个点计算一个响应值。首先，通过邻近点的法向量构建协方差矩阵。该方法在每次迭代中随机选择对应关系计算变换，并通过置信度分数进行验证。然而，当错误的对应关系占主导地位时，这些方法需要大量的迭代才能达到精度，因此耗时较长。此外，迭代次数无法预先设定。

基于LoVCS描述符和3D变换估计方法，我们提供了一种3D物体识别方法。由于这两个组件的良好性能，我们的3D物体识别方法具有较高的识别率。该方法通过计算模型点云的描述符，并利用这些描述符建立初始对应关系。随后，我们提出了一种1点遍历算法，用于生成变换假设。该算法通过距离比对对应关系进行排序，并选择排名靠前的K个对应关系计算变换。这不仅减少了所需的迭代次数，还允许预先设定迭代次数，从而提高了计算效率。通过实验验证，我们的方法在三个数据集上分别达到了99.07%、98.31%和81.13%的识别率，超过了对比方法。

实验部分评估了所提出的LRF方法、LoVCS描述符和3D物体识别方法的性能。首先，评估了所提出的LRF的可重复性。通过比较Tombari等人、Yang等人、Tao等人、Hao等人、Zhang等人和Guo等人提出的LRF方法，验证了我们的方法在可重复性方面的优势。接着，评估了LoVCS描述符的匹配性能。通过比较RoVo、PAD、TriLCI、RoPS、TOLDI和USC等描述符，我们的方法在匹配准确性和鲁棒性方面表现突出。此外，实验还展示了在不同场景和数据集中的表现，进一步验证了我们的方法在实际应用中的有效性。

在结论部分，本文提出了一种LoVCS描述符，并研究了一种新的加权策略，用于确定邻近点的权重以计算LRF。接着，通过使用局部体素中心计算特征描述符。基于LFD，我们提出了一种3D物体识别方法。该方法首先利用LFD建立初始对应关系，然后通过1点遍历算法生成变换假设。实验结果表明，我们的方法在可重复性和匹配性能方面均优于现有方法，并且在计算效率上具有显著优势。

在作者贡献声明中，Wuyong Tao负责撰写原始稿件和方法论。Xianghong Hua负责资金获取和形式分析。Bufan Zhao负责可视化和软件开发。Dong Chen负责验证和监督。Chong Wu负责撰写审查和编辑以及可视化。Danhua Min负责撰写审查和编辑以及验证。

在竞争利益声明中，作者声明他们没有已知的财务利益或个人关系可能影响本文所报告的工作。

在致谢部分，作者感谢了数据集的发布者。这项工作得到了国家自然科学基金（项目编号42271452；42271450）和江西省自然科学基金（项目编号20252BAC200624）的支持。

总的来说，本文提出的方法在3D物体识别领域具有重要的贡献。通过引入新的加权策略和特征属性，我们的LFD在面对噪声和点密度变化时表现出更强的鲁棒性和描述能力。同时，通过设计一种系统化的3D变换估计方法，我们有效减少了错误对应关系对变换模型的影响，并提高了计算效率。实验结果表明，我们的方法在多个数据集上取得了优异的识别率，证明了其在实际应用中的有效性。这些成果不仅推动了3D物体识别技术的发展，也为未来的研究提供了新的思路和方向。