G2CTN：一种结合分层网络进行点云分析的群体采样与全局定位方法

《Pattern Recognition》：G2CTN: Group sampling and global location with hierarchical network for point cloud analysis

3D点云分类与分割中存在局部细节捕捉不足与全局上下文聚合困难的问题，本文提出分层框架G2CTN，通过Group Sampling Strategy融合远thest点采样与体素划分采样，在GSF模块捕获多尺度局部特征；在GLF模块引入点-体素注意力（PVA）和全局位置注意力（GLA），通过Transformer增强跨尺度关联。实验表明该框架在多个基准数据集上实现最优性能，有效解决信息损失问题。

　　

王俊|马志远|刘伟斌|张欣|邹志远

河北大学电子与信息工程学院，保定，071000，河北，中国

摘要

3D点云采集和深度学习的最新进展加速了点云理解的进步，然而要实现稳健的分类和分割，仍然需要平衡利用细粒度的局部几何信息和长距离的结构上下文。现有方法通常受到点云稀疏性和单一策略特征提取能力的限制。为了解决这个问题，本文提出了一种分层框架，该框架通过一种新颖的“全局位置分组采样”（GS-GL）模块，将基于卷积的局部特征学习与基于Transformer的全局模型相结合。该模块通过“全局位置分组采样策略”（GSS）学习分组采样特征，该策略结合了两种不同的采样方法：对点进行的最远点采样（FPS）和对体素进行的分割体素采样（VPS）。与多尺度方法相比，这种双视角采样能够捕获互补的几何信息，从而既保留了细粒度细节，又实现了广泛的上下文聚合。GS-GL模块包括一个用于局部特征学习的“分组采样特征”（GSF）块，以及一个通过点-体素注意力（PVA）和全局位置注意力（GLA）增强的“全局位置特征”（GLF）块。在多个基准测试上的实验证明了我们框架的有效性和泛化能力。https://github.com/zhiyuan0609/G2CTN

引言

3D点云采集技术的进步使得3D分类和分割成为热门研究课题，应用于自动驾驶、机器人技术、无人机等领域[1]。这些任务的准确性在很大程度上取决于目标3D点云的全局和局部特征。与2D图像不同，点云本质上是无序且不规则的，因此2D识别方法不适用。此外，点云的固有稀疏性减少了目标的特征信息，削弱了局部特征学习的效果，而全局特征聚合往往会导致信息丢失。因此，设计出既能有效聚合全局特征又能准确提取局部特征的深度学习网络仍然是点云分类和分割面临的重要挑战。

针对上述挑战，吴等人[2]将3D点云投影到2D平面上，并使用2D方法进行分析。另一种方法是把点云划分为体素并使用3D卷积提取特征[3]。这些方法可以实现3D点云的分类和分割，但在特征提取过程中常常忽略了点云的稀疏性。PointNet[4]利用点云的无序性和变换不变性提出了刚性变换（T-Net）模块，直接从点云中学习特征，但它缺乏学习局部特征的能力。PointNet++[5]引入了分层集合抽象（HSA）层来解决局部特征学习问题，但基于卷积的方法难以捕捉全局上下文信息，导致分类任务性能不佳。PT[6]和PCT[7]利用Transformer来学习3D点云的全局特征，并引入了多尺度特征以捕捉细粒度细节。然而，它们依赖于简单的采样策略，如图1所示，常常导致局部采样稀疏，从而偏向于长距离上下文。3DCTN[8]将图卷积网络（GCN）与Transformer结合以提高性能和鲁棒性，但忽略了特征聚合过程中可能发生的潜在信息丢失。当来自不同层次和尺度的特征合并时，关键的细粒度细节和结构信息可能会被减少甚至丢失。

为了解决上述问题，提出了“分组采样与全局位置分层网络”（G2CTN）。GSF块和GLF块结合了Transformer和卷积，增强了网络的全局和局部建模能力。自注意力机制使每个点能够与其他点互动，从而有助于提取点云中的全局信息。受[9]的启发，我们提出了一种分组采样策略（GSS），该策略从互补的采样范式中聚合特征。与通过在单一采样方案中改变邻域大小来构建多尺度表示的先前工作不同，GSS在采样阶段整合了FPS和VPS，这是基于几何-密度互补性原则。具体来说，FPS在密集区域有效保持几何精度，而VPS在稀疏区域提供稳定的邻域支持，因为在这些区域基于距离的采样变得不可靠。通过在特征提取之前融合这些异构采样机制，GSS能够在高度非均匀的点云稀疏性下实现稳健且有信息量的表示，这是传统多尺度或特征级融合策略无法实现的。此外，GLF模块中引入了PVA和GLA来捕捉多尺度间的自注意力。它将自注意力头组织成专门处理点特征或体素特征的独立组，实现了既能保留细粒度细节又能保留广泛上下文信息的聚焦多尺度学习。PVA中的跨注意力进一步促进了跨模态特征交换，有效保留了多尺度信息。因此，GLF不仅增强了全局特征学习，还加强了分组采样特征的聚合，最小化了信息丢失，使GS-GL模块能够实现全面的混合尺度表示。

总结来说，我们工作的主要贡献如下：

• •
  为了解决单一采样方法导致的局部区域稀疏和几何细节薄弱的问题，GSF块中提出了GSS，它结合了FPS和VPS来提取结构多样的局部特征，有效丰富了局部几何表示。
• •
  为了解决现有混合模型中多尺度特征融合过程中的信息丢失问题，提出了PVA和GLA，并将它们集成到GLF块中，以保留细粒度结构并加强跨表示交互。它们可以共同增强全局上下文建模并显著减少特征聚合损失。
• •
  通过将基于卷积的GSF块和基于Transformer的GLF块集成到名为G2CTN的分层架构中，提出了GS-GL模块。这一混合尺度框架在局部和全局层面上共同建模点-体素结构，在点云分类和分割任务中实现了最先进的性能。

部分内容片段

基于投影的方法

基于投影的方法用于将3D点云投影到2D图像上，然后使用2D图像方法进行处理。MVCNN[10]首次提出使用投影方法将3D点云在多个方向上投影，形成多视图特征图。投影后的特征图通过CNN处理，从每个视点提取特征，然后使用最大池化层融合成全局表示。最终，全局特征被用于

方法

在本节中，我们介绍了将Transformer和卷积设计集成用于3D点云分类和分割的方法。3.1节介绍了分层G2CTN框架，随后是3.2节的分组采样特征块和3.3节的全局位置特征块，详细介绍了下采样过程中的GS-GL模块，用于局部和全局特征学习。

实验

在实验部分，基于提出的G2CTN，我们评估了该网络在点云数据集（ModelNet40[2]、Shapenet Part数据集[20]、ScanObjectNN数据集[21]、S3DIS[22]）上的性能。这些数据集涵盖了各种任务场景，具有不同的特点。ModelNet40包含具有规则几何结构的干净CAD模型，适用于对象分类。ShapeNet Part提供了具有复杂几何形状的3D模型的细粒度部件注释，适用于部件

结论

在本文中，提出的基于卷积的GSF块和基于Transformer的GLF块被集成到一个分层网络（GS-GL）中，该网络能够在局部和全局层面上共同建模点-体素结构。在GSF块中，采用FPS和VPS的双采样设计的分组采样策略能够跨尺度提取更丰富和多样的几何信息。此外，GLF块中引入了PVA和GLA注意力机制，这些机制组织了

CRediT作者贡献声明

王俊：撰写 – 审稿与编辑、可视化、方法论、资金获取、概念化。马志远：撰写 – 原始草稿、软件开发、形式分析、数据管理。刘伟斌：验证、监督、资金获取。张欣：监督、项目管理。邹志远：资源获取、调查。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本研究部分得到了河北省自然科学基金（编号F2022201013）、北京市自然科学基金（编号4212025）和河北大学高级人才创业基金会（编号521100221003）的支持。