通过引导式多次遍历（Guided Multi-Walks）方法学习三维形状几何知识

《Computers & Graphics》：Learning 3D shape geometry via Guided Multi-Walks

针对3D点云处理中的几何结构建模难题，提出GMW-Net框架，通过多路径引导行走和三重注意力机制，有效捕获局部与全局几何关系，显著提升形状分类和分割任务性能。

　　

李彦峰|杨金秋|舒振宇|方嘉文|王俊虎|庞超毅

浙江科技大学计算机科学与技术学院，中国杭州

摘要

由于3D点云的无序性和不规则性，理解其几何结构仍然是一个基本且具有挑战性的问题。在本文中，我们提出了GMW-Net（引导式多路径网络）这一新颖框架，该框架通过构建多个引导路径来学习点云的几何结构。每个构建的路径都包含一个固定长度的序列，该序列能够捕捉点之间的局部和全局关系，同时通过评分和抑制机制防止冗余覆盖和循环。这种多路径策略将不规则的点集转换为结构化的表示，从而实现高效的序列建模。为了有效地从这些路径中提取丰富的特征，我们引入了一个专门的三重注意力模块（Triple Attention Block）。该模块同时处理路径内部、路径之间以及全局稀疏卷积分支的特征。所提出的框架在计算效率和特征质量之间取得了卓越的平衡，在3D形状分类和部分分割任务上取得了极具竞争力的结果。

引言

准确感知和解释3D形状的几何结构对于计算机视觉和图形学中的许多应用至关重要。它们被广泛用于建模现实世界场景和物体的几何结构，特别是在3D重建、物体识别和自动驾驶等应用中。近年来，深度神经网络已成为处理点云数据的主流方法，在各种任务中取得了显著进展。然而，由于点云的固有稀疏性和缺乏规则结构，实现有效的处理和分析仍然是一个挑战。

为了解决这些挑战，人们探索了多种范式。早期的基于体素和基于投影的方法[1]、[2]使得标准CNN得以应用，但存在量化伪影的问题。基于点的架构[3]、[4]、[5]、[6]、[7]直接处理原始点，但往往难以建模复杂的非局部关系。最近，Transformer[8]、[9]、[10]、[11]、[12]、[13]在捕捉长距离依赖性方面显示出潜力，但其二次复杂度限制了可扩展性。因此，基于序列的技术应运而生，将点云序列化为类似路径的表示，尽管通常缺乏几何控制。

现有的序列化方法——例如Point Transformer V3[13]中使用的那些——通常依赖于空间填充曲线（例如Hilbert曲线）应用于体素化的点云上。虽然这种策略提供了确定的顺序，但它存在一个根本性限制：遍历模式是固定的，且与几何形状无关。无论底层形状如何，曲线都会机械地扫描空间，导致在空体素或断开区域处出现空间不连续性（如图1所示）。因此，生成的序列往往无法将几何相关的点分组，破坏了局部连贯性。基于随机路径的技术提供了一种更轻量级的替代方案，能够保持初始的局部连续性，但它们存在固有的随机性限制。由于缺乏对遍历轨迹的控制，这些方法常常导致轨迹碎片化和不连续性，尤其是在遍历完局部邻域后随机跳转到断开区域时。此外，由于这些方法是无指导的，它们难以关注几何上显著的区域，导致简单平面表面的冗余覆盖，同时可能错过关键的高曲率细节。为了克服这些限制，我们提出了引导式多路径（GMW）——一种将点云序列化视为策略驱动的探索任务的机制。与机械扫描空间填充曲线或随机路径的随机性不同，我们的“引导”范式主动引导多个并发路径沿着语义相关的几何结构进行遍历。这种机制不仅通过避免突然跳转来确保空间连贯性，还通过在序列早期优先考虑特征丰富的区域并智能抑制冗余循环来提高特征质量。

我们在一个名为GMW-Net的统一框架中实现了这一范式。为了解决低并行性和序列碎片化的限制，我们的框架构建了多个并发的引导路径。这些路径不是随机开始的，而是在空间上显著的锚点处初始化，并被驱动去主动追踪物体的高曲率轮廓。通过优先探索这些特征丰富的区域，GMW-Net确保生成的序列在语义上是一致的，且没有无关的噪声。这种策略有效地将不规则的点云转换为一组高度代表性的、并行的序列，为特征提取奠定了坚实的基础。借鉴图论，我们利用基于路径的遍历来探测点云的拓扑连通性。此外，结合计算几何学的原理，我们设计了引导策略来主动寻找高曲率区域，类似于经典算法优先考虑几何显著性的方式。通过将这些跨学科的见解明确整合到深度学习框架中，我们的方法为无序3D数据中的结构发现提供了新的视角。

总之，GMW-Net框架首先使用起点生成（SPG）模块来识别空间上显著的锚点，确保探索从几何复杂的区域开始。从这些锚点出发，我们构建多个并发的路径。与随机遍历不同，我们的引导式多路径（GMW）机制作为一个可学习的策略，主动整合几何线索——特别是局部曲率和方向连续性——来追踪物体的轮廓。至关重要的是，该策略包含了一个动态抑制机制，以防止冗余循环，将不规则的点云转换为一组连贯的、拓扑上有意义的序列。

为了有效地解释这些结构化的序列，我们引入了三重注意力模块（Triple Attention Block）。这种分层架构通过同时在三个维度上处理特征，超越了标准的序列建模：（1）路径间注意力模型不同路径之间的宏观级相关性（聚合全局结构上下文）；（2）路径内注意力捕捉引导路径上的细粒度、点对点依赖性；（3）全局稀疏卷积保留体积信息。这种设计有效地结合了局部几何细节和对形状的整体理解。

我们提出的新颖框架GMW-Net包含以下核心创新：

• •
  一种可学习的、具有几何意识的序列化范式。为了克服先前方法中缺乏几何控制的问题，我们将点云序列化视为一个策略驱动的探索任务。它生成连贯的序列，主动追踪物体的显著特征，同时捕捉表面连续性和高曲率细节。
• •
  一种用于多路径序列的分层注意力架构。为了解决多路径特征提取的复杂性，所提出的三重注意力模块同时在点级别（路径内）、路径级别（路径间）和全局上下文中处理信息，确保了全面的几何表示。
• •
  在主要基准测试中的领先性能。广泛的实验评估表明，GMW-Net在对象级任务上表现出色，在许多测试数据集上获得了极具竞争力或优越的性能。在比较中，GMW-Net在部分分割任务上的mIoU达到了86.5%，在形状分类任务上的总体准确率为93.2%，证实了我们的框架在理解详细几何形状方面特别有效。

相关工作

相关工作

在点云处理领域，研究人员提出了各种方法来应对点云数据的无序性和稀疏性问题。用于理解3D点云的常见深度神经架构可以大致分为以下几类。

我们的方法

在本节中，我们将详细解释我们的网络架构，如图2所示，包括路径起点的选择、迭代遍历过程以及用于处理路径的三重注意力模块。

实验

为了验证我们的框架在3D形状分析领域的优势，我们进行了一系列全面的实验。我们的评估表明，GMW-Net在对象级任务上表现出色，取得了极具竞争力或优越的性能。值得注意的是，我们的模型在ShapeNet-Part分割基准测试中获得了86.5%的领先平均IoU，在形状分类任务上的准确率达到了93.2%

局限性和未来工作

尽管GMW-Net在以对象为中心的任务上表现出色，但我们发现了几项未来改进的方向。目前，固定的路径参数策略可能对于具有不同复杂性的形状来说不是最优的。未来的工作可以通过使用轻量级元网络或强化学习来动态确定基于形状几何的最佳路径配置。此外，为了提高对极端噪声或稀疏性的鲁棒性，我们计划

结论

在本文中，我们提出了GMW-Net，这是一种通过引入引导式序列化范式来处理无序点云的新框架。我们的核心贡献是一种具有几何意识的、多路径机制，它将原始点集转换为结构化序列。与依赖几何无关的排序或不受控制的随机路径的先前方法不同，我们的可学习引导策略生成了捕捉有意义表面属性的连贯路径。我们还引入了

CRediT作者贡献声明

李彦峰：撰写——原始草稿、可视化、验证、方法论、概念化。杨金秋：验证、资源、形式分析、数据管理。舒振宇：软件、资源、项目管理。方嘉文：监督、调查、形式分析。王俊虎：验证、监督、资金获取。庞超毅：撰写——审阅与编辑、验证、资源、调查。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：杨金秋持有宁波科技大学的专利申请。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。