具有部分意识的原始学习方法，用于高效完成3D形状重建

《Pattern Recognition Letters》：Part-Aware Primitive Learning for Efficient 3D Shape Completion

　　白晨帆|建利|徐阳李|余轩伦|秦旺 南京邮电大学量子信息与技术研究所，中国江苏省南京市210023 摘要 点云补全旨在从部分扫描数据中推断出完整的3D几何结构。大多数现有方法依赖于密集的基于点的解码或大型Transformer模型，这些模型隐式地学习几何信息，但忽略了人造物体的组合特性。我们提出了PPCNet（Part-Aware Primitive Completion Network），这是一种具有部分感知能力的原始补全网络，通过显式的几何抽象和关系细化来重建形状。该模型将部分扫描数据分解为一组可学习的超二次曲线原始元素，通过几何感知图注意力机制来优化它们的空间组织，并使用轻量级的残差生成器自适应地恢复点级细节。在PCN数据集上的实验表明，PPCNet的重建质量与Transformer基线模型相当，但所需的FLOPs数量仅为其四分之一。除了卓越的性能外，其基于原始元素的设计还提高了可解释性和结构稳定性，凸显了显式几何先验在高效可控的3D补全中的潜力。 引言 点云补全的目标是从部分扫描数据中恢复完整的3D几何结构，这对于自动驾驶[1]、机器人操作[2]、AR/VR[3]和数字孪生构建[4]等应用至关重要。由于遮挡、覆盖范围有限或传感器引起的稀疏性，现实世界的LiDAR或深度扫描数据往往是不完整或稀疏的，这使得重建全局结构完整性和精细的几何细节变得具有挑战性。 早期的基于学习的方法将补全视为从部分点集到完整点集的直接映射。PCN[5]引入了粗到细的编码器-解码器范式，而TopNet[6]、FoldingNet[7]和AtlasNet[8]通过分层或参数化解码改善了表面连续性。然而，它们对单一全局潜在代码的依赖性限制了在严重遮挡和复杂拓扑条件下的鲁棒性。 基于Transformer的方法后来实现了长距离几何推理。PoinTr[9]将补全问题表述为具有几何感知注意力的集合到集合的转换，这启发了如SeedFormer[10]和ProxyFormer[11]等分层细化方法。进一步的工作——GeoFormer[12]和PCDreamer[13]——通过引入坐标或扩散先验来提高完整性和真实感，但它们仍然基于点，依赖于隐式的特征匹配而缺乏显式的结构推理。 然而，人造物体本质上是组合性的：它们的几何结构围绕连贯的原始元素（如平面基础、圆柱支撑和对称表面）组织起来，并遵循功能性和关系性约束。将缺失区域视为无结构的点通常会导致局部合理但全局不一致的结果，尤其是在大面积遮挡的情况下。原始元素推理自然地编码了稀疏性、对称性和拓扑结构，为推断被遮挡或功能受限的区域提供了有原则的线索，而这些是基于点的模型常常无法捕捉到的。 受人类通过几何抽象推断被遮挡结构的启发，我们将补全视为一个结构化的分析和组装问题，而不仅仅是纯粹的生成过程。我们不是直接回归缺失的点，而是将物体表示为具有几何感知交互作用的可学习原始元素的组合。这种混合设计结合了分析先验和神经推理，实现了可解释性、组合一致性和结构连贯性，这些都是基于点的解码器难以实现的。 我们提出了PPCNet（Part-Aware Primitive Completion Network），它通过分层几何推理来重建形状（见图1）。该模型包括三个阶段：（1）具有部分感知能力的原始元素表示学习，通过PrimTransformer将部分特征与可学习的语义词典对齐；（2）几何感知的部分交互，其中解码的原始元素通过基于图的推理进行细化；（3）自适应细节恢复，将点分布在原始元素上以实现精细的几何结构。通过结合显式的部分分解和神经细化，PPCNet即使在严重部分缺失的情况下也能产生结构连贯且语义上有意义的补全结果，为可控的3D重建和具身感知提供了紧凑且可解释的基础。 贡献 • 我们引入了用于3D补全的超二次曲线原始元素，将任务重新定义为显式的参数化部分组装过程。 • 我们提出了PPCNet，它通过结构化的原始元素表示和几何感知的关系细化来进行可解释的部分推理。 • 我们建立了一个可控3D重建的统一框架，支持诸如部分级编辑、视觉-语言指导和实时机器人感知等扩展。 部分概述 点云补全经历了三种主要范式的演变：基于点的重建、基于Transformer的推理以及几何或扩散增强的生成。 基于点的重建。早期的方法将补全视为从部分点集到完整点集的映射。PCN[5]建立了编码器-解码器基线，而TopNet[6]、FoldingNet[7]和AtlasNet[8]通过分层或参数化解码改善了局部连续性。GRNet[14]引入了基于网格的特征表示方法。 我们的框架旨在通过显式建模超二次曲线原始元素之间的部分级交互，从稀疏的点云中重建完整且几何一致的形状。如图1所示，该网络遵循三个阶段：（1）具有部分感知能力的表示学习，其中PrimTransformer建立了可学习原始元素与编码的点云特征之间的对应关系和交互；（2）几何感知的细化，其中GATRefiner解码并调整原始元素；（3）自适应细节恢复，将点分布在原始元素上以实现精细的几何结构。 实验设置 我们在PCN数据集[5]上评估了PPCNet的性能，该数据集包含来自八个类别的30,974个ShapeNet模型（例如飞机、椅子、桌子），其中28,974个用于训练，2,000个用于测试。每个部分输入是从八个模拟视角生成的，并包含遮挡，相应的真实形状包含16,384个点。 实现细节 PPCNet使用AdamW优化器（lr=1×10^-4，权重衰减=1×10^-5）从头开始训练，批量大小为16，训练周期为300个时代。 讨论 PPCNet展示了显式的原始元素抽象作为一种可解释的、轻量级的替代方案，用于替代密集的基于点的解码方法，以恢复连贯的全局结构。 紧凑性与保真度的权衡 PPCNet在计算量最小的情况下实现了可比较的准确性。如图4所示，即使生成的质量得分较低，我们的方法也能保证更好的拓扑稳定性和完美的遮挡推断。这克服了纯基于点的生成方法常见的结构崩溃问题。 结论 我们提出了PPCNet，这是一个基于原始元素的点云补全框架，它通过显式的超二次曲线分解和几何感知细化来重建形状。这种设计保留了全局结构，保持了部分级的一致性，并实现了可解释的推理，同时比依赖Transformer的模型效率更高。 除了定量性能之外，这项工作还表明，3D补全可以通过结构化的几何先验来指导，而不仅仅是纯粹的数据驱动。 CRediT作者贡献声明 白晨帆：撰写——原始草稿、可视化、软件、方法论。 建利：撰写——审稿与编辑、监督、方法论、概念化。 徐阳李：撰写——原始草稿、方法论。 余轩伦：撰写——原始草稿、概念化。 秦旺：撰写——审稿与编辑、监督、方法论、概念化。 利益冲突声明 作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。