高斯点云自编码器用于部分点云重建

《Neurocomputing》：Gaussian point cloud autoencoder for partial point cloud reconstruction

　　摘要：部分点云重建支持在遮挡和有限感知条件下的3D感知。我们提出了高斯点云自动编码器（GPAE），这是一个轻型网络，可以从一个部分视图重建完整的点云。图编码器推断出明确的高斯均值和尺度，而条件补丁解码器生成局部表面。权重向量和分解至少减少了高斯编码器的参数数量，而随机视角采样提高了稀疏输入的泛化能力。在ShapeNetCore上，GPAE-16在参数数量较少的情况下，平均密集输出 Chamfer 距离达到了与AtlasNet、PCN和MSN基线相当的级别。在点数减少的情况下，平均CD有所提高。显式的组件揭示了局部位置和空间范围。

引言：由于视角遮挡和有限的传感器分辨率，三维（3D）形状学习仍然是基于神经计算的智能感知系统的一个基本挑战[1] [2]。这些限制通常会产生嘈杂、不一致和不完整的3D数据表示，即部分点云，这显著降低了下游学习任务（如对象识别和场景理解）的性能。传统方法依赖于多视图采集设置来恢复完整的3D点云。然而，这样的配置需要精确的多摄像头协调、同步的数据捕获和控制环境。因此，可扩展性和移动性受到极大限制。此外，处理多视图数据通常涉及计算密集型的3D重建流程[3] [4] [5]，这对于实时或资源受限的边缘系统来说并不实用。这些限制促使人们研究从有限视图部分数据中推断出完整3D表示的神经方法。自动编码器（AE）架构[2] [6] [7]通常包括用于点云重建的编码器和解码器。像PointNet [8]和EdgeConv [9]这样的编码器学习输入点云的紧凑潜在表示。PointNet直接使用点对点卷积和对称最大池化来处理无序点，但不显式地建模局部关系。EdgeConv通过相邻点的图扩展感受野，从而提供了更丰富的局部几何表示。压缩点云表示通常由深度学习模型[8] [9]隐式嵌入。二维（2D）变形网络（如FoldingNet [6]和AtlasNet [7]）在第二阶段被广泛使用。这些解码器能够从学习到的压缩潜在表示有效地重建输出点云。大多数现有方法[10] [11]利用传统卷积网络的属性来生成离散数据，例如典型的线性插值方法。然而，这些方法在重建密集点云时精度较低。为了解决这个问题，FoldingNet [6]提出了一种新的2D网格变形学习方法，通过多阶段折叠过程生成点云。在后续工作中，AtlasNet [7]引入了一种基于补丁的点云解码方法，通过将多个2D变形网格片段组装成完整的点云。因此，AtlasNet能够生成比FoldingNet更高精度的输出点云。

最近的三维高斯展开方法使用可学习的高斯属性（如位置、颜色和不透明度）来表示3D特征。这种显式表示支持可微分渲染和高分辨率合成，而不需要许多隐式神经表示的计算成本[12]。高斯也可以作为直接变换和插值的几何基础[13]。James等人[14]进一步展示了具有高吞吐量和线性扩展能力的显式高斯编码器用于点云表示学习。受此效率的启发，GPAE使用显式高斯组件作为点云重建的局部基函数。其贡献如下：
- GPAE使用显式高斯组件作为局部基函数。每个组件编码一个局部补丁的位置和空间范围，并控制其对应解码器。
- GPAE适应了[2] [7]中的补丁重建方法，从显式高斯表示重建密集点云。
- 网络权重分解和向量化[15] [16]减少了高斯组件的数量，同时在测试配置中减少了高斯编码器的参数数量。

相关工作：许多3D重建方法[1] [2] [17] [18] [19]使用点云和深度神经网络的生成学习能力。这些方法可以分为两种类型，即体积重建和基于变形的重建。随着深度学习的最新进展，早期的3D重建方法[10] [20] [21] [22] [23]将3D CNN应用于体积点云表示。Giridhar等人[20]学习了3D体素形状及其高斯点的联合嵌入。

实验设置：GPAE网络在ShapeNetCore[45]上进行评估，该平台包含大约51,300个模型，涵盖55个物体类别。遵循Liu等人[2]的方法，我们从八个类别中选择了30,974个模型，包括桌子、椅子、汽车、飞机、沙发、灯和橱柜。数据集分为24,779个训练模型和6,195个测试模型。每个完整模型被均匀采样到8,192个点，并从50个随机视角生成包含5,000个点的部分观测值。

网络变体消融研究：评估了两种GPAE变体GPAE-8和GPAE-16，以隔离高斯组件数量对重建的影响。图2可视化了GPAE-16对飞机、船只和椅子样本的重建阶段，包括部分输入、推断出的高斯均值和方差热图以及重建的点云。表4报告了粗略4,096点和密集8,192点输出的CD和F@。密集重建降低了两种GPAE变体的CD。EMD训练的变体产生了更高的CD。

性能评估：在表4中，将粗略和密集重建的KD基准与AtlasNet[7]、PCN[1]和MSN[2]进行了比较。图4将推断出的高斯表示与重建结果关联起来。红色标记表示组件均值，并遵循粗略的物体布局，而重建的点恢复了相应的整体形状。比例尺通过方程(1)中的对角协方差定义了每个补丁的轴向空间范围，并在图2中以热图形式可视化。

在KITTI数据集上的评估：为了评估现实世界的泛化能力，我们使用了KITTI[47]，其中包含没有完整真实标签的稀疏LiDAR点云。遵循Xie等人[28]的方法，比较使用了一致性[1]和均匀性[48]。一致性是指连续帧之间第i个汽车实例的重建CD平均值。均匀性是通过测量局部和非局部分布的均匀性来衡量重建点云的分布均匀性。

限制：结果表明重建精度和模型大小之间存在权衡。在某些参数数量下，GPAE-16将MSN的平均CD从...降低到...，但它的平均EMD更高。CD评估了最近邻表面的接近度，而EMD惩罚了点分布的不匹配。在某些条件下，精细化的GRNet获得了更低的密集输出CD和更高的F@，尽管GPAE-16使用的参数更少。因此，较低的参数数量伴随着性能的降低。

结论：GPAE使用显式高斯组件作为局部解码器条件，从单视图部分输入重建完整的点云。在某些参数数量下，GPAE-16在参数数量较少的情况下获得了AtlasNet、PCN和MSN中最低的平均CD。其平均EMD高于MSN，反映了省略细化阶段的点分布权衡。在某些条件下，精细化的GRNet更加准确，但使用了更大的网络。在点数减少的情况下，平均CD有所增加，而F@保持不变。

作者贡献声明：Jonathan Then Sien Phang负责写作——原始草稿、验证、方法论、调查、形式分析、数据整理；King Hann Lim负责写作——审稿与编辑、资源管理、项目协调、概念化；Chun Wan Sia负责可视化、验证、方法论、调查。