点云上采样在全局和局部输入下的表示学习

《Computer Vision and Image Understanding》：Representation learning of point cloud upsampling in global and local inputs

提出点云全局与局部特征并行提取的ReLPU框架，通过分路径处理全局平均分割输入和局部片段输入，融合后经共享解码器实现高效上采样，在PU1K等数据集上验证其几何保真度与鲁棒性优于现有方法。

　　近年来，点云数据在三维重建、物体识别等领域得到了广泛应用。点云数据作为3D传感器和深度相机采集的重要形式，具有高精度和丰富的几何信息。然而，点云数据在实际采集过程中常常面临诸如稀疏性、分布不均、噪声干扰和冗余等问题。这些问题在一定程度上限制了点云数据在复杂场景下的应用效果。因此，如何提升点云数据的密度和质量，成为该领域研究的重要课题。点云上采样技术作为一种有效的手段，能够在不改变原始数据结构的前提下，通过算法增加点云的点数，从而改善其几何细节和整体表现。这种技术不仅有助于提升点云数据的完整性，还能够增强其在后续任务中的鲁棒性。

本研究提出了一种新的点云上采样框架，命名为ReLPU（Representation Learning for Point Cloud Upsampling）。该框架通过显式地从点云的全局和局部结构特征中学习，提升了上采样的性能。具体而言，ReLPU采用双输入机制，分别从均匀分割的输入中提取全局特征，以及从基于补丁的输入中提取局部特征。这两类特征经过并行自编码器的处理后，进行融合，并最终输入到共享的解码器中进行上采样。这种设计不仅提高了特征的完整性，还增强了跨尺度的一致性，特别是在稀疏和噪声较多的区域表现尤为突出。

点云上采样技术的发展与深度学习的进步密切相关。随着3D传感器和扫描仪的不断成熟，LiDAR和深度相机成为获取点云数据的重要工具。然而，点云数据的不规则性和非结构化特性给传统处理方法带来了诸多挑战。早期的研究多采用将点云投影到多视角2D图像或将其转换为体素或网格表示的方式，以期利用成熟的2D图像处理技术。但这些方法往往需要复杂的预处理步骤，并且可能损失部分三维信息。近年来，研究者们逐渐转向直接处理点云数据，探索基于点云结构的深度学习方法。

在深度学习的应用中，点云处理面临的一个关键问题是如何有效地提取特征。由于点云数据的非结构化特性，传统的卷积操作难以直接应用于点云数据。为此，研究者们提出了基于图的方法，如Graph Convolution Networks（GCN），这些方法通过构建点云的图结构，使得卷积操作可以在点云上实现。PU-Net作为首个基于深度学习的点云上采样方法，为后续研究奠定了基础。随后，MPU/3PU等模型通过聚类插值的方式，提升了点云的局部和边缘识别能力。PU-GCN进一步优化了特征提取过程，构建了DenseGCN，以更好地捕捉点云的局部输入特征。此外，PU-GAN利用生成对抗网络（GAN）技术，通过生成器实现点云的上采样，生成高质量且逼真的点云数据。PU-Transformer则通过引入位置信息和自注意力机制，进一步提升了点云上采样的全局特征提取能力。

尽管深度学习在点云上采样领域取得了显著进展，但仍存在一些挑战。首先，点云数据的不规则性使得特征提取变得复杂。不同于基于体素的网格表示，点云中的每个点都是独立的，这导致在特征提取过程中难以统一处理。其次，当前的一些方法虽然能够处理点云数据，但在跨尺度特征的对齐和一致性方面仍有不足。例如，一些模型通过在粗点云上使用细化模块，将局部和全局特征进行融合，但这些模型的结构通常较为单一，难以适应不同的网络架构。此外，一些研究尝试通过专用的编码器分别提取局部和全局特征，以期实现更高效的特征融合，但这种设计可能增加模型的复杂度，影响其泛化能力。

针对上述问题，本研究提出了一种新的点云上采样框架——ReLPU。该框架的核心思想是通过并行提取全局和局部特征，实现更全面的特征融合。具体来说，ReLPU采用双输入机制，分别从均匀分割的输入和基于补丁的输入中提取特征。均匀分割的输入能够提供点云的全局结构信息，而基于补丁的输入则能够捕捉点云的局部细节。这两类特征经过并行自编码器的处理后，进行融合，并输入到共享的解码器中进行上采样。通过这种设计，ReLPU能够在保持特征完整性的前提下，提高点云上采样的几何保真度和鲁棒性。

ReLPU框架的优势在于其灵活性和可扩展性。该框架可以适应多种基于编码器-解码器结构的点云上采样模型，使得研究者能够根据具体任务需求选择合适的网络架构。此外，ReLPU还能够通过特征学习，解释局部和全局输入在上采样过程中的贡献。通过计算梯度贡献值，研究者可以更直观地理解不同特征在上采样任务中的作用，从而优化模型性能。实验结果表明，ReLPU在多个点云上采样模型中均取得了优于当前最佳方法的性能，特别是在几何保真度和鲁棒性方面表现突出。

为了验证ReLPU的有效性，我们在公开的合成数据集PU1K上进行了实验。PU1K数据集包含大量高质量的点云数据，适用于训练和测试点云上采样模型。通过将ReLPU框架应用于现有的点云上采样网络，我们不仅验证了其在不同网络结构中的适应性，还展示了其在提升点云质量方面的潜力。此外，我们还使用了真实世界物体数据集进行可视化实验，以直观展示ReLPU在实际应用中的效果。

在实验过程中，我们发现ReLPU框架在处理稀疏和噪声较多的点云数据时表现出色。由于点云数据的不规则性，传统方法在处理这类数据时往往难以保持几何细节的完整性。而ReLPU通过并行提取全局和局部特征，并在解码阶段进行融合，使得上采样后的点云数据在保持整体结构的同时，也能够保留局部细节。这种设计在一定程度上弥补了传统方法在特征提取方面的不足，提高了点云上采样的质量。

除了提升点云质量，ReLPU框架还增强了点云上采样的可解释性。通过计算梯度贡献值，我们能够明确区分局部和全局特征在上采样过程中的作用。这一特性对于理解模型的决策过程和优化模型参数具有重要意义。在实验中，我们使用了可视化技术，展示了不同特征在上采样过程中的贡献，从而验证了ReLPU在特征解释方面的有效性。

ReLPU框架的另一个重要贡献在于其模块化设计。该框架允许研究者轻松替换骨干网络，以适应不同的点云上采样任务。这种设计不仅提高了模型的灵活性，还为未来更先进的点云上采样方法提供了扩展的可能性。通过保持编码器和解码器的结构一致，ReLPU避免了复杂的网络设计，使得模型更加简洁和高效。

在实际应用中，ReLPU框架能够有效提升点云数据的密度和质量，从而增强其在三维重建、物体识别和机器人操作等任务中的表现。例如，在三维重建任务中，高密度的点云数据能够提供更精确的几何信息，有助于构建更高质量的三维模型。在物体识别任务中，点云数据的密度和质量直接影响模型的识别准确率。而ReLPU通过提升点云的密度和几何保真度，为这些任务提供了更可靠的数据支持。此外，在机器人操作任务中，点云数据的密度和质量也决定了机器人对环境的理解能力，进而影响其导航和操作的准确性。

综上所述，ReLPU框架通过并行提取全局和局部特征，并在解码阶段进行融合，有效提升了点云上采样的性能。该框架不仅能够适应多种点云上采样模型，还增强了特征的可解释性和模型的灵活性。实验结果表明，ReLPU在几何保真度和鲁棒性方面均优于当前最佳方法，特别是在处理稀疏和噪声较多的点云数据时表现突出。未来，随着点云数据在更多领域的应用，ReLPU框架有望成为点云上采样技术的重要发展方向。