基于时空联合网络的多源点云补全方法研究及其在三维交互显示系统的应用

本文提出了一种创新的时空联合网络（STJN），通过多复合位置编码（结合局部位置编码、局部角度编码和局部特征信息）和双分支自适应Mamba网络，有效解决了不同传感器生成点云数据的泛化性难题。该方法在PCN、Completion3D、ShapeNet-55/34、MVP和KITTI等多源数据集上验证了其卓越的补全性能，为虚拟现实（VR）/增强现实（AR）等三维交互系统提供了关键技术支撑。

　　

Highlight

我们的方法在多个数据集上得到验证，包括CAD合成数据集PCN、Completion3D、ShapeNet-55/34，真实相机多视图数据集MVP，以及激光雷达采集数据集KITTI。实验结果表明，所提出的方法在不同类型数据集上均表现出强大的泛化能力和优异的补全性能，凸显了其在三维显示和人机交互系统中的广泛应用潜力。

Related work

生成式学习（Generative-Based Learning）：这类方法通过估计缺失区域的概率分布来生成完整点云数据。代表性工作包括变分自编码器（VAE）、生成对抗网络（GAN）和扩散模型。Xie等人提出了一种基于风格的点云生成器，通过对抗渲染进行点云补全。该方法充分利用了点特征中的局部结构和全局形状信息（听起来像在玩一场三维拼图游戏，用智能算法填补缺失的碎片！）。

Method

我们提出了一种基于时空联合网络（STJN）的点云补全方法。整体框架结构如图1所示，主要包括三个部分：多复合位置编码、双分支自适应Mamba网络和时空联合网络（就像给点云数据装上了时空导航系统，让局部和全局特征能愉快地跳交谊舞~）。

Dataset, implementation details and evaluation metrics

数据集：为验证所提算法在不同采集方式或传感器下的性能，我们在多个主流CAD合成数据集上进行了广泛实验：PCN、Completion3D、ShapeNet-55/34；真实相机多视图数据集：MVP；激光雷达采集数据集：KITTI（这些数据集就像点云界的全明星赛阵容，考验着算法的适应能力）。

PCN数据集：该数据集是ShapeNet的子集，包含8个类别共30,974个形状。根据前人工作，我们将其分为28,974个训练样本和2,000个测试样本（数据集的划分就像为算法准备的标准训练营和终极考场）。

Conclusion

本文提出了一种时空联合网络来解决点云补全问题。通过结合多复合位置编码、双分支自适应Mamba网络和时空联合网络，STJN在不同数据集及多种传感器生成的点云数据上展现出优异的泛化性和性能。实验结果表明，我们的方法在这些数据集上取得了卓越性能，尤其在真实相机和激光雷达数据场景下表现突出（这项技术就像是给不完整的点云世界打上了智能补丁，让三维视觉更接近完美！）。