基于遮挡恢复与骨架生成的单视图点云重建

《Computer Vision and Image Understanding》：Single-view point cloud reconstruction via occlusion recovery and skeleton generation

　　

提出了一种SPROS方法，从单张图像获取精细的点云。• 学习对称关系以恢复遮挡区域的形状。• 生成骨架结构以增强点云的细节。• 大量实验证明了所提出方法的优越性。引言从单张图像重建给定物体的3D形状是计算机视觉领域的一个重要研究课题（Wang等，2018；Duggal和Pathak，2022；Mao等，2023；Pang和Biljecki，2022；Ren等，2023）。随着深度神经网络的发展（Mouawad等，2025；Furuya等，2024；Zamorski等，2020；Xu等，2024），现有的单视图3D重建方法（Fan等，2017；Sun等，2020）取得了令人瞩目的成果。它们通常分两个阶段重建给定物体的3D形状：（1）形状生成；（2）形状精修。对于形状生成，主流方法（Insafutdinov和Dosovitskiy，2018；Lin等，2018）通常使用卷积神经网络（CNNs）从输入图像编码特征，然后通过解码特征生成3D表示。此外，其他3D重建方法（Yan等，2016；Shi等，2021）涉及使用transformer从输入的单视图图像执行形状生成。PCDNet（Nguyen等，2019）是一种先驱方法，它集成了随机初始化的点云和图像特征用于点云形状生成，从而实现3D重建。如图1所示，在现实环境中，物体通常存在自遮挡或被周围杂物遮挡。然而，上述方法在遮挡区域往往只能生成粗糙的3D形状。值得注意的是，大多数物体具有对称性，因此理解物体的对称结构对于推断遮挡区域的形状至关重要。例如，当物体的某些区域被遮挡时，这些区域的形状可以从其对称区域补充。不幸的是，现有方法尚未利用这一特性。对于形状精修，Wen等（Wen等，2023）提出了一种精修模型，称为Pixel2Mesh++，它通过Pixel2Mesh（Wang等，2018）生成粗糙形状，然后使用精修模型将粗糙形状逐步精修为3D形状。（Zhou等，2022）创新了一种种子生成器，称为SeedFormer，它处理点云特征以生成代表物体结构的最小点云。在建筑领域，可以观察到骨架结构（如梁和柱）可以支撑整个建筑物的重量和形态。受此观察启发，我们认为探索物体的骨架结构对于精修3D形状至关重要，因为它保留了物体的主要形状和拓扑结构。例如，在椅子的3D重建中，骨架可以精确勾勒其组成元素，如椅腿、椅面和靠背，从而使重建物体的形态特征更准确地逼近其真实世界排列。然而，现有方法未能探讨这一问题，导致生成的3D形状较为粗糙。鉴于以上论述，我们提出了一种新方法，称为基于遮挡恢复和骨架生成的单视图点云重建（SPROS）。它以2D图像为输入，随后生成精细的点云。SPROS的框架如图2所示，由三个子网络组成：一个点云生成网络、一个遮挡恢复网络和一个形状精修网络。首先，受PCDNet（Nguyen等，2019）成功的启发，分配了一个点云生成网络。它生成对应于输入图像的粗糙点云。其次，考虑到给定物体中存在的遮挡，提出了一种遮挡恢复网络（ORNet）从单视图重建遮挡区域的3D形状。具体来说，ORNet计算PCDNet重建的粗糙点云中每个区域内配对的点之间的关联，从而捕获点云的区域级特征。接下来，通过建模点云中所有区域之间的相似性，学习粗糙点云不同区域之间的对称关系。利用这种对称关系，可以补充给定物体遮挡区域的3D形状，从而使粗糙点云丰富为完整点云。最后，受建筑结构表示概念中骨架的启发，我们认为骨架有助于保留原始形状并重建密集的完整点云。相应地，设计了一个形状精修网络（SRNet）。它使用跨分辨率采样从完整点云捕获结构信息。通过将这种结构信息融入完整点云，SRNet生成描述点云主要形状和拓扑的骨架结构。随后，生成的骨架被逐步上采样以重建精细的点云。值得注意的是，SRNet通过调整上采样因子可以确保精细点云在分辨率上的灵活性。总之，本文的主要贡献如下：• 设计了一种新颖的单视图点云重建方法SPROS，它以单张2D图像为输入，输出精细的点云。• 提出了一种遮挡恢复网络，学习给定物体不同区域之间的对称关系，从而恢复单张图像中遮挡区域的3D形状并获得完整点云。• 设计了一种形状精修网络，探索描述给定物体主要形状和拓扑的骨架结构，从而重建精细的点云。• 在ShapeNet和Pix3D数据集上的定性和定量结果表明，我们的SPROS在重建质量方面显著优于现有方法。章节片段多视图3D重建传统的多视图重建研究在处理多张图像时首先致力于特征匹配步骤（Goesele等，2006）。其中，运动结构恢复（SFM）（Hartley和Zisserman，2005）是最知名且具有代表性的算法。从多张RGB图像预测3D形状是该领域的核心任务。早期基于深度学习的多视图3D重建方法（Choy等，2016；Kar等，2017）使用体素表示进行预测方法学我们的SPROS由点云生成网络、遮挡恢复网络和形状精修网络组成。所提方法的总体框架如图3所示。它以单张RGB图像为输入，然后恢复遮挡区域的形状以获得精细点云。实现训练细节。本文中，我们使用NVIDIA Tesla v100显卡，训练批次大小为16，?(P)的邻域点数k设为16，总损失函数的α和β分别设为3e3和1e3。在每次训练迭代中，我们初始化一个包含2000个点的随机点云。在所有实验中，只有可扩展性实验更改输出分辨率以分析模型的可扩展性。其余实验保持输出固定在2000结论本文介绍了一种新颖的单视图点云重建方法，称为SPROS。它从输入图像中恢复遮挡区域的形状并生成完整点云。此外，我们的SPROS构建了描述完整点云主要形状和拓扑的骨架结构，重建出具有更丰富细节的点云。在ShapeNet和Pix3D数据集上的大量实验证明，所提出的SPROS优于现有的最先进方法。CRediT作者贡献声明Yongpeng Li：写作–审稿与编辑，写作–初稿，可视化，软件，方法论，调查，数据整理，概念化。Xin Jia：写作–审稿与编辑，调查，资金获取，数据整理。Jinglei Zhang：写作–审稿与编辑，资源，资金获取。利益冲突声明作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。致谢本工作得到国家自然科学基金的资助[项目编号62302335、62176183]。Yongpeng Li | Xin Jia | Jinglei Zhang