PointVDP：通过烟花射线学习视图依赖的投影算法，用于3D点云分割

《Pattern Recognition》：PointVDP: Learning View-Dependent Projection by Fireworks Rays for 3D Point Cloud Segmentation

提出视角自适应投影方法PointVDP，通过动态学习3D点云的投影 rays解决传统固定投影的视角无关性和空间利用率低问题，结合火药算法增强投影多样性，并采用颜色正则化优化二维图像空间利用率，显著降低计算负担且保持高效分割性能。

　　

杨晨|段月琪|孙浩文|王子伟|卢继文|谭亚鹏

新加坡南洋理工大学

摘要

在本文中，我们提出了基于视图的投影（VDP）方法来促进点云分割，设计了一种高效的3D到2D映射方式，该方式能够动态适应不同视角下的空间几何变化。现有的基于投影的方法在复杂场景中利用视图无关的投影，依靠直线生成直射光线或向上弯曲的光线来减少遮挡。然而，它们的视图无关性导致投影光线受到人为设定的预定义参数的限制，从而限制了对点的感知能力，并且无法在不同视平面之间捕捉到足够的投影多样性。尽管通常会在每个视平面使用多个投影来增强空间多样性，但这种投影冗余会导致过高的计算开销和图像处理的低效率。为了解决这些问题，我们设计了一个VDP框架，从3D点分布中生成数据驱动的投影，通过模仿烟花的自适应行为来预测光线，从而产生信息量丰富的单幅图像输入。此外，我们还构建了颜色正则化机制来优化该框架，该机制强调语义像素中的关键特征并抑制黑色像素中的非语义特征，从而最大化2D空间的利用效率。因此，我们的方法PointVDP能够以较低的计算成本生成轻量级的投影。在S3DIS和ScanNet基准测试中的实验表明，我们取得了有竞争力的结果，为语义理解提供了一种资源高效的解决方案。

引言

3D点云分割任务旨在将3D场景中的点分割成语义上连贯的区域，从而便于对物体和结构进行场景级别的理解。大量方法[1]、[2]、[3]、[4]、[5]、[6]已经探索了基于点的架构来处理3D域中的点云。与2D图像不同，3D点云本质上是不规则、稀疏且无序的，这在特征提取和表示方面带来了挑战。为了弥合3D和2D领域之间的差距，一些方法[7]、[8]、[9]结合使用现有的2D图像和3D点云数据集，从而利用成熟的2D框架来实现对点云的稳健理解。然而，这些方法仅适用于RGB图像和3D扫描数据共同收集的场景，在实际应用中，当面对缺乏明确2D模态的数据集时，这些方法并不适用。这些挑战促使人们越来越关注采用基于投影的策略，将3D点转换为单个物体级别的2D像素[10]、[11]、[12]、[13]、[14]，以及室内场景级别[15]和室外场景级别[16]、[17]。

这些基于投影的方法通常提供依赖于预定义参数的固定光线，这种方法被称为视图无关投影（VIP）。当需要适应遮挡更密集或空间布局更紧密的环境时，现有方法开发了直线光线[10]、[11]和向上弯曲的光线[15]以实现并行3D到2D映射并减轻遮挡区域的影响。如图1(a)所示，VIP产生的固定光线在所有视平面中都是相同的，这些光线是由人为设定的预定义参数生成的。尽管VIP方法具有专门的物理建模和广泛的实证分析，但它们对预定义参数化光线的依赖性存在潜在的限制。首先，VIP导致空间利用效率低下，包括由于高语义冗余导致的不必要重叠以及由于2D空间利用不足造成的资源浪费。其次，VIP缺乏对3D点分布的自适应变化以及不同视平面之间的固有不规则性。因此，尽管每个视平面可以使用多幅图像来增强投影多样性，但这些图像对于生成重复的物体并不理想，会导致非语义像素的出现，并增加处理复杂结构所需的计算负担。

在本文中，我们认为VIP由于空间利用效率低下和缺乏自适应变化，限制了对空间表示的语义理解。这些限制促使我们重新思考视图无关性的概念，我们认为更有效的策略是设计视图依赖性。视图依赖性旨在预测多样化的光线，从而实现对3D点局部分布的空间利用和自适应变化的高效感知。与视图无关性不同，我们引入了基于数据驱动的参数的视图依赖性，并在图1(b)中提出了基于视图的投影（VDP）。VDP不是在所有视平面中使用统一的射线集，而是通过学习来适应每个视平面并推断出相应的空间表示。此外，VDP不是在VIP中添加多幅投影图像，而是在单幅优化图像中增加投影光线的多样性，从而减少冗余图像的数量。确保足够的投影多样性并非易事。虽然VDP是数据驱动的，但投影可以收敛到仅受全局特征限制的最优光线。受到烟花算法[18]、[19]的启发，我们在流程中加入了变异机制，以确保投影具有局部特征的多样性。与典型的烟花算法不同，我们的算法关注在离散点之间变化的射线，以减少次优聚类并促进更广泛的多样性。通过变异，我们设计了多方向烟花射线，从而提高了视图依赖性的表达能力。

为此，我们提出了PointVDP，通过烟花射线来模拟具有视图依赖性的多样化投影，这些射线能够适应不同视平面的点分布并生成空间优化的图像。更具体地说，我们提出了一个VDP框架，该框架集成了聚合、分割和注意力机制来处理点云。通过加入变异机制，我们的框架能够预测来自多个方向的投影光线。将这一框架集成到端到端流程中带来了优化挑战，特别是在投影光线的约束方面。我们设计了一种颜色正则化策略，用于解决黑色像素占据的未充分利用的2D空间问题，以提高语义像素的占比。在S3DIS [20]和ScanNet [21]基准测试中的全面评估表明，PointVDP的表现优于许多现有方法，具有高效的处理能力。我们的主要贡献包括：

•

我们提出了PointVDP，这是第一个从点分布中派生的基于视图的投影方法。PointVDP是数据驱动的，弥补了视图无关投影中预定义参数的不足。

•

在PointVDP中，VDP框架能够适应不同视平面的空间结构并捕捉复杂的点特征。我们提出了一种独特的颜色正则化策略，有助于提高投影图像中2D空间利用的感知能力，有效预测烟花射线以确保投影多样性。

•

PointVDP通过优化最具信息量的图像来减少冗余图像，每个场景仅保留12到4幅投影图像（减少了66.7%），从而实现了低计算成本。我们的方法是数据驱动的，并且在推进基于投影的3D场景理解方面具有资源效率。

相关工作

相关工作

本节从三个方面回顾了与我们的方法相关的现有工作：3D场景分割、带有2D引导的点云分析以及烟花算法。

提出的方法

在本文中，我们提出了PointVDP，该方法可以从3D点云中学习基于视图的投影（VDP）。与以往的视图无关投影（VIP）不同，PointVDP在视图级别增强了投影的多样性。本节的其余部分安排如下：我们在第3.1节介绍了PointVDP的总体流程。在第3.2节中，我们介绍了我们的投影策略，包括重新审视VIP、提出VDP、VDP框架以及烟花射线。

实验

我们在第4.1节详细阐述了实验设置，并在第4.2节展示了包括整体分割性能、时间复杂度、空间复杂度、类别IoU性能和定性可视化在内的结果。此外，我们在第4.3节分析了不同的投影射线、设计选择和参数的敏感性。

结论

在本文中，我们提出了PointVDP，这是一种数据驱动的方法，用于根据不同视平面的独特点分布进行基于视图的投影，以促进点云理解。我们的VDP框架通过预测烟花射线来确保投影多样性。我们开发了颜色正则化机制，通过提高2D空间利用的感知能力来优化框架，最小化非语义区域，生成高质量的信息图像。

CRediT作者贡献声明

杨晨：撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。段月琪：撰写——审阅与编辑、监督、资源管理、方法论、调查、资金获取、形式分析、概念化。孙浩文：软件、方法论、调查。王子伟：撰写——审阅与编辑、监督、方法论、概念化。卢继文：撰写——审阅与编辑，

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了中国国家自然科学基金（项目编号62206147）的支持，部分得到了新加坡国家研究基金会（NRF中型中心计划（CARTIN）的支持，部分得到了新加坡南洋理工大学启动基金（NTU Start up Grant 024303-00001）的支持，以及新加坡NTU快速丰富对象搜索（ROSE）实验室的支持。