EGU-GS：高效利用高斯分布实现实时3D高斯散布效果

《Image and Vision Computing》：EGU-GS: Efficient Gaussian utilization for real-time 3D Gaussian splatting

本文提出了一种高效的自适应密度控制策略，结合Cross-Section-Oriented分割和异构克隆操作，有效减少冗余高斯，提升渲染质量与实时性能，在Mip-NeRF 360等数据集上实现PSNR提升和存储优化。

　　

郑志宇|周大可|邵一鸣|杨欣

南京航空航天大学自动化工程学院，中国南京211106

摘要

近年来，3D高斯散布（3DGS）因其卓越的渲染质量和实时性能而受到了广泛关注。然而，3DGS中对高斯分布的低效利用导致需要使用数百万个高斯原语来适应3D场景的几何形状和外观，从而产生了大量冗余。为了解决这个问题，我们提出了一种高效的自适应密度控制策略，该策略结合了基于横截面的分割和异构克隆操作。这些改进措施防止了冗余高斯的过度生成，并提高了高斯原语的利用率。此外，我们还引入了不透明度自适应剪枝、自适应阈值和高斯重要性权重来优化高斯原语的选择过程。我们的后处理高斯细化剪枝进一步去除了小规模和低不透明度的高斯原语。在各种具有挑战性的数据集上的实验结果表明，与3DGS相比，我们的方法在实现先进渲染质量的同时，存储空间消耗更少，高斯原语的数量减少了多达42%。代码地址为：https://github.com/zhiyu-cv/EGU。

引言

新视图合成（NVS）是计算机视觉中的一个基本问题，在自动驾驶、虚拟现实和机器人导航等领域有着广泛的应用[1]。近年来，随着神经辐射场（NeRF）[2]的出现，NVS取得了显著进展。NeRF利用神经网络表示3D场景，并采用体积渲染技术合成新视图。尽管NeRF的连续性有助于优化，但其计算密集的采样和推理过程导致计算效率低下，实时性能较差。

最近，3D高斯散布（3DGS）[3]因其与NeRF相当的重建精度和实时渲染性能而受到关注。3DGS使用高斯椭球体来表示3D场景。3DGS利用预处理后的初始点云[3]来初始化高斯原语。对于城市场景，采用快速的ICP算法在局部坐标系中进行配准，然后将对齐的3D点转换到世界坐标系[4]以细化初始点云并提高精度。高斯原语的密集化过程对最终重建结果至关重要。原始的密集化过程使用克隆（仅复制属性而不包含梯度信息）和分割操作来增加高斯原语的密度。这种自适应密度控制策略忽略了初始高斯原语的形状信息，生成了许多重叠的高斯原语。这些重叠的高斯原语在后续的密集化过程中会产生更多高度重叠的高斯原语。本应仅用几十个高斯原语表示的区域反而被数百甚至数千个高斯原语所占据，这大大降低了使用高斯原语表示3D场景的效率。随着优化的进行，大量重叠高斯原语的不透明度趋于零。如图2左侧所示，这些重叠的高斯原语导致最终重建结果中高斯不透明度的异常分布。大量低不透明度的高斯原语严重影响了重建精度和实时性能。为了提高高斯原语的利用率，我们提出了高效的基于横截面的分割和异构克隆操作来替代原始的密集化操作。基于横截面的分割解决了重叠高斯原语的问题，并保留了原始高斯的形状信息。异构克隆利用概率采样生成低重叠的高斯原语以替代简单的属性复制。此外，我们还引入了不透明度自适应剪枝来进一步限制低不透明度高斯原语的数量。在密集化过程中，我们提出了高斯重要性权重和自适应阈值来改进高斯原语的选择策略。最后，我们引入了后处理高斯细化剪枝来进一步消除冗余的高斯原语。我们的方法通过提高高斯原语的利用率，在渲染质量和实时性能方面取得了平衡的改进。如图1所示，在复杂的室外场景中，我们的方法恢复了草地的细节，而3DGS仅渲染出一整块绿色伪影。在具有挑战性的Mip-NeRF 360数据集上，与3DGS相比，我们的方法将PSNR从27.28提高到了27.80，同时还减少了存储空间。总结来说，我们的贡献如下：

• 1.
  我们提出了一种高效的基于横截面的分割和异构克隆方法来增加高斯原语的密度。我们的自适应密度控制策略防止了重叠高斯原语的过度生成，从而避免了低效的场景表示。
• 2.
  我们提出了不透明度自适应剪枝方法来限制低不透明度高斯原语的数量。在密集化过程中，我们引入了自适应阈值和高斯重要性权重来优化高斯原语的选择过程。
• 3.
  我们提出了后处理高斯细化剪枝来进一步消除影响重建精度和实时性能的冗余高斯原语。

部分摘录

新视图合成

神经辐射场（NeRF）[2]是3D场景重建领域的标志性工作，它引入了神经网络作为3D场景的新颖隐式表示方法。NeRF利用相机姿态将光线投影到3D空间，并通过位置编码进行分层体积采样以获取特征信息。此外，可以使用多层感知器（MLP）获取每个采样点的颜色和体积密度信息。许多研究工作致力于提高

方法论

我们的方法引入了基于横截面的分割、异构克隆、不透明度自适应剪枝和后处理高斯细化剪枝，如图3所示。下面我们将详细描述每一项改进。

数据集和评估指标

我们使用来自Mip-NeRF 360 [6]、Tanks and Temples [35]和Deep Blending [36]的真实世界场景来评估我们的方法。我们从Mip-NeRF 360数据集中选择了所有9个场景，包括5个室外场景和4个室内场景。对于Tanks and Temples数据集，我们选择了卡车和火车场景；对于Deep Blending数据集，我们选择了drjohnson和游戏室场景。我们使用峰值信噪比（PSNR）、结构相似性指数（SSIM）和感知度量（LPIPS）作为质量评估指标

结论

原始密集化过程的缺陷导致最终重建中高斯不透明度的分布不均匀，这影响了重建精度并消耗了过多的存储空间。我们提出了一种高效的自适应密集化控制策略，以解决由于新生成的高斯原语在密集化过程中重叠而导致的低不透明度高斯原语数量激增的问题。此外，我们还引入了不透明度自适应剪枝来限制低不透明度高斯原语的比例

作者贡献声明

郑志宇：撰写——审阅与编辑、撰写——初稿、验证、方法论、形式分析、数据管理。周大可：撰写——初稿、验证、方法论、数据管理。邵一鸣：验证、方法论、数据管理。杨欣：验证、方法论、数据管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。