通过WebGPU实现的大规模3D高斯散布的高性能分层渲染与并行排序策略

《Pattern Recognition Letters》：High-Performance Hierarchical Rendering and Parallel Sorting Strategy for Large-Scale 3D Gaussian Splatting via WebGPU

　　

• •
  提出了一个基于WebGPU的框架，用于浏览器端的3D高斯散点渲染。
• •
  与SuperSplat相比，帧延迟降低了7.5%–11.9%。
• •
  GPU排序占测量得到的管线时间的55.4%–72.4%。
• •
  在多视图和参考图像测试中表现出竞争性的逼真度。

引言

随着数字孪生、虚拟现实和三维互联网（Web3D）的快速发展，高效且真实的3D场景表示和渲染已成为计算机图形学和计算机视觉领域的重要研究方向[1,2]。传统的基于网格的方法提供了清晰的几何结构和成熟的渲染管线，但在复杂场景建模、高频率细节表示和跨视图一致性方面存在局限性。近年来，隐式表示方法（特别是神经辐射场（NeRF）显著提高了新视图合成的质量[3,4]。然而，它们的训练和渲染效率较低，阻碍了实时应用的发展。作为一种新兴的显式-隐式混合方法，3D高斯散点渲染（3DGS）使用高斯基本体来建模场景，实现了接近实时的性能，并在3D重建和可视化领域逐渐成为研究热点[5,6,7]。

随着3DGS技术扩展到基于Web的应用程序，如在线3D显示、远程检测和数字孪生平台，实时渲染面临着重大挑战[8]。现有的基于WebGL的方法依赖于传统的图形管线，在并行计算能力、多线程调度和GPU资源利用效率方面存在固有限制。在处理大规模高斯基本体或复杂场景时，这些方法经常会出现帧率下降、延迟增加和视觉质量受限的问题，限制了3DGS在工程和工业应用中的实际部署[9]。

作为下一代Web图形和计算标准，WebGPU为高性能Web渲染提供了新的技术途径。与WebGL相比，WebGPU支持更底层的GPU资源控制，并引入了计算着色器、多线程任务调度和更高效的内存管理。这些特性使开发人员能够在Web环境中构建接近原生图形API（例如Vulkan、DirectX 12）能力的渲染和计算框架，为3DGS中的并行处理、排序优化和高效光栅化提供了强大支持[10,11]。然而，现有的研究在数据组织、并行计算策略和渲染管线设计方面缺乏针对性的优化，难以完全适应3DGS的高维参数特性和动态渲染需求[12,13]。

为了解决这些问题，本文专注于基于Web的高效3DGS渲染，并提出了一个基于WebGPU的优化渲染框架。系统设计和优化在三个层面进行：数据组织、并行计算和渲染实现。实验结果表明，即使在大规模场景中，所提出的方法也能保持高帧率和稳定的性能，为3DGS在Web上的实际应用提供了有效的技术支持。

本文的主要贡献如下：

(1)

一个基于WebGPU的3DGS渲染框架，将GPU驻留的高斯数据组织、并行深度排序和光栅化集成在一个统一的渲染管线中。

(2)

一种高效的基于GPU的排序实现，用于相机依赖的高斯排序，并与SuperSplat进行了渲染吞吐量和视觉逼真度的对比评估。

章节片段

3D高斯散点渲染

3D高斯散点渲染是一种显式的场景表示方法，其中场景由数十万到数百万个各向异性高斯椭球体组成；每个高斯散点都通过位置、协方差矩阵、不透明度和球谐（SH）系数进行参数化。通过使用基于瓦片的可微分光栅化器将这些高斯基本体投影到图像平面上，并在屏幕空间中进行alpha混合，3DGS实现了实时渲染性能

3DGS渲染方法概述

3D高斯辐射场将场景表示为数万个高斯散点，每个散点都被建模为一个三元

高斯，可以解释为$R^3$中的椭球体。为了在屏幕空间中再现散点的外观，其形状、大小和方向由高斯协方差矩阵控制，该矩阵通过对各向同性参考高斯应用旋转和轴向缩放得到。

对于中心位于$u\in R^3$的单个散点，设$R\in SO\left(3\right)$表示旋转矩阵，$S=diag({\sigma }_x,{\sigma }_{}$

实验设置和评估协议

主要吞吐量实验在Windows 10（版本19045）上进行，使用Intel Core i5-12400F CPU、16 GB RAM和NVIDIA GeForce RTX 4060 GPU（8 GB VRAM；驱动程序32.0.15.6590）以及Chrome 155.0.8059.39。两个渲染器都使用了1920×1080的输出目标，设备像素比为1，以及三阶球谐函数。显示器刷新率为164 Hz；吞吐量测量不受显示刷新的影响。

所提出的优化WebGPU渲染器与SuperSplat进行了比较

结论

本文提出了一个基于WebGPU的渲染框架，用于浏览器端的3D高斯散点渲染，将GPU驻留的数据组织、并行高斯深度排序和光栅化集成在一个统一的管线中。

在四个代表性场景上的实验表明，与SuperSplat相比，GPU完成的固定序列渲染吞吐量有统计学上的显著提升，平均提升幅度为82.64%到107.74%。组件级分析和消除法确定了深度

未引用参考文献

[22,23,24,25,26,27,28]

CRediT作者贡献声明

Wei Ma：写作 – 审稿与编辑，撰写原始草案。Shengwang An：写作 – 审稿与编辑，撰写原始草案，项目管理，方法论。Qiang Tu：写作 – 审稿与编辑，撰写原始草案。Shuang Li：监督。Weixing Xue：写作 – 审稿与编辑，监督。Na Wang：写作 – 审稿与编辑，资金筹集。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

作者感谢国家重点实验室综合PNT网络与设备技术（CEPNT2023B11）的开放基金、重庆市教育委员会科技研究重点项目（KJZD-K202500708）、重庆市技术创新与应用发展重点项目（CSTB2024TIAD-KPX0107）以及广东省基础与应用基础研究基金（2024A1515010447）对这项工作的财务支持。

Wei Ma|Shengwang An|Qiang Tu|Shuang Li|Weixing Xue|Na Wang