街头高斯模型：利用高斯基元模拟动态城市场景

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Street Gaussians: Modeling Dynamic Urban Scenes With Gaussian Primitives

动态城市街道建模中提出Street Gaussians方法，通过显式场景表示（点云+语义logits+高斯体素）和优化跟踪姿态与4D球谐函数模型，实现高效合成与渲染（135FPS，半小时训练），并在KITTI、Waymo等多数据集验证中优于SOTA方法。

　　

摘要：

本文旨在解决为自动驾驶场景建模动态城市街道的问题。最近的方法通过结合跟踪到的车辆姿态来增强NeRF（Neural Radiosity Fields），从而实现动态城市街道场景的逼真视图合成。然而，这些方法存在训练速度慢和渲染速度慢的显著局限性。我们提出了Street Gaussians，这是一种新的显式场景表示方法，可以有效解决这些问题。具体而言，动态城市场景被表示为一组点云，这些点云配备了语义logits和高斯 primitives，每个点云分别与前景物体或背景相关联。为了模拟前景物体的动态变化，每个物体点云都通过可优化的跟踪姿态进行优化，并结合4D球谐模型来表现物体的动态外观。这种显式表示方法使得物体和背景的组合变得简单，进而支持场景编辑操作，并且能够在半小时的训练时间内以135 FPS（1066 × 1600分辨率）的速度进行渲染。所提出的方法在多个具有挑战性的基准数据集上进行了评估，包括KITTI和Waymo Open数据集。实验结果表明，该方法在所有数据集上的表现均优于现有的最先进方法。代码可访问地址为：https://github.com/zju3dv/street_gaussians。