自动驾驶系统在城市环境中的部署(Lu, Sun, Liu, Jiang, Li, Chen, Zhang, Zhu, Velipasalar, 2025; Yin, Liu, 2025)强调了提高代理对极端场景适应性的必要性,尤其是在紧急交通事件数据稀缺的情况下。最近在神经渲染技术方面的进展,如神经辐射场(NeRF)(Barron, Mildenhall, Tancik, Hedman, Martin-Brualla, Srinivasan, 2021; Deng, Liu, Zhu, Ramanan, 2022; Mildenhall, Srinivasan, Tancik, Barron, Ramamoorthi, Ng, 2021; Wan, Zhang, Li, Lei, Xu, Ye, 2026)和3D高斯散布(3DGS)(Kerbl, Kopanas, Leimkühler, Drettakis, 2023; Li, Li, Zhang, Zhu, Wang, Wang, Fu, Zhang, Fan, Zhao, 2025b; Yu, Chen, Huang, Sattler, Geiger, 2024),在重建高保真3D环境方面展现了显著的潜力。除了场景重建之外,基于3DGS的最新研究还探索了广泛的扩展应用,包括模型效率(Li, Liu, Fan, Li, Liu, Pan, Yuan, 2025a; Liu, Wang, Li, Cai, Wang, Li, Molchanov, Wang, Wang, 2025a)、泛化能力(Liu等人,2025b)以及其他相关应用,例如3D高斯资产的版权保护(Li, Feng, Fan, Pan, Wang, 2023; Li, Liu, Fan, Li, Liu, Pan, Yuan, 2025a; Yang, Liu, Li, Sun, Li, Liu, Lin, Yuan, Ye, 2025)。然而,在使用具有受限视角的车载相机捕捉动态驾驶场景时,仍存在重大挑战,特别是在为缺乏全面360°观测覆盖的动态物体合成新颖视图时。
在自动驾驶的背景下,感知(Li, Lan, Alvarez, Wu, 2024b; Zhang, Zhang, Liu, Wang, 2023)和规划(Hu, Yang, Chen, Li, Sima, Zhu, Chai, Du, Lin, Wang, Lu, Jia, Liu, Dai, Qiao, Li, 2023; Wang, He, Fan, Li, Chen, Zhang, 2024)都严重依赖于准确估计场景中参与者的姿态和意图。因此,城市场景重建自然优先考虑动态参与者的精确运动恢复。基于运动跟踪的方法(Chen, Gu, Jiang, Zhu, & Zhang, Turki, Zhang, Ferroni, Ramanan, 2023; Yang, Ivanovic, Litany, Weng, Kim, Li, Che, Xu, Fidler, Pavone等人,2024a; Zhou, Zhong, Shin, Lu, Yang, Markham, Trigoni, 2024b)将整个场景置于4D时空框架中,通过动态约束(如光流和语义一致性)将动态前景元素与其相应的运动轨迹对齐。最近,利用动态场景图的方法(Li, Xiao, Chen, Feng, Yang, Liu, Chen, 2024a; Ost, Mannan, Thuerey, Knodt, Heide, 2021)将3D感知集成进来,分析运动模式,优先重建动态参与者在其各自的边界体积内的形状。现有方法主要假设移动的参与者(如车辆和摩托车)保持刚性的几何结构。这一假设使得在其边界框内优化相对静态的高斯场成为可能,从而细化了参与者的表示。
然而,高斯散布范式的一个根本局限性在于它依赖于图像空间监督来计算优化梯度,这导致了自适应密度控制(ADC)模块的诞生,该模块主要调整可见表面上的高斯密度场,而忽略了被遮挡的区域。因此,这种方法难以准确捕捉未观察部分的完整几何形状。例如,在驾驶场景中,车辆远离相机的前端几何形状和纹理细节可能无法得到充分重建。这一限制对自动驾驶应用的数据增强构成了重大障碍,因为灵活的场景编辑需要为所有参与者构建无缝的模型。此外,3DGS的ADC模块固有的刚体假设自然导致靠近的物体具有更密集的高斯分布,而远处的物体则具有更稀疏的表示。这种差异导致具有相同属性但空间位置不同的交通参与者的几何拓扑不一致,最终降低了远处元素的视觉保真度,影响了整体场景的真实性。
为了解决这些挑战,我们引入了“几何感知高斯”(Geometry-Aware Gaussians),这是一种通过3D高斯散布重建驾驶场景的新方法,该方法结合了来自基于模板的刚性结构的几何先验。1)为了增强从受限视角观察到的场景参与者的几何监督,我们集成了一种基于模板的模型来推断可见区域之外的物体结构。具体来说,我们将模板网格(template mesh)拟合到单个场景目标(Chabot, Chaouch, Rabarisoa, Teuliere, Chateau, 2017; Song, Wang, Zhou, Zhu, Guan, Dai, Su, Li, Yang, 2019)上,从而细化结构表示。在场景图中渲染车辆时,我们将高斯分布与模板网格的顶点关联起来,并引入一个顶点偏移网络(vertex offset network)来细化场,确保不同参与者之间的拓扑一致性,同时与它们重建的3D形状对齐。2)通过保持模板顶点与高斯基础体之间的显式对应关系,我们强制所有车辆之间的结构映射保持拓扑一致性,无论它们的空间距离如何。此外,在早期训练阶段,我们结合了单目深度估计先验(monocular depth estimation priors),以促进高斯几何基础体在其深度不确定性范围内的快速稳定收敛。总之,我们的贡献如下:
我们引入了“几何感知高斯”(Geometry-Aware Gaussians),这是一种新的3D高斯散布框架,它利用几何先验来指导动态交通参与者的重建,从而实现几何上完整且拓扑一致的刚性高斯场。
通过利用拓扑一致的对应关系,我们实现了高斯外观特征到2D纹理空间的无缝映射,从而允许在不同细节水平上自适应地采样纹理,提高了渲染保真度。
我们在Waymo开放数据集(Ettinger等人,2021年)和KITTI数据集(Geiger等人,2013年)上进行了广泛的实验,证明了我们的几何感知框架提高了场景重建的准确性和新颖视图合成的能力。
相关工作
相关研究
神经渲染技术,如NeRF(Ost等人,2021年)和3DGS(Kerbl等人,2023年),依赖于高质量、低噪声的训练数据以及足够多样化的观测视角集来保持准确性和视觉保真度。在没有这些条件的情况下,这些算法容易过拟合,从而导致空间不一致性。自动驾驶车辆的快速移动和城市道路环境中的有限视野为场景重建带来了重大挑战。
初步研究
3D高斯散布(3DGS)(Kerbl等人,2023年)通过使用遵循3D高斯分布的概率分布函数来模拟场景的不透明度场。该概率分布函数包括均值、协方差矩阵和不透明度系数:
此外,3DGS还具有一组常见的球谐系数,其中$L$是球谐函数的展开维度。
方法
如图1所示,我们将整个场景分为四种类型的节点。背景使用标准静态高斯表示,而动态实例则用动态高斯表示非刚性节点,刚性节点用基于模板的高斯表示。特别是,天空节点由一个MLP(多层感知器)组成。第4.1节详细讨论了场景图中的所有非车辆节点。与之前的刚性高斯方法不同,我们采用了基于几何信息的方法来处理刚性节点。
数据集
Waymo开放数据集(Ettinger等人,2021年)是一个大规模的自动驾驶数据集,包含了来自自动驾驶车辆的多传感器数据。它提供了来自五个1920×1080像素相机的全景视图。在我们的实验中,每个场景包含150帧图像,其中包含多种动态物体。KITTI数据集(Geiger等人,2013年)是另一个标准基准数据集,提供了同步的立体图像、LiDAR点云、GPS/IMU数据以及跟踪注释,分辨率为1242×375像素。
结论与讨论
在本文中,我们提出了一种基于模板的方法来重建驾驶场景。我们的方法在密集化的网格上构建高斯分布,并利用顶点偏移网络来指导外观校正,从而生成更符合真实形状的高斯不透明度分布。通过将外观映射应用到这个几何模板上,我们的方法展示了预测遮挡区域的能力,为动态场景图中刚性节点的重建提供了新的解决方案。
CRediT作者贡献声明
Xuepu Zeng:撰写 – 审稿与编辑、原始草稿撰写、方法论设计。Jinlong Fan:验证、监督。Zhekang Dong:形式分析、概念化。Jing Zhang:验证、监督、概念化。Yuxiang Yang:验证、资源获取、资金筹措、概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。