基于直接激光雷达监督的表面对齐3D高斯散射技术,用于构建高保真度的数字孪生模型

《Displays》:Direct LiDAR-supervised surface-aligned 3D Gaussian Splatting for high-fidelity digital twin

【字体: 大 中 小 】 时间:2026年01月13日 来源:Displays 3.4

编辑推荐:

  3D Gaussian Splatting通过优化三维高斯体的位置、形状和密度实现高效高质渲染,但现有方法依赖伪深度图且忽略高斯形状的几何约束。本文提出直接基于LiDAR点云的表面对齐正则化损失,联合优化高斯位置与形状,并设计多视角深度引导剪枝策略抑制伪高斯,显著提升表面一致性和复杂场景重建精度。

  
邢东生|齐周|徐柳|振阳曲|郝宇旭|石杰茂|肖康阳
上海交通大学,东川路800号,上海200240,中国

摘要

3D高斯点扩散(3DGS)最近在3D重建方面展示了显著的渲染速度和逼真质量。然而,精确的表面重建和与视图一致的光度保真度仍然具有挑战性,因为标准流程缺乏显式的几何监督。一些最近的方法结合了密集的LiDAR点云作为指导,通常是通过对齐高斯中心或将LiDAR点投影到伪深度图中来实现。然而,这些方法仅限制了位置,忽略了高斯的各向异性形状,常常导致表面粗糙和残余伪影。为了克服这些限制,我们提出了一种直接的LiDAR监督的表面对齐正则化损失,该方法在不将LiDAR扫描转换为深度图的情况下同时约束高斯的位置和形状。我们进一步引入了自适应密集化和多视图深度引导的剪枝策略来提高保真度并抑制漂浮物。在代表工业数字孪生应用需求的多样化室内和室外数据集上的广泛实验表明,即使在较大的视角偏差下,我们的方法也能一致地提高逼真渲染效果,显示出比现有典型的LiDAR辅助3DGS方法的优势。

引言

高保真度的3D场景重建在许多领域中起着关键作用,包括数字孪生、机器人技术、ARVR和各种工业应用[1]、[2]。传统的3D重建方法依赖于基于运动的结构(SfM)[3]、[4]和多视图立体(MVS)[5],通过特征匹配和三角测量从2D图像中恢复稀疏或密集的点云。尽管在有纹理和光照良好的环境中有效,并且已经研究了许多优化[6]、[7],但这些方法在无纹理区域和重复图案面前遇到困难,常常导致不完整或噪声较大的重建结果。此外,它们对大规模场景的计算复杂性以及对于高质量图像的依赖进一步限制了其在实际应用中的可扩展性和鲁棒性。
近年来,对高效和高质量3D场景表示的追求推动了神经渲染领域的重大进展。早期的体积方法,如神经辐射场(NeRF)[8],通过将场景编码为连续的密度和辐射场来实现逼真的视图合成。然而,体积渲染方法在训练和推理过程中都产生了显著的计算成本,主要是由于它依赖于沿光线进行密集采样以生成每个像素。这一过程需要大量的计算资源,限制了其在实时应用中的实用性。尽管最近的进展[9]、[10]、[11]将训练时间从几天缩短到了几分钟,但提高渲染效率仍然是一个关键挑战,特别是对于需要交互式或实时性能的场景。
为了解决这些挑战,3D高斯点扩散(3DGS)[12]引入了一种基于点的方法,其中场景被表示为3D高斯的集合。通过动态优化高斯原语的位置、规模和方向,3DGS实现了实时渲染速度,同时保持了高视觉保真度,使其成为需要效率和质量的应用的有希望的解决方案。然而,原始的3DGS缺乏几何约束,这可能导致其在视角稀疏或纹理不足的区域过度拟合颜色输入,从而产生较差的表面重建效果。一些方法提出直接使用高斯曲面(Gaussian surfels)[13]、[14]来表示表面。然而,如果没有适当的先验正则化,它们的性能会显著下降,尤其是在面向外部的室内数据集中[15]。
3DGS通常使用通过基于运动的结构(SfM)重建的稀疏点云作为初始输入。与稀疏的SfM点相比,LiDAR可以在RGB图像缺乏足够特征的纹理区域提供密集和结构化的测量数据。一些现有方法探索了将LiDAR点云与3DGS结合的方法,主要是通过利用LiDAR进行初始化[16]、[17]或位置对齐[18]、[19]。然而,这些方法主要关注于约束高斯的中心,而忽略了它们的形状。由于3D高斯被表示为椭球体,它们的位置、规模和旋转共同影响场景的表面表示。因此,形状不对齐的高斯会导致表面重建粗糙并产生伪影,特别是在非训练视角中。最近的一些工作[20]、[21]、[22]尝试将LiDAR点云投影到图像平面以生成伪深度图进行深度监督。然而,从不连续的LiDAR点云投影的深度图往往无法准确捕捉遮挡线索,使得监督连续真实世界场景的3D重建变得具有挑战性。如图1(b)所示,聚合多个LiDAR帧会引入显著的深度歧义。尽管扩大点云大小(如图1(c)所示)或利用基于初始化的高斯原语的投影策略[20]可能部分缓解这个问题,但它们不可避免地在物体边界附近导致深度膨胀伪影。此外,大多数深度监督方法从3D高斯的中心位置获取深度,这由于大高斯的影响而引入了微小但不可忽视的误差。
现有的LiDAR辅助方法没有充分利用LiDAR提供的几何信息来指导高斯属性的优化。为了解决这一限制,我们提出了一种新方法,该方法明确利用来自LiDAR和SfM点的位置和法线作为直接的几何约束,消除了将LiDAR点云转换为深度图的必要性。通过设计一个可微的表面对齐正则化损失函数,我们的方法同时优化了高斯原语的位置和形状,有效地将其椭球体表示与实际场景表面对齐。此外,我们引入了一种深度引导的剪枝策略,通过比较高斯深度与渲染深度来系统地剪除漂浮的高斯,显著提高了重建的保真度。为了全面验证我们的方法,我们收集并贡献了多个数据集,包括沿不同轨迹捕获的场景,以进行严格的训练和评估,证明了其强大的泛化能力。广泛的实验确认,我们的方法在渲染保真度和表面外观一致性方面始终优于现有方法。
本文的主要贡献可以总结如下:
1. 提出了一种新的表面对齐正则化损失,它直接利用来自LiDAR和SfM点的表面先验来共同优化高斯的位置和形状,提高了多个视图下的渲染保真度。
2. 提出了一种多视图、深度引导的剪枝策略,基于高斯深度与渲染深度之间的全面比较,去除与表面显著偏离的漂浮物。
3. 收集了多个室内和室外数据集来全面验证我们的方法。对于某些场景,我们沿不同的轨迹捕获了图像,其中一个用于训练,另一个用于评估。实验结果表明,我们的方法在表面一致性和重建准确性方面优于其他方法。

章节片段

神经辐射场和3D高斯点扩散

神经辐射场(NeRF)[8]通过将场景编码为连续的密度和辐射场,并通过体积渲染进行优化,开创了神经体积渲染。许多后续研究[23]、[24]、[25]、[26]、[27]、[28]通过各种优化尝试提高视觉保真度和计算效率。MipNeRF [29]和MipNeRF360 [30]通过引入抗锯齿圆锥 frustum 渲染来改进 NeRF,以减少渲染伪影并提高图像质量。

3D高斯点扩散的初步介绍

3D高斯点扩散是一种3D场景表示方法,它结合了可微的3D高斯来模拟复杂环境。每个高斯原语由中心位置μ∈R3、协方差矩阵Σ∈R3定义其空间范围和方向,不透明度α∈[0,1和球谐(SH)系数sh。为了确保正半定性和有效优化,协方差矩阵Σ被分解为一个缩放向量S和一个旋转矩阵R

方法

图2展示了我们提出的LiDAR集成高斯点扩散方法的流程。通过明确利用密集的LiDAR点云,我们通过一种新的表面对齐正则化损失建立了准确的几何约束。此外,我们通过结合自适应密集化和深度引导的剪枝机制,提高了渲染视图的重建准确性和视觉保真度,从而得到了与实际表面紧密匹配的高斯表示。

实验

本节评估了我们提出方法在重建质量、渲染准确性和在具有挑战性的环境中的鲁棒性方面的性能。我们将我们的方法与几种方法进行了比较,并提供了定量和定性分析。

结论

在这项工作中,我们提出了一个直接的LiDAR监督的表面对齐3D高斯点扩散(3DGS)框架,用于工业数字孪生应用中的高保真场景重建。与之前主要对齐高斯中心或依赖伪深度投影的LiDAR辅助方法不同,我们的方法引入了一种表面对齐正则化损失,该损失明确约束了高斯的位置和各向异性形状,消除了对中间深度图的需求。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

本文得到了上海交通大学 - 联想人工智能联合实验室的支持。作者感谢联想研究院的研究人员在行业应用方面的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号