ProSplat:面向3D高斯泼溅的由粗到细瞬态干扰移除

《Pattern Recognition》:ProSplat: Coarse-to-fine transient distractor removal for 3D Gaussian Splatting

【字体: 大 中 小 】 时间:2026年09月21日 来源:Pattern Recognition 9.1

编辑推荐:

   **摘要** - 我们提出了 ProSplat,一种用于无瞬态 3DGS 重建的鲁棒框架。 - 通过不确定性估计和掩码细化实现像素级的干扰物去除。 - 自适应密度控制策略平衡了干扰物抑制与细节保留。 - ProSplat 在多个具有挑战性的公开数据集上取得了优异的性能。 *

  

**摘要**
- 我们提出了 ProSplat,一种用于无瞬态 3DGS 重建的鲁棒框架。
- 通过不确定性估计和掩码细化实现像素级的干扰物去除。
- 自适应密度控制策略平衡了干扰物抑制与细节保留。
- ProSplat 在多个具有挑战性的公开数据集上取得了优异的性能。

**引言**

从一组2D图像重建高保真3D场景是计算机视觉与图形学领域的一项基础且具有挑战性的任务。它支撑着广泛的广泛应用,包括自动驾驶模拟、城市街景地图绘制、虚拟现实(VR)、增强现实(AR)和数字孪生 [1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]。近年来,神经辐射场(NeRF)[9] 通过隐式连续体积表示 [10]、[11] 实现了照片级真实感的渲染结果。然而,NeRF 高昂的训练和推理成本限制了其在大规模工业部署中的应用。最近,3D高斯泼溅(3DGS)[12] 作为一种变革性的显式表示方法应运而生。通过将场景表示为一组可优化的各向异性3D高斯基元,3DGS 在保持最先进(SOTA)渲染质量的同时实现了实时渲染速度,展现出巨大的工业普及潜力 [13]、[14](见图1)。

尽管 NeRF [9] 和 3DGS [12] 在3D场景表示和新视角合成方面展现了巨大潜力,但其卓越性能依赖于多视角几何一致性的严格假设。然而,在街道级导航测绘或旅游场景数字化等重要工业场景中 [17]、[18],随意拍摄的真实世界场景不可避免地包含瞬态干扰物(例如移动的行人或车辆)。这些物体引入了显著的跨视角冲突,直接违反了上述核心假设。这种不一致性阻碍了算法在优化过程中准确区分静态结构与瞬态遮挡物,从而导致严重的视觉伪影,如鬼影、漂浮物和模糊。因此,在包含瞬态干扰物的复杂场景中实现鲁棒且高保真的3D场景重建仍是该领域亟需解决的关键挑战。

为应对这一问题,近期研究聚焦于在3DGS优化过程中消除瞬态干扰物的影响。一种主流策略是识别瞬态干扰物以防止其干扰重建。这些方法通常利用鲁棒统计方法或预训练视觉基础模型(例如 DINOv2 [19]、Stable Diffusion [20]、SAM2 [21])来估计不确定性并生成可学习的二值瞬态掩码 [15]、[16]、[17]、[22]、[23]、[24]、[25]。这种二值化有效防止了由连续不确定性加权引起的错误梯度回传,从而保持了3DGS优化的稳定性。其他方法尝试将场景显式解耦为静态和瞬态分量 [26]、[27]、[28]、[29],例如使用混合2D/3D表示或逐高斯不透明度调制。尽管这些瞬态物体识别方法在鲁棒3DGS重建中展现了强大的性能,但在整个重建过程中持续生成准确掩码仍然具有挑战性。

尽管基于学习的方法在去除瞬态干扰物的3DGS优化中展现了强大性能,但它们在复杂环境中面临关键局限性。主要依赖低级光度残差的方法(例如 [15]、[30]、[31])在瞬态干扰物与背景颜色高度相似,或场景光照复杂且阴影明显时,众所周知是不可靠的。这一局限性进一步引发了两个关键问题:(1) 识别不足:未能完全过滤掉瞬态干扰物,导致3DGS的致密化机制错误地创建新高斯基元来拟合这些瞬态干扰物;(2) 识别过度:静态区域可能被错误地标记为瞬态干扰物,使其无法接收梯度,从而阻碍了优化过程中精细几何细节的捕捉。

为缓解这一问题,近期研究探索了视觉基础模型,例如 DINOv2 [19] 或 Stable Diffusion [20],用于不确定性预测 [15]、[16]。然而,这些方法在准确识别复杂真实场景中的瞬态干扰物方面仍然不足。一方面,尽管将VFM特征纳入了瞬态掩码学习,但这些方法仍部分依赖于光度残差,因此容易受到复杂光照变化和光度模糊性的影响。另一方面,从 DINOv2 [19] 和 Stable Diffusion [20] 提取的特征具有patch级特性,固有地导致局部平滑性,通常导致生成的掩码边界模糊。相比之下,尽管 SAM2 [21] 能够提供锐利的像素级物体边界,但其以物体为中心的表述方式使其难以定位阴影区域,导致掩码预测不完整。

同时,在包含瞬态干扰物的复杂场景中,3DGS的自适应致密化策略必须平衡抑制对瞬态干扰物的过拟合与充分捕捉静态场景中的高频几何细节。然而,现有的致密化机制往往受限于过早的干预时机、多视角梯度的抵消效应,以及缺乏几何约束的分裂操作。这些局限性可能导致错误的致密化决策,最终显著降低重建质量。

为应对上述挑战,我们设计了一个鲁棒的由粗到精的瞬态物体识别框架,通过两个关键创新实现了对瞬态干扰物的准确识别:(1) 我们利用对光照变化鲁棒且保留优秀物体级结构的语义特征,设计了一种基于鲁棒损失的自适应不确定性估计方法,该方法估计逐像素不确定性并生成初始瞬态干扰物掩码,从而实现静态背景与瞬态干扰物的初步解耦。(2) 我们提出了一种基于实例感知和动态残差的掩码细化机制。该机制基于像素级分割结果和动态残差,自适应地细化瞬态物体边界及其伴随阴影的掩码,实现了瞬态物体及其阴影的像素级精确识别。通过这种由粗到精的策略,我们的框架有效抑制了瞬态干扰物对场景优化的影响,最终实现了静态背景的干净且高保真的重建。

其次,为解决3DGS训练过程中的过拟合和高频细节优化不足问题,我们提出了一种自适应密度控制策略,该策略包含两个关键组成部分:(1) 绝对梯度引导的致密化改进策略:该策略确保模型优先构建鲁棒的静态几何骨架,然后逐步填充细节。这种渐进式优化过程不仅有效缓解了高斯基元的过拟合倾向,而且显著促进了高频细节的精确优化。(2) 基于重要性的剪枝策略:该组件有效剪去过拟合的高斯基元。

本工作的主要贡献总结如下:

- 我们提出了 ProSplat,一种鲁棒的由粗到精的无瞬态3DGS重建框架,通过由鲁棒损失驱动的自适应不确定性估计,结合基于实例感知和动态残差的掩码细化机制,在复杂场景中实现了对瞬态物体及其相关阴影的像素级精确识别。
- 我们提出了一种自适应密度控制策略,创新性地集成了绝对梯度引导的致密化改进策略和基于重要性的剪枝策略,实现了高质量的渲染性能。
- 在多个具有挑战性的公开数据集上的大量实验表明,我们的方法在评估的基线方法中取得了优异的性能,产生了具有高保真度、丰富几何细节且视觉伪影更少的渲染结果,从而验证了所提方法的鲁棒性和有效性。

**相关工作片段**

**新视角合成**

新视角合成(NVS)旨在利用一组输入图像从任意新视角生成场景的照片级真实感渲染。作为一项开创性技术,NeRF [9] 使用多层感知机(MLP)隐式表示场景几何和视角相关外观,通过体积渲染实现了高度照片级真实感的渲染。为了进一步扩展其能力,后续工作(例如 [32]、[33]、[34])显著改进了抗混叠性能并……

**预备知识**

3DGS 使用一组稀疏的各向异性3D高斯基元 G 显式表示3D场景:G(x) = e^(-1/2 (x-μ)^T Σ^{-1} (x-μ)),其中 μ 表示高斯基元的平均位置,Σ 表示其协方差矩阵。为确保协方差矩阵在优化过程中保持半正定,将其分解为缩放矩阵 S 和旋转矩阵 R:Σ = R S S^T R^T

为渲染场景,3D高斯基元通过可微分泼溅投影到2D图像平面上。

**概述**

为从一组随机拍摄的多视角图像中消除瞬态干扰物的影响以获得干净的3DGS表示,我们提出了 ProSplat 框架,如图2所示。首先,我们设计了一个由粗到精的瞬态干扰物识别框架,该框架包含两个组成部分:(1) 基于鲁棒损失的自适应不确定性估计:该机制利用 DINOv2 的鲁棒特征设计了一种鲁棒损失,用于逐像素不确定性估计,从而……

**实验**

在本节中,为了全面评估我们提出的方法在存在瞬态干扰物的情况下重建高保真静态背景的有效性和鲁棒性,我们在两个具有挑战性的公开数据集上与几种最先进的鲁棒3D重建方法进行了严格的定量和定性比较。

**结论**

在本工作中,我们提出了 ProSplat,一种鲁棒的由粗到精的无瞬态3DGS重建框架,能够准确地从包含不同程度瞬态干扰物的真实世界场景中重建静态3D结构。我们提出了一种不确定性估计策略,利用语义特征以无监督方式有效识别瞬态干扰物。此外,我们利用实例感知和动态残差对瞬态掩码进行细化,实现了精确的……

**CRediT 作者贡献声明**

Xiao Yun:撰写—审阅与编辑,获取资金,形式分析。Boyang Zhang:撰写—审阅与编辑,撰写—原稿,验证,方法学,调查,形式分析,数据整理,概念化。Kaiwen Dong:撰写—审阅与编辑。Yanjing Sun:获取资金。Xiaoguang Zhang:监督,资源,获取资金。

**利益冲突声明**

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

**致谢**

本工作得到了船舶领域重大项目(CBG01N23-01-04)的支持。

Xiao Yun | Boyang Zhang | Kaiwen Dong | Yanjing Sun | Xiaoguang Zhang
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号