《Computers & Graphics》:ReGAGS: Toward high-fidelity sparse view synthesis via regularizing 3D Gaussians against geometric and appearance overfitting
编辑推荐:
•针对过拟合的正则化方法通过正则化三维高斯实现了高保真稀疏视图合成。•基于主导性的高斯丢弃和几何感知颜色一致性损失共同缓解了几何过拟合和外观过拟合。•在流行的基准数据集上取得了显著的性能提升,超越了最先进的基于 NeRF 和 3DGS 的基线方法。引言对沉浸式虚拟体验日益增长
- •
针对过拟合的正则化方法通过正则化三维高斯实现了高保真稀疏视图合成。
- •
基于主导性的高斯丢弃和几何感知颜色一致性损失共同缓解了几何过拟合和外观过拟合。
- •
在流行的基准数据集上取得了显著的性能提升,超越了最先进的基于 NeRF 和 3DGS 的基线方法。
引言
对沉浸式虚拟体验日益增长的需求使得新视图合成成为计算机图形学和视觉领域的一项突出任务。该过程从未见过的视点生成场景的高保真图像。神经辐射场(NeRF)[1] 是一项突破性方法,使用隐式表示解决了这一问题。然而,其训练和渲染阶段通常效率不高。一种有影响力的替代方案,三维高斯溅射(3DGS)[2],最近应运而生。它使用显式三维高斯进行场景表示,从而实现具有照片级真实感的实时渲染。
尽管取得了这些进展,3DGS 的性能在很大程度上依赖于密集输入视图。在稀疏输入下,重建场景的几何和外观成为一个约束不足且病态的问题。这种稀缺性导致高斯优化过程经常陷入局部极小值。结果是产生退化的场景表示,无法生成准确的新视图。
传统的基于 3DGS 的方法通常采用两种正则化密集策略来解决稀疏视图合成的病态性质。第一种策略涉及利用外部几何先验。此类方法(如利用单目深度估计 [3] 或视觉外壳 [5], [6] 的方法)利用这些先验来约束和指导三维高斯的位置。虽然有效,但它们对这些外部模型的强依赖性引入了脆弱性。特别是,先验中固有的噪声和潜在的尺度不一致性可能会传播到重建中并限制重建质量。
第二种策略采用了一种类似丢弃的剪枝机制。这些方法假定所有三维高斯都是同等可丢弃的,并应用无差别剪枝来抵消对稀疏训练视图的过拟合 [7]。然而,这种统一策略存在重大风险。它可能意外丢弃对于准确重建场景潜在几何至关重要的 高斯。同时,它可能保留对渲染伪影贡献最大的离群 高斯。因此,它可能损害场景的结构连贯性并降低最终渲染质量。
在此基础上,我们认为,针对基于 3DGS 的稀疏视图合成的有效正则化应以针对过拟合的方式进行,而不仅仅是利用间接外部信息或无差别操作。如图 1 所示,我们在稀疏输入视图下三维高斯优化过程中识别出两种特定的过拟合模式。首先,3DGS 的高表达能力会触发外观过拟合,其中该方法通过产生视图依赖的不一致颜色来补偿几何误差,而不是学习一致的外观表示。其次,有限的多视图约束可能导致几何过拟合,其中一小部分主导 高斯独占场景表示,对稀疏训练视图拟合不佳并产生浮动伪影。我们进一步突出了与这两种过拟合模式相关的 高斯。第一组严重偏离合理的真实颜色,而第二组对特定训练视图表现出不成比例的高渲染贡献。观察到明显的空间相关性:通过这些指标识别的 高斯始终与渲染伪影最严重的场景区域相关联。这一发现表明,新视图合成质量的最终退化(如浮动物或不一致颜色)可以直接追溯到优化过程中我们识别出的过拟合模式。
基于上述基础,我们提出了 ReGAGS,一种新颖的方法,它通过正则化三维高斯,通过有针对性的干预来解决与 3DGS 稀疏视图合成中的几何和外观过拟合。为了对抗几何过拟合,我们设计了一种基于主导性的高斯丢弃(DGD)策略,以选择性地抑制识别出的独占贡献的主导 高斯,鼓励更平衡的梯度分布并促进稳健的几何表示。针对外观过拟合,我们设计了一种几何感知颜色一致性(GCC)损失,首先检测几何可靠的场景区域。在这些区域中,GCC 损失强制真实颜色与相关可见 高斯的颜色在不同视点之间保持一致,从而学习连贯且视图一致的表面外观。在代表性基准数据集上的大量实验表明,ReGAGS 在稀疏输入视图下平衡了几何和外观保真度;DGD 策略和 GCC 损失直接作用于优化后的 高斯,无需外部先验。本工作的贡献总结如下:
- •
我们识别出两种导致稀疏视图合成中 3DGS 性能下降的关键过拟合模式:几何过拟合和外观过拟合。
- •
我们提出一种方法来应对这两种过拟合模式,通过 DGD 策略选择性地抑制主导 高斯,通过 GCC 损失强制 高斯颜色一致性。
- •
实验表明,所提出的方法在稀疏视图设置下优于各种数据集上的现有基线。
章节片段
基于 NeRF 的稀疏视图合成。
NeRF [1] 通过使用 MLP 将场景建模为连续体积函数,革新了新视图合成。虽然在密集视图下质量很高,但标准 NeRF 方法在稀疏视图设置下通常会严重过拟合。这种过拟合通常导致退化的几何和浮动元素等伪影。为此,开发了一系列策略。早期工作引入了正则化技术来约束解。例如,RegNeRF [8] 施加
方法
给定一组稀疏输入图像 和相应的相机参数 ,我们的 ReGAGS 旨在从新视点合成目标场景的照片级真实图像。如图 2 所示,所提出的方法其特征在于一种基于主导性的高斯丢弃(DGD)策略和一种几何感知颜色一致性(GCC)损失,有效解决了基于 3DGS 的稀疏视图合成中识别出的几何和外观过拟合。
实验
所有实验均在 PyTorch 中实现,并在配备单块 NVIDIA RTX 6000 GPU 的工作站上完成。高斯优化遵循标准 3DGS 协议,并始终使用 Adam 优化器。具体而言,在 500 次迭代后应用了 0.995 的不透明度衰减因子,与标准高斯致密化过程的开始时间一致。该设置逐渐抑制早期优化中的低置信度基元。
对于主要实验,我们实现了
结论
在本文中,我们提出了一种针对性正则化方法 ReGAGS,以推进 3DGS 在稀疏视图合成中的应用。R1Q2:所提出的方法专注于缓解几何和外观过拟合,经验观察到这与稀疏视图设置下 3DGS 的性能下降有关。具体而言,这两种过拟合模式通常导致高斯优化过程中几何不稳定和颜色不一致。
我们的 DGD 策略动态抑制了一部分选定的
CRediT 作者贡献声明
冯天:写作 – 审阅与编辑,写作 – 原始草稿,可视化,监督,资源,方法论,资金获取,正式分析,概念化。董浩杰:写作 – 原始草稿,可视化,验证,软件,项目管理,方法论,调查,数据整理。沈俊奥:写作 – 审阅与编辑,验证,资源,方法论,概念化。
利益冲突声明
作者声明,他们没有已知的竞争经济利益或个人关系,这些关系可能会被认为影响了本文报道的工作。
冯天 | 董浩杰 | 沈俊奥