
-
生物通官微
陪你抓住生命科技
跳动的脉搏
RDG-GS:基于高斯散布的相对深度引导技术,用于实时稀疏视图3D渲染
《INTERNATIONAL JOURNAL OF COMPUTER VISION》:RDG-GS: Relative Depth Guidance with Gaussian Splatting for Real-time Sparse-View 3D Rendering
【字体: 大 中 小 】 时间:2026年01月08日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3
编辑推荐:
针对稀疏视图下3D重建几何误差大的问题,提出RDG-GS框架,通过相对深度引导优化高斯场,结合自适应采样解决稀疏区域问题,实验表明其质量和效率最优。
在3D重建中,如何从稀疏输入高效地合成新的视图同时保持准确性仍然是一个关键挑战。尽管像辐射场和3D高斯点扩散这样的先进技术在处理密集视图输入时能够实现高质量的渲染和令人印象深刻的效率,但当应用于稀疏视图输入时,它们会遇到显著的几何重建错误。此外,尽管最近的一些方法利用单目深度估计来增强几何学习,但它们对单视图估计深度的依赖往往会导致不同视角之间的视图不一致性问题。因此,这种对绝对深度的依赖可能会引入几何信息的不准确性,最终影响使用高斯点扩散进行场景重建的质量。在本文中,我们提出了RDG-GS,这是一种基于3D高斯点扩散的、具有相对深度引导的新型稀疏视图3D渲染框架。其核心创新在于利用相对深度引导来优化高斯场,使其朝向与视图一致的空间几何表示方向发展,从而能够重建准确的几何结构并捕捉复杂的纹理。首先,我们设计了精细的深度先验来修正粗略估计的深度,并将全局和细粒度的场景信息插入到规则的高斯分布中。在此基础上,为了解决由绝对深度引起的空间几何不准确性问题,我们通过优化深度与图像之间空间相关区域的相似性来提供相对深度引导。此外,我们还通过自适应采样直接处理难以收敛的稀疏区域,以实现快速密度化。在Mip-NeRF360、LLFF、DTU和Blender等广泛实验中,RDG-GS展示了先进的渲染质量和效率,为实际应用带来了重大进步。
在3D重建中,如何从稀疏输入高效地合成新的视图同时保持准确性仍然是一个关键挑战。尽管像辐射场和3D高斯点扩散这样的先进技术在处理密集视图输入时能够实现高质量的渲染和令人印象深刻的效率,但当应用于稀疏视图输入时,它们会遇到显著的几何重建错误。此外,尽管最近的一些方法利用单目深度估计来增强几何学习,但它们对单视图估计深度的依赖往往会导致不同视角之间的视图不一致性问题。因此,这种对绝对深度的依赖可能会引入几何信息的不准确性,最终影响使用高斯点扩散进行场景重建的质量。在本文中,我们提出了RDG-GS,这是一种基于3D高斯点扩散的、具有相对深度引导的新型稀疏视图3D渲染框架。其核心创新在于利用相对深度引导来优化高斯场,使其朝向与视图一致的空间几何表示方向发展,从而能够重建准确的几何结构并捕捉复杂的纹理。首先,我们设计了精细的深度先验来修正粗略估计的深度,并将全局和细粒度的场景信息插入到规则的高斯分布中。在此基础上,为了解决由绝对深度引起的空间几何不准确性问题,我们通过优化深度与图像之间空间相关区域的相似性来提供相对深度引导。此外,我们还通过自适应采样直接处理难以收敛的稀疏区域,以实现快速密度化。在Mip-NeRF360、LLFF、DTU和Blender等广泛实验中,RDG-GS展示了先进的渲染质量和效率,为实际应用带来了重大进步。