一种解耦的3D高斯散射方法,用于实时高保真动态场景重建
《Knowledge-Based Systems》:A Decoupled 3D Gaussian Splatting Method for Real-Time High-Fidelity Dynamic Scene Reconstruction
【字体:
大
中
小
】
时间:2026年01月16日
来源:Knowledge-Based Systems 7.6
编辑推荐:
实时动态场景重建与渲染方法提出动态-静态分离框架,基于局部几何变化与动态评分自适应分割,静态区域采用3DGS高精度重建,动态区域引入变形场与物理驱动的运动一致性约束,在Plenoptic Video和Technicolor数据集上验证其渲染质量提升和计算效率优化。
李云霄|文书环
教育部智能控制与神经信息处理重点实验室,教育部智能控制系统与智能设备工程研究中心,燕山大学,秦皇岛066004,中国秦皇岛
摘要
近年来,神经辐射场(NeRF)作为一种高效且逼真的技术,已经从有限的二维(2D)图像集合中实现了三维(3D)场景的隐式重建。此外,3D高斯散射(3DGS)通过显式表示显著提高了渲染质量和速度。然而,动态场景的重建仍然是一个重大挑战。为了解决这个问题,我们提出了一个用于动态场景实时重建和渲染的创新框架。首先,我们根据局部几何变化将动态区域和静态区域分离,并根据动态得分以数据驱动的方式自适应确定最佳分割阈值。接下来,我们使用传统的3D高斯方法重建静态区域。最后,对于动态区域,我们引入了一个具有运动一致性约束的变形场,以强制动态高斯的运动轨迹具有时空连续性。广泛的实验结果表明,所提出的方法比其他现有方法实现了更高的渲染质量和更快的渲染速度。
引言
新视图合成在多个领域中发挥着核心作用,包括虚拟现实、增强现实、机器人自主导航、自动驾驶和人机交互[1]、[2]、[3]、[4]、[5]、[6]、[7]。最近,神经辐射场(NeRF)[8]模型被引入,它通过多层感知器(MLPs)[9]、[10]、[11]隐式表示场景的颜色和密度,通过体积渲染技术生成高质量的新视图。一些研究开发了技术来显著提高渲染质量和速度。然而,NeRF主要适用于静态场景,在动态环境中的表现相当差。为了解决这一限制,最近的研究[12]、[13]、[14]结合了时间维度来捕获动态信息,并通过将隐式网络与显式结构集成成功重建了动态场景。尽管渲染质量得到了提升,但低渲染速度仍然是一个显著的挑战。新兴的3D场景表示方法3D高斯散射(3DGS)[15]通过其高效的显式表示和可微分的渲染流程实现了实时渲染和高视觉质量。后续的工作[16]、[17]、[18]、[19]通过引入变形网络扩展了3DGS在动态场景中的应用。然而,这些研究存在显著的性能瓶颈。由于动态场景的复杂性,需要更高密度的3D高斯来保持渲染质量,但这以高计算成本为代价。使用大量3D高斯表示场景也可能影响下游任务的重建速度,例如机器人技术和自动驾驶中的同时定位和映射。
为了解决上述挑战,我们提出了一种基于局部几何变化分离静态和动态区域的方法。首先,我们计算一个包含位移变化和变形强度的动态属性得分。然后,我们将基于密度的空间聚类算法(DBSCAN)[20]应用于动态属性得分,该算法自适应调整最佳分割阈值以提高动态区域识别的准确性。对于静态区域,我们利用3DGS[15]中的显式3D高斯表示通过各向异性高斯散射实现详细重建。对于动态区域,我们提出了一个结合物理信息运动一致性约束机制的动态变形场模型。我们进一步引入了速度平滑和加速度正则化项,以强制动态高斯的运动轨迹具有时空连续性。在Plenoptic视频数据集和Technicolor数据集上对所提出的方法进行了评估。实验结果表明,我们的方法实现了实时、高质量的渲染并减少了计算时间。
总结来说,本文的主要贡献如下:
•我们提出了一种基于局部几何结构变化和动态属性得分的动态-静态分离方法,该方法无需依赖光流监督等先验信息即可自适应地将场景中的静态和动态高斯分开。
•我们引入了基于物理信息的运动一致性约束,以强制动态高斯的运动轨迹具有时空连续性,从而使变形场能够更准确地学习动态点偏移。
•通过将高斯表示分为动态和静态组件并分别处理,我们的方法实现了更优的重建质量和实时性能,在渲染质量和速度方面相比基线方法具有明显优势。
相关文献
相关工作
在本节中,我们回顾了基于NeRF和3DGS的动态和静态场景重建的相关文献。通过与以往研究的比较,突出了我们工作在这些方面的贡献和改进。
静态场景表示。近年来,新视图合成在各个领域取得了显著进展。NeRF[8]作为一种代表性工作,创新地将场景表示为神经辐射场,并将五维(5D)输入映射到
方法
在本节中,我们首先概述了3DGS。然后,我们介绍了我们的整体框架,该框架基于局部几何变化提出了动态-静态场景分离方案。随后,我们引入了基于物理先验的运动一致性约束。这一过程确保了动态场景在时间和空间域上都表现出高度连续和平滑的特性。最后,我们详细介绍了所提出框架中采用的优化策略。
实验
在本节中,我们首先介绍了我们的评估指标、实现和数据集设置的详细信息。然后,我们分析了定量和定性结果。我们在两个真实世界数据集上测试了我们的方法:Plenoptic视频数据集[36]和Technicolor数据集[37]。对于相关实验,我们计算了这些指标:PSNR、SSIM [38]、LPIPS [39]、尺寸(渲染分辨率)、FPS、峰值VRAM、存储和训练时间。最后,我们进行了消融研究以展示
结论
本文提出了一种新的动态场景渲染框架,该框架根据物体变形和位移引起的结构变化程度分离了动态和静态高斯点。随后,应用了变形场来模拟动态场景,并引入了运动一致性正则化来提高移动物体的渲染质量。实验结果表明,所提出的框架显著减少了训练时间
作者贡献声明
李云霄:撰写 – 审稿与编辑,撰写 – 原始草稿,方法论,数据管理,概念化。文书环:可视化,验证,监督,资金获取。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家自然科学基金(编号62273296)和河北省创新能力提升计划项目(22567619H)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号