AND-GS:高斯泼溅中法向与深度的自适应监督实现高精度高效表面重建

《Neurocomputing》:AND-GS: Adaptive supervision of normal and depth in Gaussian splatting for accurate and efficient surface reconstruction

【字体: 大 中 小 】 时间:2026年05月19日 来源:Neurocomputing 6.5

编辑推荐:

  近年来,三维高斯泼溅(3DGS)在新视角合成(NVS)任务中取得了令人瞩目的成果,可实现细粒度图像的实时渲染。然而,将三维高斯用于表面重建仍面临显著挑战。现有方法要么引入单目预测的三维场景线索,但往往会丢失精细几何细节;要么利用深度与法向之间的固有约束,却易陷

  
近年来,三维高斯泼溅(3DGS)在新视角合成(NVS)任务中取得了令人瞩目的成果,可实现细粒度图像的实时渲染。然而,将三维高斯用于表面重建仍面临显著挑战。现有方法要么引入单目预测的三维场景线索,但往往会丢失精细几何细节;要么利用深度与法向之间的固有约束,却易陷入局部最优且收敛速度较慢。为此,研究人员提出名为AND-GS的新框架,在三维高斯泼溅优化过程中对渲染深度与法向进行自适应监督,以实现高精度、高效率的表面重建。该方法同时利用单目预测的三维场景线索及深度与法向间的固有约束,并提出一种新的训练策略:根据渲染图像低频信息与输入图像低频信息的相似度,在这两类约束间自适应切换。该策略可显著提升收敛速度与最终重建质量。实验结果表明,AND-GS在表面重建与新视角合成任务上均优于现有的基于三维高斯泼溅的方法;同时其性能可与神经隐式方法相媲美甚至更优,且在质量与计算效率上均有优势。本文代码计划在论文录用后开源。
研究背景与意义
随着Meta Quest、Apple Vision Pro等新型三维可视化设备的普及,从多视角图像中实现精确、高效的三维几何重建成为计算机视觉领域的长期核心问题。神经辐射场(NeRF)及其衍生方法虽在新视角合成中表现优异,并被拓展至基于占用网络与有向距离函数(SDF)的三维重建,但依赖神经隐式表征的方法需大量随机采样,优化耗时极长,例如Neuralangelo重建单个场景需128 GPU小时。在此背景下,三维高斯泼溅(3DGS)凭借实时渲染与高效训练的优势被迅速引入表面重建任务,但直接仅用光度损失优化会导致重建结果噪声大、精度低。SuGaR通过对高斯施加正则使其贴合场景表面并结合泊松表面重建提取网格,但因缺乏三维线索与表面约束导致网格粗糙;二维高斯泼溅(2DGS)改用二维高斯并引入深度失真与法向一致性项,但先验假设与过强约束使网格过度平滑;GOF从高斯基元直接推导高斯不透明度场并提取等值面,同样沿用了上述两项正则。然而,这些基于渲染深度与法向的正则项在优化早期因初始稀疏点云带来的噪声易导致模型陷入局部最优,降低重建质量与收敛速度。另一方面,DN-Splatter等方法引入单目深度与法向作为直接监督,但单目估计网络倾向于输出平滑结果,会丢失精细几何细节,且未利用深度与法向的固有关联。VCR-GauS同样受限于单源预训练网络的能力。因此,如何兼顾几何先验的完整性与渲染细节的准确性,同时提升收敛效率,成为该研究的核心出发点。AND-GS由杭州电子科技大学自动化团队提出,相关成果发表于《Neurocomputing》。
关键技术方法
研究人员提出AND-GS框架,首先采用运动恢复结构(SfM)生成的稀疏点云初始化扁平高斯分布,结合来自两个不同预训练网络的深度与法向先验,借鉴空间雕刻思想对高斯不透明度场进行雕琢。不同于传统从三维高斯中心位置计算深度的方式,该方法将深度计算转化为射线与高斯的交点求解,从而可通过提出的场景级正则化器利用深度与法向的固有约束优化高斯分布。同时设计自适应训练策略:根据渲染图像与输入图像的低频信息相似度,自动切换训练阶段——第一阶段以尺度不变深度与法向图作为场景级几何先验监督,引导高斯快速分布至准确位置并校正朝向;第二阶段利用渲染深度与法向图的精细几何细节,结合深度失真与法向一致性正则项进行优化,无需人工干预即可兼顾收敛速度与重建精度。实验在多个公开基准数据集上开展,涵盖表面重建与新视角合成的定量评估及消融验证。
研究结果
引言(Introduction)
研究人员系统梳理了三维重建从神经隐式表征到三维高斯泼溅的发展路径,指出现有方法在几何精度、细节保留与训练效率上的矛盾,明确了AND-GS要解决的核心问题与研究目标。
相关工作(Related Work)
涵盖新视角合成与三维重建两大方向,对比分析了基于NeRF的隐式方法与基于3DGS的显式方法的优劣,为AND-GS的设计提供了理论与技术参照。
方法(Our Method)
详细阐述了扁平高斯构建、基于射线-高斯交点的深度计算方式、空间雕刻式的先验融入流程,以及两阶段自适应监督的具体实现逻辑。实验证明,该设计可使高斯分布在优化过程中逐步贴合真实几何表面,兼顾早期收敛稳定性与晚期细节还原能力。
实验(Experiments)
在多个标准数据集上的测试表明,AND-GS在表面重建的几何精度指标与新视角合成的峰值信噪比(PSNR)、结构相似性(SSIM)等指标上均优于现有基于3DGS的基线方法,部分指标达到或超过神经隐式方法的水平,同时训练与渲染效率显著提升。消融实验进一步验证了自适应训练策略与场景级正则化器的独立贡献。
局限(Limitation)
指出当前单目预测网络多基于约512×512分辨率训练,在处理4096×4096等超高分辨率输入时,初始阶段的预测结果细节受限,可能对模型性能产生一定影响。
结论(Conclusion)
AND-GS通过自适应监督渲染深度与法向,有效融合了单目预测场景线索与深度-法向固有约束,在保证重建精度的同时大幅提升了训练效率。该方法为三维高斯泼溅在表面重建任务中的应用提供了新的优化范式,兼具学术创新性与工程实用价值。
讨论与结论翻译
讨论部分强调,AND-GS的核心创新在于打破了现有方法中“单目先验”与“渲染自约束”的非此即彼的选择困境,通过自适应切换机制实现了二者的优势互补。研究人员指出,该方法在保持3DGS实时渲染优势的同时,达到了与耗时的神经隐式方法相当的重建质量,为虚拟现实、增强现实等领域的高保真三维内容生成提供了可行方案。
研究结论可总结为:AND-GS通过自适应调整训练阶段、融合几何先验与渲染约束,显著提升了三维高斯泼溅的表面重建精度与收敛速度,在多组基准测试中取得当前最优性能,为实时高精度三维重建提供了有效的技术路径。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号