HaloGS:紧凑几何体与高斯贴片技术的松耦合应用于3D场景
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:HaloGS: Loose coupling of compact geometry and Gaussian Splats for 3D scenes
【字体:
大
中
小
】
时间:2026年05月09日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2
编辑推荐:
姜长健|任克锐|徐琳宁|卢涛|陈炯|庞江苗|张宇|戴波|于蒙宇
浙江大学,杭州,中国
摘要
高保真3D场景重建是数字建筑中的基础要求,其中准确的几何形状和真实感外观对于实景捕捉、进度监控和自动化检测至关重要。同时实现这些目标仍然具有挑战性,因为现有的方法要么将几何形
姜长健|任克锐|徐琳宁|卢涛|陈炯|庞江苗|张宇|戴波|于蒙宇
浙江大学,杭州,中国
摘要
高保真3D场景重建是数字建筑中的基础要求,其中准确的几何形状和真实感外观对于实景捕捉、进度监控和自动化检测至关重要。同时实现这些目标仍然具有挑战性,因为现有的方法要么将几何形状和外观统一到一个繁琐的表示中,要么依赖于混合方案,而这些方案的统一原始特征本质上会在效率和保真度之间产生权衡。在本文中,我们提出了HaloGS,这是一个双表示框架,它将紧凑、可学习的三角形用于几何形状处理,同时使用高斯原始特征来处理外观表现。受到AEC和机器人应用中经典几何模型已被证明的高效率和鲁棒性的启发,HaloGS提供了一种轻量级但表达力强的表示方法,能够在保持几何精度的同时渲染出真实感细节。该方法能够无缝适应室内和室外环境以及不同结构复杂度的场景。在多个基准数据集上的广泛实验表明,HaloGS能够实现紧凑且准确的几何形状以及高保真度的渲染,尤其是在需要可靠几何结构的具有挑战性的场景中。在室内数据集中,HaloGS的几何精度提高了48.35%,同时仅使用了基线方法所需平面原始特征的24.29%,这凸显了其松耦合设计的有效性。
引言
3D场景重建是数字建筑的基石(Tang等人,2025年;Wu等人,2024年;Coiffier等人,2021年),在实景捕捉(Becker等人,2023年)、进度监控(Jiang等人,2022年)和自动化检测等应用中发挥着重要作用。实现真实感渲染和准确的几何形状对于竣工验证(Tang等人,2010年)、数字孪生(Xue等人,2020年)和增强现实(AR)模拟(Pavelka等人,2025年)等任务至关重要。这些应用不仅需要高质量的3D模型,还需要计算效率来处理大规模环境,如建筑工地。然而,平衡这两个目标——渲染质量和计算效率——仍然是一个持续的挑战,尤其是在考虑建筑环境的复杂性和动态性时。
最近在神经表示方面的进展,例如神经辐射场(NeRF)(Mildenhall等人,2021年),显著提高了3D场景渲染的真实感。更近期地,3D高斯贴片(3DGS)(Kerbl等人,2023年)引入了一种基于明显的点场景模型,结合了经典原始特征和神经渲染,实现了先进的图像质量和实时性能。然而,3DGS模型通常依赖于过多的高斯原始特征来适应每个训练视图,导致冗余和表面结构不连贯。这种冗余增加了内存使用和计算需求,同时也忽略了底层场景的几何信息,从而限制了对新视角和编辑的鲁棒性。总之,当前的基于3DGS的场景重建方法从场景表示的角度来看面临两个主要挑战:
- 缺乏合适的几何表示。高斯原始特征往往无法提供精确的表面定义,导致物体边界模糊和物体形状表示的准确性降低;
- 渲染和几何质量之间的妥协。虽然高斯原始特征在外观上表现优异,但它们倾向于过度拟合场景的纹理,从而牺牲了几何保真度,导致表面不完整或扭曲,同时施加的约束降低了渲染保真度。
最近的方法试图通过引入结构规则性来改进高斯贴片技术。Scaffold-GS(Lu等人,2024年)在稀疏网格上施加了两层高斯层次结构,仅在需要时动态生成原始特征,以减少重叠和冗余。这种方法产生了更紧凑的模型,并在保持高渲染质量的同时提高了场景的覆盖范围。另一方面,像GSDF(Yu等人,2024年)和3DGSR(Lyu等人,2024年)这样的方法将隐式表面表示集成到3DGS流程中。通过将高斯与神经SDF场对齐,这些混合方法增强了表面的一致性,并能够从神经模型中提取显式网格。尽管在提高几何保真度方面有效,但这些方法仍然保留了大量高斯原始特征,并依赖于复杂的网络或双分支优化来进行表面推断。此外,简单地将高斯限制在薄表面上(基本上将它们视为平面)已被证明会降低渲染质量并产生不完整的表面(Huang等人,2024年;Dai等人,2024年)。这些局限性凸显了需要一种根本不同的策略,提供一种简单、结构规则且可扩展的3D表示方法,适用于真实感渲染和鲁棒的几何形状。
为了应对这一挑战,我们引入了HaloGS,这是一种使用双表示解耦几何形状和外观的新框架。HaloGS不是将形状和颜色融合成一个表示,而是用一组可学习的三角形原始特征来建模几何形状,而外观则通过从三角形解码出的神经高斯来渲染。得益于自适应训练策略,这两个任务得到了相互增强。此外,我们定制的基于CUDA的三角形贴片内核能够直接利用扩散模型或外观原始特征的法线和深度来监督几何原始特征,避免了通过渲染损失进行间接监督。关键的是,选择三角形作为几何原始特征是因为它们提供了更高的计算效率,同时更好地保留了人类制造环境中普遍存在的锐利边缘和平面结构。值得注意的是,与现有的双分支(Yu等人,2024年)或混合(Guédon等人,2025年)方法不同,后者在训练过程中依赖于隐式几何或网格提取,我们的方法采用了基于显式三角形的表示和松耦合的、锚点引导的优化。这导致了根本不同的几何-外观交互方式,从而实现了更高的几何保真度和效率。
尽管HaloGS没有明确强制2D流形表面,但其三角形表示已经为人类制造的环境(如室内和城市场景)提供了一个自然的结构先验。此外,可以通过轻量级的后处理从学习到的三角形中恢复严格的2D流形网格。我们认为,对于包括碰撞检测、几何编辑和实时流媒体在内的下游应用而言,简单性和结构规则性与原始几何精度一样重要。因此,我们没有使用Marching Cubes(Lorensen和Cline,1998年)提取密集网格,而是直接从可学习的三角形中提取多级别细节的平面原始特征,并使用Bauchet和Lafarge(2020年)的方法将它们拼接成紧凑的网格。这一过程保留了显著的结构——如墙壁、地板和建筑立面——同时去除了冗余的几何信息,如图1和图14所示。结果生成的紧凑网格在存储和计算效率上大大优于传统的密集重建方法,同时对于室内外环境中的简单和复杂场景都具有很高的表现力。本文的主要贡献可以总结如下:
- 提出了一种解耦的场景表示方法,将几何形状与外观分开,使得模型能够同时实现几何精度和真实感渲染;
- 引入了一种新的可学习三角形原始特征,该特征集成了可微分的渲染管道,保持了锐利度和平面性,确保了准确的几何建模;
- 提出了一种从粗到细的训练策略,使得几何形状和外观之间能够相互增强,确保了对细粒度场景细节的精确捕捉;
- 在多个基准数据集上的广泛实验表明,HaloGS在仅使用基线方法所需平面原始特征24.29%的情况下,将几何精度提高了48.35%,证明了其效率和有效性。
相关工作
在本节中,我们回顾了3D场景重建的文献以及场景表示的最新进展。具体来说,我们将讨论分为两个主要领域:3D场景重建方法(第2.1节)和显式场景表示的改进(第2.2节)。我们总结了每个领域的关键进展和挑战,强调了旨在平衡几何精度和渲染质量的演变策略。
方法
在本节中,我们首先回顾了与我们的设计相关的代表性高斯原始特征的相关背景知识。然后,我们描述了我们的双表示方法,该方法结合了三角形原始特征和神经高斯,并继续讨论技术细节,如图2所示。
数据集
我们在来自不同基准的32个真实世界场景上评估了HaloGS:两个来自DeepBlending(Hedman等人,2018年),十个来自ScanNet++(Yeshwanth等人,2023年),十一个来自VR-NeRF(Xu等人,2023年),四个来自Zip-NeRF(Barron等人,2023年),一个来自MatrixCity(Li等人,2023年),以及四个来自FAST-LIVO2(Zheng等人,2024年),涵盖了广泛的室内和室外环境。
实现细节
我们的流程包括一个粗略阶段(10k次迭代)和一个精细阶段(10k次迭代)。
结论
HaloGS引入了一种创新的混合表示方法,将紧凑的低多边形几何形状与高斯贴片无缝结合,有效地将结构效率与真实感视觉质量结合起来。通过其平面原始特征拟合和网格提取流程,HaloGS显著减少了原始特征的数量,同时保持了高视觉保真度,实现了高效的实时渲染。这种平衡效率和质量的方法使HaloGS特别适合……
作者贡献声明
姜长健:撰写——审阅与编辑、撰写——初稿、软件、项目管理、方法论、正式分析、数据管理、概念化;
任克锐:撰写——审阅与编辑、撰写——初稿、软件、方法论;
徐琳宁:撰写——审阅与编辑、撰写——初稿、监督、方法论;
卢涛:撰写——审阅与编辑、撰写——初稿、监督;
陈炯:撰写——审阅与编辑、撰写——初稿;
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了中国国家自然科学基金(项目编号62576311)的支持,部分得到了中国国家自然科学基金(项目编号62502247)的支持,部分得到了中国自然科学基金(NSFC)62088101自主智能无人系统项目的支持,以及浙江省自然科学基金(项目编号LD24F030001)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号