RSTGS：基于多视角图像的3D高斯溅射可重置单树建模方法

《Knowledge-Based Systems》：RSTGS: Relightable Single-Tree Modeling with 3D Gaussian Splatting from Multi-View Images

　　摘要：高保真度的树木重光照模型对于构建逼真的3D地理场景至关重要。然而，树木复杂的结构特征往往会导致几何重建时产生较高的计算成本，而多视图图像中的背景干扰则会降低重建精度及光照建模质量。为解决这些问题，本文提出了一种新方法——RSTGS：基于多视图图像的3D高斯溅射可重光照单树建模。该方法引入父子高斯场监督正则化机制，通过跨层级几何与辐射度约束提升训练稳定性并实现多尺度结构一致性。此外，还设计了由双域梯度一致性驱动的高斯密度自适应控制机制，以同时约束空间域和法线域，在保留几何细节的同时减少冗余点。在光照建模方面，该方法采用了考虑几何结构的入射光强度估算方法，通过推断主要光照方向并指导入射光采样，从而提高光照稳定性并生成更真实的阴影效果。在NJU_Trees数据集上的实验表明，该算法在真实树木建模的新视图合成与重光照任务中，性能可与现有的最先进方法相媲美。

引言：空间可视化是地理信息科学的核心特征，使其区别于其他信息科学领域。作为植被的重要组成部分，真实地表现树木对于提升虚拟地理环境的整体真实性具有重要意义。与其他场景元素相比，树木具有复杂的几何结构及光照响应特性，这使得它们在多视图图像中容易受到周围背景元素的干扰，尤其是在包含天空、建筑物或邻近植物等复杂元素的场景中。这些因素增加了对树木几何细节建模以及实现可重光照渲染的难度，这也是高精度树木重建与重光照至今仍是计算机视觉与地理空间可视化领域重要挑战的原因。近年来，以神经辐射场为代表的神经表示方法能够从多视图图像中重建连续的辐射场，从而实现高质量的新视图合成，并为后续的可重光照建模奠定基础[1][2][3]。不过，这类方法存在较高的训练与渲染成本，且其几何结构并非明确参数化，这限制了其在光照分解、法线估计及可控重光照等任务中的应用，同时也使得对结构复杂的树木进行精确建模与重光照变得困难。3D高斯溅射技术作为一种强大的显式神经渲染方法，为新视图合成与辐射场建模提供了出色的性能与效率平衡[4][5]。与隐式神经场不同，3D高斯溅射将场景表示为一系列3D高斯体，每个高斯体都通过位置、旋转、尺度、透明度以及与视图相关的颜色属性进行参数化。这些高斯体可直接投影到图像平面上以实现可微分的光栅化，从而实现对光栅化与渲染过程的精确控制。因此，3D高斯溅射相较于传统神经辐射场能更快收敛，非常适合用于复杂场景的重建与渲染任务。不过，直接将3D高斯溅射应用于自然场景，尤其是树木重光照任务时，仍面临诸多挑战。树木复杂的枝叶结构会产生大量冗余高斯体，增加内存需求；而枝叶间的复杂遮挡以及多视图图像中的背景干扰，则进一步限制了3D重建的精度与重光照的真实度。为解决这些问题，本文提出了RSTGS这一专为树木重建与重光照设计的新方法，突破了现有基于高斯场方法的诸多局限。该算法通过父子高斯场监督正则化机制来减轻重建过程中背景干扰带来的影响，同时引入跨层级结构一致性约束，以提高树木重建与重光照的几何稳健性及辐射度一致性。此外，它还采用了由双域梯度一致性驱动的密度自适应控制机制，能够在空间域与法线域的联合约束下动态调整高斯点的分布密度，从而在保留精细树木结构的同时减少冗余点，实现高效存储的树木几何模型。另外，该算法还设计了考虑几何结构的入射光强度估算模型，通过结合输入的HDR环境图中的主要光照方向提取结果与对光照方向敏感的半球形采样方式，优化高斯场层面的局部辐射度响应，进而提升重光照结果的稳定性与视觉真实性。实验在NJU_Trees数据集上进行，其中Tree1–Tree3用于全面的功能评估，Tree4–Tree12则用于在不同树木结构与环境条件下的验证，如图1所示。此外，公共的TensoIR-Synthetic Ficus场景也被用于外部新视图合成评估及可控定量重光照分析。RSTGS的贡献可总结如下：•父子高斯场监督正则化：通过跨层级监督正则化机制抑制背景干扰，强制实现结构与辐射度一致性，从而保障树木重建与重光照的稳定性；•高斯密度自适应控制：通过空间域与法线域梯度一致性驱动的密度调节机制，协同控制高斯体的精细化程度，在保留树木精细结构的同时减少冗余点；•考虑几何结构的入射光强度估算：通过结合主要光照方向提取与对光照方向敏感的半球形采样方式的几何感知型光照模型，提升入射光采样的稳定性，生成更真实的重光照效果；•NJU_Trees数据集：该数据集包含了三个核心基准场景以及九个额外的验证场景，用于评估在不同树木结构、光照条件及背景复杂度下的重建与重光照性能。

章节节选：基于图像的3D树木重建方法：早期基于图像的3D树木重建方法主要依赖于多视图立体视觉技术，该技术通过跨视图特征匹配与深度估计来恢复场景的几何结构。COLMAP[6]及基于PatchMatch的多视图立体视觉方法[7]在城市景观与文化遗产保护领域展现了极高的重建精度与稳定性。此后，Vis-MVSNet[8]通过引入显式的遮挡推理机制进一步完善了多视图立体视觉框架。初步版本的3D高斯溅射技术[4]以显式的3D高斯体作为渲染基本单元，其核心思想是将场景表示为一组连续分布的各向异性3D高斯体。数学上，位于空间位置x∈R3的高斯体G(x)的强度贡献可表示为公式(2)：G(x)=exp?12(x?μ)?Σ?1(x?μ)，其中μ∈R3是高斯体的3D中心，Σ∈R3×3为对称正定协方差矩阵，可表示为Σ=RSSTRT，其中S为缩放矩阵，R为旋转矩阵。在训练过程中，...

方法部分：如图2所示，RSTGS采用两阶段处理流程，分别针对真实树木进行3D重建与重光照处理。在训练过程中，RSTGS会同时维护一个父高斯场与一个子高斯场。为提升几何稳定性与辐射度一致性，该方法引入了父子高斯场监督正则化机制，通过父场对子场施加跨尺度约束。PCSR机制首先建立子高斯场之间的空间对应关系...

数据集部分：NJU_Trees数据集包含了十二个具有不同树木结构、叶片密度、光照条件、背景复杂度、图像分辨率及拍摄设备的真实树木场景。其中，Tree1–Tree3被用作核心数据集用于全面的功能评估，而Tree4–Tree12则作为验证数据集用于更广泛的泛化性分析，具体如表2所示。此外，公共的TensoIR-Synthetic[47] Ficus场景也被用于外部新视图合成评估及可控定量重光照分析。

讨论部分：RSTGS的处理流程包括重建与重光照两个阶段。由于重光照的质量在很大程度上取决于几何结构或外观重建的精度与准确性，因此在NVS阶段生成的重建结果直接决定了后续光照分解、入射光强度估算及阴影合成环节的性能上限。结合真实单树场景的特殊性，本节分析了RSTGS与现有NVS方法之间的关键差异。

结论部分：综上所述，本研究的主要贡献在于提出了一种名为RSTGS的高保真且可重光照的3D树木重建框架。该框架通过引入父子高斯场监督正则化机制，实现跨尺度约束与联合优化，从而在重建与重光照过程中提升几何稳定性与辐射度一致性。此外，它还配备了由双域梯度一致性驱动的高斯密度自适应控制机制...

致谢：张书生负责原始稿撰写、可视化、方法设计、研究分析、正式分析、数据整理及概念构思工作；王子卿负责审稿与编辑、数据整理工作；刘世宇负责审稿与编辑、数据整理工作；刘书恒负责审稿与编辑、数据整理工作；韩家宽负责审稿与编辑、方法设计工作；王伟负责审稿与编辑工作；苗晓冉负责审稿与编辑工作；刘明阳负责审稿与编辑工作；吴尚负责审稿工作...

资金支持：本项目得到了国家自然科学基金（项目编号42471458）、江苏省研究生科研实践创新计划（项目编号KYCX25_0200）、江苏省地质局科学研究经费项目（项目编号2025KJ12）以及江苏省青年科技人才支持计划（JSTJ-2025-321）的支持。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

作者名单：张书生|王子卿|刘世宇|刘书恒|韩家宽|王伟|苗晓冉|刘明阳|吴尚|佘江峰|王胜利|朱一虎