VPGS：基于3D高斯散布技术的虚拟植物重建与渲染

《Computers & Graphics》：VPGS : Virtual plant reconstruction and rendering based on 3D Gaussian splatting

虚拟植物建模与渲染中，传统方法如L系统存在形态控制不足，图像驱动法难以处理无明确骨骼的植物，而NeRF效率低且缺乏几何优化。本文提出VPGS框架，通过纹理感知的密度控制策略动态调整高斯分布，结合相机自适应投影方法解决渲染模糊和尺度失真问题，在自建和Mip-NeRF 360数据集上验证其重建精度优于现有方法。

　　

丁伟龙|陈亮|桑云|徐立峰|张玉萍|张继光

中国杭州，浙江工业大学

摘要

虚拟植物建模涉及在虚拟环境中重建真实植物，这一技术广泛应用于农业领域以模拟植物生长，同时也应用于游戏行业和电影视觉效果制作。然而，实现真实植物的逼真重建仍然是一个重大挑战。近期基于神经辐射场（NeRF）的方法被用于植物重建，但在处理复杂植物结构时往往效率较低且可扩展性不足。本文提出了一种改进的高斯散布框架（VPGS）用于虚拟植物重建和渲染。VPGS引入了一种新的密度控制策略，能够在保持高斯点总数可控的同时高效地进行克隆和分割操作。为减少由于训练和渲染相机不匹配导致的锯齿现象，我们提出了一种无需训练的抗锯齿方法来提升渲染质量。我们在自己的数据集以及Mip-NeRF 360等具有挑战性的基准测试上对该方法进行了定性和定量评估，结果表明我们的方法比现有最先进的方法实现了更准确的植物重建。本文的相应代码和数据集将在论文被接受后立即公开。

引言

虚拟植物是通过先进的数字建模技术创建的真实植物的数字表示形式，它们将现实世界中的植物转化为虚拟环境中的交互式、视觉沉浸式对象。虚拟植物的发展不仅支持农业中作物生长和发育的模拟[1]，还在游戏和电影等行业中得到广泛应用，显著增强了虚拟场景的真实性与沉浸感。

植物结构具有典型的分形特征，这使得基于规则建模的方法（如L系统[2]）在虚拟植物建模中得到广泛应用。尽管这些方法可以复制分形图案，但其严格的规则限制了它们对真实植物多样且复杂的形态的捕捉能力。因此，许多研究转向了基于图像的方法，这些方法从多视图图像中提取2D骨架[3]、[4]、[5]、[6]，将其映射到3D结构中，并用程序生成的器官进行填充。虽然这些方法在重建骨架方面表现良好，但在处理结构不清晰的植物时存在困难，也无法捕捉到器官层面的细节。因此，准确创建高质量的虚拟植物模型仍然是一个主要挑战。

为了提高建模质量和效率，需要更加通用和有效的重建方法。我们注意到，最近的技术（如NeRF[7]）在其他任务（如水下场景[8]）中取得了令人印象深刻的结果。NeRF[7]能够生成高度真实的3D重建结果，并理论上适用于植物建模。然而，它存在两个关键局限性：（1）其隐式的场景表示缺乏明确的几何信息，难以针对植物特定结构进行优化[9]；（2）其漫长的训练时间阻碍了大规模应用。相比之下，高斯散布（Gaussian Splatting[10]）具有更高的训练效率和重建精度，其显式的表示方式更适合后续编辑。然而，其在植物重建方面的表现仍不如在更典型对象上的表现。

高斯散布[10]使用由结构从运动（Structure-from-Motion, SfM）生成的稀疏点云作为输入。通常情况下，SfM方法在植物纹理重复的区域只产生稀疏的初始点云。此外，高斯散布[10]中的原始自适应密度控制策略在低纹理区域难以有效执行克隆或分割操作[11]。如图1所示，当相机参数变化时，高斯散布[10]会出现严重的锯齿伪影，这一问题在基于NeRF的方法[12]、[13]、[14]中也有观察到。在植物重建中，这一问题尤为明显，因为植物器官的尺度容易发生变形。

为了解决这些挑战，我们提出了一个改进的高斯散布框架（VPGS）用于虚拟植物重建和渲染。该方法利用周围像素信息检测重复纹理，并选择性地增加低纹理区域的高斯点密度，同时有效控制点增长以防止不必要的开销。与依赖预过滤或施加频率约束（如Mip-Splatting[15]）的传统抗锯齿技术不同，我们在渲染过程中强制保持投影一致性并应用超采样。这种方法在不改变训练流程或限制高斯表达能力的情况下实现了高质量的抗锯齿效果。

总结来说，我们的贡献包括：

• 1. 一种新的纹理感知密度控制策略，能够有效适应植物的低纹理区域，同时控制高斯点的数量以避免内存溢出问题。
• 2. 一种相机自适应投影方法，能够在不同相机距离和分辨率下保持植物器官的感知大小一致。
• 由于缺乏植物重建数据，我们从现有数据集中收集并丰富了植物场景。

部分内容摘录

程序化虚拟植物建模

传统的虚拟植物重建方法通常分为程序化、基于草图和基于图像的方法。在程序化技术中，L系统[2]被最广泛采用。为了克服其局限性（如直线分支），研究人员引入了基于样条的建模[16]和草图集成[17]、[18]来改进形状控制。然而，这些方法主要关注形态，常常忽略环境影响。

初步研究

3D GS[10]是一种新颖的显式3D场景表示方法，通过可微分光栅化实现高效和高质量的重建。它使用一组3D高斯分布作为基本几何原语来表示场景。每个高斯点由以下公式定义：

$G_k\left(x\right)=e^{?\frac{1}{2}{\left(x,p_k\right)}^{}}{\Sigma }_k^{?1}\left(x,p_k\right)$$p_{}$${\Sigma }_{}$$k_{}$表示高斯点的中心，${\Sigma }_{}$表示决定其形状和方向的协方差矩阵。

为了避免投影过程中的高斯退化（即当

方法

为了解决上述高斯散布的局限性，我们对原始3DGS模型进行了两项修改。如图2所示，我们提出了一种纹理感知的密度控制方法，通过自适应分割或修剪高斯点来提高虚拟植物的重建质量。此外，我们还提出了一种相机自适应投影方法，确保在不同渲染设置下高斯投影的一致性，从而提升虚拟植物的渲染质量。

实验设置

数据集和基准测试。我们在两个数据集上评估了我们的方法：虚拟植物和真实植物。为了解决收集真实植物数据的挑战，我们构建了一个包含7个植物场景的虚拟数据集，以NeRF数据集[7]中的榕树数据作为参考。对于植物群场景，我们在mip-NeRF 360数据集[13]中的四个场景（树桩、树丘、花园和花卉）进行了实验，并额外收集了3个复杂的植物场景。

结论

我们提出了VPGS，解决了传统3D GS在纹理稀疏区域的关键局限性。通过为每个高斯点累积像素级梯度，我们的方法在纹理较弱的区域提高了拟合效果，显著提升了重建质量。为防止在不同相机设置下因投影膨胀导致的尺度失真，我们引入了相机自适应系数来保持器官尺度的一致性。我们通过扩展的植物数据集验证了我们的方法。

CRediT作者贡献声明

丁伟龙：撰写 – 审稿与编辑、撰写 – 原稿撰写、方法论、研究、概念化。陈亮：撰写 – 审稿与编辑、撰写 – 原稿撰写、可视化、验证、资源管理、方法论、研究、形式分析、数据整理、概念化。桑云：撰写 – 审稿与编辑、研究、形式分析。徐立峰：撰写 – 审稿与编辑、监督、方法论、研究、形式分析。张玉萍：撰写 – 审稿与

资助

本研究得到了国家自然科学基金（编号32271983）和北京自然科学基金联合基金（编号L241056）的支持。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。