《Plant Phenomics》：A UAV-based sparse-view 3DGS framework for greenhouse strawberry reconstruction
编辑推荐：
基于无人机的多视角重建是实现高精度、非破坏性作物三维表型分析的重要途径。然而，在温室环境中，由于无人机气流扰动及温室结构的复杂性，无人机图像采集往往局限于稀疏视角，严重阻碍了精确的三维表型获取。为应对这一挑战，本研究开发了一种面向温室环境下受限无人机视角的任务
基于无人机的多视角重建是实现高精度、非破坏性作物三维表型分析的重要途径。然而，在温室环境中，由于无人机气流扰动及温室结构的复杂性，无人机图像采集往往局限于稀疏视角，严重阻碍了精确的三维表型获取。为应对这一挑战，本研究开发了一种面向温室环境下受限无人机视角的任务驱动型表型分析框架，将视觉触发飞行规划策略与改进的稀疏视角3DGS流程（称为SparseBerry-3DGS）相结合，用于GNSS拒止环境中温室草莓的多视角图像采集与三维表型分析。具体而言，研究人员通过引入光流引导初始化、深度监督和自适应剪枝策略对三维高斯泼溅（3D Gaussian Splatting, 3DGS）进行改进，有效缓解了稀疏视角条件下的几何坍缩与漂浮伪影问题。此外，利用SAM2生成的时序语义掩膜引导草莓点云分割，从而减少背景干扰和分割误差。实验结果表明，视觉触发飞行策略能够为每个目标果实稳定采集16幅环绕图像。在稀疏视角条件下，SparseBerry-3DGS提高了重建稳定性，平均峰值信噪比（peak signal-to-noise ratio, PSNR）达到18.25 dB，较基线提升了18%。基于SAM2的分割模块实现了较高精度，平均交并比（mean intersection over union, mIoU）超过0.95。基于草莓纵径的几何评估得到R2为0.88，验证了果实尺度几何重建的准确性。在重量估算方面，五折交叉验证得到R2为0.90，均方根误差（root mean square error, RMSE）为3.62 g，预测性能优于基于二维投影面积和标准3DGS点云的方法。本研究为温室园艺中高通量、非侵入式数字作物表型分析提供了一种新途径。
基于无人机稀疏视角的温室草莓三维重建与重量估计框架研究解读
**研究背景与问题**
草莓是全球经济价值最高的浆果作物之一，果实重量是衡量生长表现的重要指标，也是精准栽培管理和品种评价的关键性状。传统重量测量依赖人工称重，虽然数据直接，但通常具有破坏性、效率低，且不适用于连续监测。草莓果实形态高度不规则，外部性状如尺寸和轮廓具有显著的几何复杂性，传统人工测量或二维图像分析难以全面表征其形态。三维重建能够更准确地恢复草莓果实的空间结构，从而支持更可靠的无损重量估计。
在半结构化温室中，草莓栽培管理劳动密集，表型数据自动化采集尤为重要。现有方案主要依赖地面无人车辆（UGV），虽具备较强载荷能力，但在温室环境中面临显著局限：地面轨道安装成本高，轮式或履带式平台难以适应温室地面常见的灌溉管道和崎岖地形，且运输成本较高。相比之下，无人机（UAV）凭借优越的空间机动性和三维作业灵活性，展现出替代传统地面平台的巨大潜力。然而，温室半封闭的钢结构及覆盖材料会屏蔽卫星信号，导致全球导航卫星系统（GNSS）完全失效。缺乏绝对定位信息使自主导航和路径规划成为瓶颈。更重要的是，温室复杂结构及避免旋翼下洗气流对作物造成干扰的要求，显著限制了无人机飞行空间，导致采集图像视角稀疏。传统基于多视图几何的三维重建算法，如运动恢复结构（SfM）和多视图立体（MVS），在处理此类数据时常出现特征匹配失败和点云不完整的问题。近年兴起的神经渲染方法，特别是神经辐射场（NeRF）和三维高斯泼溅（3DGS），为作物表型分析提供了新思路，但现有研究仍依赖大量高重叠度的全方位图像，对稀疏视角场景关注不足。当应用于稀疏视角图像序列时，原始NeRF和3DGS方法极易过拟合，导致重建结果出现严重几何坍缩和漂浮伪影，无法直接用于精确表型测量。此外，现有3DGS方法是面向场景的神经渲染技术，优化后的离散高斯基元缺乏内在语义关联，无法直接区分作物与背景。因此，亟需开发适用于温室无人机稀疏视角成像的改进3DGS方法，并与先进图像分割技术集成，实现温室草莓的精确检测与分割。
**研究目标**
本研究旨在探索基于无人机稀疏视角三维重建在温室草莓表型分析中的应用潜力，具体目标包括：(1)开发适用于温室受限空间的自主无人机图像采集方案；(2)改进3DGS以减少稀疏视角引起的几何坍缩和漂浮伪影，并集成分段任意模型2（SAM2）实现草莓果实三维点云的精确分割；(3)基于分割后的点云估算单果重量，并验证其精度优于基于二维投影面积和标准3DGS点云的方法。
**主要关键技术方法**
本研究在浙江省杭州市农业科学研究院的草莓种质资源圃（30°9′11″N, 120°5′36″E）开展实验，采用悬挂式基质栽培系统。实验材料包含一百余份草莓优良品系，涵盖绿果期（2025年12月12日至14日）和红果成熟期（2026年1月10日至25日）两个代表性物候期。研究采用AMOV Lab开发的SU17四旋翼无人机平台，搭载基于DJI Osmo Pocket 3的稳定图像采集系统。核心方法包括：(1)视觉触发飞行规划策略，利用AprilTag视觉标记实现GNSS拒止环境下的定位与自主图像采集；(2)SparseBerry-3DGS算法，集成光流引导初始化、深度监督和自适应剪枝三个模块；(3)SAM2时序语义分割模块，将二维分割掩膜映射至三维高斯点云实现果实分割；(4)基于体素化点云体积的线性回归重量预测模型。所有草莓样本随机分为五折进行交叉验证，比较掩膜面积、标准3DGS点云体积和SparseBerry-3DGS点云体积三种重量估计模型。
**研究结果**
**温室场景三维重建性能。** 在温室草莓场景中，将SparseBerry-3DGS与NeRF、3DGS、FastGS、Speedy-Splat和GaussianPro五种基线方法进行比较。实验结果表明，基线方法在复杂温室背景和无人机稀疏视角条件下均出现不同程度的几何重建和纹理细节退化，而所提方法在两种测试视角下均获得最接近真实值的重建效果。标准3DGS在稀疏输入下产生大量漂浮伪影，GaussianPro虽引入部分几何正则化但稳定性仍不足，NeRF在新视角渲染时出现边界模糊。定量评估显示，SparseBerry-3DGS在完整未掩膜温室图像上取得最佳PSNR和SSIM，分别达到18.25 dB和0.78，较原始3DGS提升约18%和8%，证明了显式几何约束在稀疏视角条件下对高斯基元空间分布误差的改善作用。
**公开LLFF场景泛化性能。** 在Leaves、Flower和Orchids三个真实稀疏视角场景中，SparseBerry-3DGS分别取得22.44 dB、28.75 dB和20.32 dB的PSNR，均优于所有基于高斯的方法，其中在Leaves和Flower场景中为最高值。结果表明该方法在不同真实稀疏视角场景中均能保持稳定的重建性能。
**纵径几何精度评估。** 利用草莓纵径对重建三维模型的几何精度进行评估，重建纵径与人工测量真值之间的R2为0.8759，RMSE为2.88 mm，MAPE为5.90%。重建测量值总体分布在1:1参考线附近，表明在稀疏视角温室的条件下，SparseBerry-3DGS能够以合理精度恢复果实尺度的几何尺寸。
**消融实验。** 在20组数据上分别移除光流引导初始化（w/o Flow Init）、深度监督（w/o Depth_loss）和自适应剪枝（w/o Prune）模块进行验证。移除光流引导初始化导致PSNR从18.04 ± 0.71 dB降至15.99 ± 1.24 dB，为所有消融设置中最大降幅；移除深度监督使SSIM从0.733 ± 0.079降至0.705 ± 0.083，LPIPS从0.401 ± 0.050增至0.432 ± 0.068；移除自适应剪枝导致PSNR为16.40 ± 1.68 dB，且变异性最大。三项模块均对重建质量和稳定性具有重要贡献。
**点云分割性能。** 基于SAM2的分割模块在红果期取得mIoU为0.975、精确率98.7%、召回率99.2%、F1分数0.989；在绿果期果实与背景颜色对比度较低条件下，仍达到mIoU为0.956、精确率96.2%、召回率96.5%、F1分数0.960。主成分分析（PCA）可视化显示，草莓果实对应的高斯基元在语义特征空间中形成紧凑且分离良好的聚类，而背景叶片和栽培槽呈现明显不同的特征分布。
**重量估计模型性能。** 基于二维掩膜面积的模型预测性能较弱，R2仅为0.1698，RMSE为10.55 g，MAPE为37.00%。基于标准3DGS点云体积的模型R2为0.8236，RMSE为4.86 g，MAPE为13.29%。基于SparseBerry-3DGS点云体积的模型取得最佳预测精度，R2为0.9021，RMSE为3.62 g，MAPE为11.99%。SparseBerry-3DGS生成的点云密度更高、错误点云更少，这归因于光流引导初始化增加了点云密度，自适应剪枝和深度监督抑制了错误点云生成。
**讨论与结论**
**局限性讨论。** 本研究所用AprilTag视觉标记作为触发和尺度参考，在大面积温室推广时手动部署可能增加人工成本，未来可通过少量固定参考标记、已知温室结构尺寸或无标记度量尺度恢复来减少依赖。无人机实验在具有足够净空的温室区域进行，而非极窄行间空间，集成LiDAR SLAM与自主路径规划有望进一步提高导航安全性和可扩展性。果实运动、遮挡和强镜面反射仍是挑战，未来将研究植物点云补全、动态4D高斯表示和反射感知高斯外观建模等方法。
**研究结论。** 本研究提出了一种面向温室稀疏视角场景的草莓三维重建与重量估计框架。研究开发了视觉触发的自主无人机数据采集平台，并将SparseBerry-3DGS与基于SAM2的时序分割相结合，实现了温室草莓的高精度表型数字化。在无人机数据采集方面，视觉触发机制能够在GNSS拒止环境中自动采集倾斜视角图像，为每个目标果实采集16幅环绕图像。在三维重建方面，通过与NeRF、原始3DGS和FastGS等五种代表性基线方法的比较，所提方法通过引入光流引导初始化、深度监督和自适应剪枝，有效缓解了稀疏视角和复杂光照引起的几何坍缩和漂浮伪影，在代表性温室草莓场景中取得了更高的PSNR（18.25 dB）和SSIM（0.78）。在重量估计方面，得益于SAM2模块的精确分割引导和精确的三维重建，基于SparseBerry-3DGS的体素化点云体积模型取得最高预测精度，R2为0.90，RMSE为3.62 g，MAPE为11.99%。该框架为设施园艺中高通量、非侵入式作物表型分析提供了新的技术途径。研究由蔡佳怡、黄振宇、魏玉珍、肖文飞、余红、高攀、冯旭萍、何勇等研究人员完成，发表于《Plant Phenomics》。
