《Artificial Intelligence in Agriculture》:AgriGaussian: A low-cost 3D reconstruction method for high-fidelity plant architecture analysis
编辑推荐:
本研究针对开放田间环境下作物姿态多样、光照波动等因素导致的3D重建精度低的问题,提出了一种基于3D高斯溅射(3DGS)的低成本高保真田间作物三维重建方法AgriGaussian。该方法通过深度监督策略(DSS)、作物外观提取(CAE)模块和多尺度分块训练(MCT)策略,在辣椒植株上实现了峰值信噪比(PSNR)26.85 dB、结构相似性(SSIM)0.86的优异重建效果,植株高度和冠层体积的测定系数(R2)分别达到0.90和0.86,为精准农业中的三维表型分析和数字孪生技术提供了重要基础。
在精准农业和数字农场管理迅猛发展的今天,高通量表型分析(High-throughput phenotyping, HTP)已成为揭示植物与环境互作机制的关键手段。然而,田间作物在开放环境下的三维重建一直面临着巨大挑战——多变的植株姿态、波动的光照条件、复杂的背景干扰,使得传统的三维成像技术如激光雷达(LiDAR)或运动恢复结构(Structure-from-Motion, SfM)往往成本高昂、操作繁琐,且难以在真实农田场景中实现高保真、细粒度的表型重构。近年来,神经辐射场(NeRF)等隐式表示方法虽在视觉渲染上取得突破,却因计算开销大、难以实时处理大尺度场景而限制了其在农业领域的规模化应用。面对这一瓶颈,研究者开始将目光投向一种新兴的显式三维表示技术——3D高斯溅射(3D Gaussian Splatting, 3DGS),它通过高斯椭球直接表达场景几何与色彩,兼具高渲染速度与强几何可解释性,为农田场景的高效重建带来了新的可能。
为攻克田间作物三维重建的难题,中国农业机械化科学研究院的安麒霖等人开发了AgriGaussian框架,并以朝天椒品种“新一代”为研究对象,在苗期、花期和果期三个典型生长阶段,通过表型机器人(Phenotyping Robot, PR)搭载斜视角成像系统进行数据采集。该研究首次将3DGS技术应用于大田尺度的作物表型分析,通过引入深度监督策略(DSS)提升空间结构感知能力,利用作物外观提取(CAE)模块抑制光照与环境干扰,并采用多尺度分块训练(MCT)策略优化大规模农田场景的重建效率与质量。
本研究主要依托以下关键技术方法实现田间场景的高质量重建:首先,通过表型机器人进行多视角图像采集,并借助COLMAP算法完成相机位姿估计与稀疏点云生成;其次,在3DGS基础框架上集成DSS模块,利用Depth Anything v2(DAv2)模型提供单目深度估计,以梯度自适应系数增强作物区域的结构约束;第三,设计CAE模块,通过外观嵌入与卷积下采样分离光照变化与作物表型特征;最后,采用MCT策略将大场景按点云密度分块训练,再合并优化,显著提升重建稳定性与细节还原度。
2.1. 数据预处理
研究团队在北京平谷区的辣椒试验田部署表型机器人,采集了苗期、花期和果期三个生长阶段的视频数据,并从中提取图像序列。通过COLMAP进行特征点提取、匹配与稀疏重建,获取相机参数与初始点云,为后续3DGS提供几何初始化。
2.2. AgriGaussian方法框架
AgriGaussian在3DGS基础上引入三大核心模块:DSS通过深度损失函数增强作物区域的结构优化;CAE借助卷积网络实现光照不变的外观重建;MCT则通过分块训练与冗余剔除提升大场景重建效率。实验表明,该框架在保持高渲染速度(112 fps)的同时,显著提升了复杂农田场景下的重建质量。
3. 实验结果
3.3. 不同方法对比实验
与VastGaussian、SuGaR及原始3DGS相比,AgriGaussian在三个生长阶段均取得最优的重建指标:平均PSNR达26.19 dB,SSIM为0.84,LPIPS降至0.27。视觉对比显示,AgriGaussian能清晰重建叶片纹理、花器与果实等细观表型,而基线模型则出现模糊与浮点伪影。
3.4. 消融实验
消融实验验证了各模块的贡献:去除DSS导致深度感知退化,PSNR下降约2-4 dB;缺少CAE则削弱了对光照变化的鲁棒性;而MCT的缺失使大场景重建误差显著上升。三者协同作用确保了模型在复杂农田环境下的适应性。
3.5. 冠层特征提取
基于重建模型,研究团队在CloudCompare中提取了单株辣椒的冠层高度(Plant Height, PH)与冠层体积(Plant Volume, PV)。与人工测量结果相比,PH和PV的测定系数R2分别达到0.90和0.86,平均绝对百分比误差(MAPE)低至5.1%,表明AgriGaussian在表型量化中具有高精度与强可靠性。
研究结论表明,AgriGaussian首次实现了基于3DGS的田间作物高保真三维重建,解决了传统方法在复杂农田场景中重建精度低、成本高、难以规模化应用的痛点。通过DSS、CAE和MCT三大策略的协同优化,该框架在辣椒植株的不同生长阶段均实现了优异的视觉保真度与几何准确性,且支持高斯椭球、点云、网格等多种输出格式,为作物表型分析、生长监测与精准农艺管理提供了可靠的三维数据基础。此外,该方法的通用性在玉米、桃树等其他作物上的成功验证,进一步展现了其在多作物、大尺度数字农业应用中的潜力。
讨论部分指出,当前方法仍存在侧视覆盖不足、风力扰动导致重建伪影等局限,未来将通过算法补偿与4D高斯模型加以改进。同时,开发轻量化、支持实时推理的AgriGaussian版本,将其与农业机器人集成,实现定向喷药、智能修剪与自主采收,将是精准农业迈向数字化、智能化的重要方向。