基于3D高斯泼溅监督的叶菜类蔬菜双目立体视觉表型测量研究

为解决叶菜类蔬菜在复杂生长环境下精准表型测量难题，研究人员开展了基于3D高斯泼溅（3DGS）监督的立体匹配网络研究，通过多视角图像生成高质量立体数据集，结合多尺度特征提取和自适应成本聚合技术，实现了高精度深度估计（EPE=2.32像素）和3D点云重建，表型参数测量结果与人工测量高度吻合（R2>0.95），为农业生产系统提供了高效、非破坏性的表型监测方案。

　　

在精准农业和智能育种领域，叶菜类蔬菜的表型参数（如株高、叶片数、表面积）的无损测量对生长监测和产量预测至关重要。然而，传统方法依赖人工测量，效率低且易破坏样本；而基于二维图像的技术因遮挡和深度信息缺失难以应对复杂结构。尽管三维重建技术（如多视角立体视觉）有所进展，但农业场景中大规模立体匹配数据集的缺乏，以及针对小目标的深度传感设备成本高昂，严重制约了精准表型测量的发展。主动式方法（如激光扫描和深度相机）在细小目标上表现不佳，而被动式方法中，单目深度估计依赖先验知识，多视角立体视觉虽精度高但计算资源需求大。双目立体视觉以其成本效益和效率优势成为理想选择，但传统算法在遮挡、无纹理区域和复杂结构下性能受限，深度学习虽革新了立体匹配，却受制于标注数据稀缺。自监督学习和合成数据虽可缓解数据短缺，但分别存在匹配困难域适应问题。

为突破数据瓶颈，本研究创新性地采用3D高斯泼溅（3D Gaussian Splatting, 3DGS）技术——一种显式场景表示框架，通过可学习的3D高斯基元和可微分渲染器，实现快速、高保真重建和逼真合成，从而高效生成大规模高质量立体数据集，为深度学习提供精确监督。研究提出了一种新颖的3DGS监督立体匹配框架，用于叶菜类蔬菜的深度估计和三维重建，进而实现非破坏性表型测量。

研究首先通过手持Intel RealSense D405C相机采集多视角RGB图像，经运动模糊检测和COLMAP预处理后，利用3DGS进行场景重建和立体数据合成，生成包含左右图像、视差图和深度图的数据集；随后，设计了一种高精度立体匹配网络LVStereo，其采用多尺度可变形卷积特征提取、结合串联和分组相关的组合成本体积构建、轻量级三维正则化成本聚合，以及基于top-k算法和卷积门控循环单元（ConvGRU）的视差回归与迭代优化；最后，结合实例分割（Segment Anything Model, SAM）和三维点云处理，实现株高、叶片数和表面积的测量。

在数据生成方面，3DGS结合中值深度渲染策略显著提升了重建质量，整体PSNR达40.84 dB，SSIM为0.96，渲染速度较NeRF提升6.7倍；生成的立体数据集包含8060对图像，视差密度达100%，优于现有主流数据集。立体匹配模型LVStereo在叶菜区域表现优异，端点误差（EPE）仅0.91像素，Bad-3误差为4.22%，参数量13.59M，推理速度9.76 FPS，优于PSMNet、GwcNet等对比模型。三维重建结果清晰还原了叶菜结构，点云经统计离群值过滤和 Delaunay 三角剖分后，表型测量与人工结果高度相关：株高R²=0.9946（RMSE=0.38 cm），叶片数R²=0.9577（RMSE=0.96），表面积R²=0.9775（RMSE=21.23 cm2）。

该研究成功解决了农业场景中立体数据稀缺的核心问题，通过3DGS监督的立体匹配和三维重建，实现了叶菜类蔬菜表型的高精度、非破坏性测量。所提出的方法在复杂结构处理和实时性方面均优于现有技术，为植物工厂监测和智能农业部署提供了理论基础和实践方案。未来工作将聚焦于表面细节重建改进、遮挡处理优化，以及跨作物扩展应用，进一步提升系统的鲁棒性和普适性。