基于UGV的多模态RGBD-多光谱融合框架实现温室生菜幼苗高质量3D表型分析

《Artificial Intelligence in Agriculture》：UGV-based multimodal RGBD–multispectral fusion framework enables high-quality 3D phenotyping of greenhouse lettuce seedlings

　　

多模态3D表型分析框架能够从同步的RGBD和多光谱数据中实现对生菜幼苗的精确三维重建和性状提取。MS-SegNet在弱纹理和光谱模糊条件下仍能实现精准的幼苗实例分割。改进后的3D度量位姿估计流程能够从温室中获取的稀疏图像序列中鲁棒地生成几何一致的3D轨迹。生成的语义多光谱点云支持精确提取关键结构和生理表型性状。

温室环境下生菜（Lactuca sativa）幼苗的精准表型分析是可控环境农业（CEA）和作物改良研究的重要支撑。然而，幼苗个体微小、形态可塑性高，且部分品种的叶片光谱特征与生长基质极为相似，导致传统RGB图像中目标与背景对比度极低，分割边界模糊。同时，温室场景还普遍存在表面纹理不足、结构性重复、空间排列密集和几何多样性缺乏等问题，严重制约了基于视觉外观的三维重建与目标识别方法的有效性。单模态传感器无法同时捕获几何结构与生理状态，因此亟需建立一种能够协同利用深度和多光谱信息的统一计算框架。

针对上述瓶颈，《Artificial in Agriculture》发表了相关研究。研究人员在温室环境中构建了一套基于无人地面车辆（UGV）的多模态三维表型分析框架，用于实现生菜幼苗高通量、非破坏性的结构和生理性状量化。该框架以UGV为移动平台，搭载刚性耦合、同步触发的Femto Bolt RGBD相机和CropEye-A1四波段多光谱相机，沿预设路径每4秒采集一帧，获取包含RGB、深度以及550 nm、660 nm、720 nm、840 nm四个窄波段反射率的同步图像序列。为克服多模态图像间的空间失准，研究人员设计了基于尺度不变特征变换（SIFT）特征匹配和斜率一致性离群抑制的图像配准模块。随后提出双骨干实例分割网络MS-SegNet，分别提取RGBD几何特征和多光谱反射特征，并在浅层和深层通过S-CSAF与D-LCSAF模块进行层次化融合，以精准勾画弱纹理和低对比度条件下的幼苗轮廓。针对稀疏采样的图像序列，研究人员建立了稳健的3D度量位姿估计流程，采用运动恢复结构（SfM）初始化、基于深度几何一致的尺度恢复以及广义迭代最近点（ICP）局部精化，生成全局一致且具有真实尺度的相机轨迹。最后，将所有局部点云变换到全局坐标系，融合生成带有光谱属性和实例级语义标签的语义多光谱点云，并据此自动提取冠层面积、株高、冠幅、体积、紧实度、归一化植被指数（NDVI）和红边归一化植被指数（NDRE）等表型参数。数据来源于北京农林科学院联合温室，共包含237个生菜品种，涵盖奶油生菜（B）、结球生菜（C）、叶用生菜（L）、橡叶生菜（O）、罗马生菜（R）、茎用生菜（S）和野生近缘种（W）等类别。

在实验部分，研究人员首先在“Comparison between single-modality and multimodal inputs”中，以增强型YOLOv11-Seg为骨干，对比了RGB、RGBD、MS和RGBD+MS四种输入模式，发现RGBD+MS早期融合模型在精确率、召回率和mAP指标上均最优，证明深度几何与多光谱反射信息具有强互补性。在“Evaluation of multimodal fusion strategies”中，比较了早期、中期和晚期三种融合策略，所提出的双骨干中期融合MS-SegNet在精确率、mAP@50、mAP@75和mAP@50:95上均取得最高值，分别为0.993、0.994、0.973和0.854，优于输入层和决策层融合，表明特征级融合能更灵活地整合形态与生理信息。在“Ablation study of key architectural components”中，通过逐步集成ADown、C2PSDA、S-CSAF和D-LCSAF模块，验证了各改进组件对分割性能的增量贡献，最终MS-SegNet较基线在mAP@75上提升1.3%，在mAP@50:95上提升1.1%；同时针对S-CSAF中提示引导自适应加权机制的消融实验表明，该机制比简单拼接和MLP注意力融合更高效且参数更少。在“Comparison with state-of-the-art instance segmentation models”中，与YOLOv8n-Seg、YOLOv9n-Seg、Mask R-CNN和Mask2Former对比，MS-SegNet在低背景对比度和复杂光照下展现出更强的边界定位能力，避免了漏检和轮廓模糊。在“Robust metric 3D pose estimation”部分，通过与经典SfM–MVS及近期单目预测模型VGGT、Pi3的定性比较，所提方法在稀疏帧、近天顶视角和弱纹理条件下仍能生成度量一致且结构完整的点云；进一步在百合和番茄场景上无需调整参数即可获得形态连贯的三维重建，表明框架具有良好的跨物种泛化能力。在“Phenotypic traits extraction from multimodal semantic point clouds”中，利用语义多光谱点云提取的株高和冠幅与人工测量高度一致，决定系数R2分别为0.8379和0.918，均方根误差（RMSE）分别为10.94 mm和11.56 mm，验证了重建模型的几何保真度。在“Assessment of lettuce seedling health status”中，基于分割后点云的NDVI和NDRE的90百分位数建立四级生理状态分类系统，可有效区分健壮、健康、亚健康和较差植株，实现了幼苗胁迫的早期检测。

在讨论部分，研究人员指出MS-SegNet的双骨干结构增加了参数量和计算成本，但UGV以4秒间隔采集图像，推理速度并非瓶颈，而分割精度更为关键；模型在mAP@50:95上仍有下降，主要归因于叶缘与相邻土壤区域的边界难以精确划分。位姿估计的结果对采集连续性较为敏感，UGV的意外加速或轨迹偏移会降低帧间重叠，导致配准失败和重建碎片化；同时受限于缺乏高精度三维真值，重建精度只能通过下游性状提取进行间接评估。该框架目前更适用于冠层稀疏的早期幼苗期，随着植株成熟，叶片遮挡加重可能导致三维重建不完整，从而低估冠层面积和体积。此外，跨物种应用需要重新标注数据并训练分割模型，但多模态配准和几何重建模块具有较好的物种无关性。总体而言，该框架为可控环境下幼苗的自动化非破坏性表型分析提供了有效方案。

研究结论部分翻译为：本研究提出了一种适用于可控温室环境的生菜幼苗端到端多模态表型分析框架。通过系统集成UGV平台上的RGBD和多光谱传感技术，该工作流有效解决了可控环境表型分析中的实际挑战，包括低视觉对比度、重复结构模式和稀疏图像采集。所提出的双骨干MS-SegNet通过几何与多光谱信息的层次融合改善了个体幼苗的分割。度量三维位姿估计流程在具有挑战性的温室条件下生成了几何一致的语义-多光谱点云。系统提取的株高和冠幅与人工测量高度一致，R2分别为0.8379和0.918，表明重建点云具备足够的几何保真度以提取关键结构和生理性状。综上所述，该框架为可控环境中生菜幼苗的自动化、非破坏性表型分析提供了有效解决方案，并为未来扩展到更多作物种类和生长阶段奠定了基础。未来工作将包括在自主机器人系统上的实时部署、与时间生长模型的整合，以及扩展多模态分割架构以涵盖更多光谱模态和多样化作物品种，从而推动可扩展的数据驱动育种和精准栽培平台的发展。