《Smart Agricultural Technology》:Pocket Phenomics: A Smartphone-based Framework for Quantifying Maize Architectural Traits in Field
编辑推荐:
准确量化玉米株型性状(如穗位高和叶倾角)对于选育耐密理想株型至关重要,然而高通量且可追溯的田间表型鉴定仍然困难。现有3D表型平台受冠层遮挡、操作复杂或高成本等因素制约,而人工测量劳动密集且可追溯性差。为弥合这一差距,研究人员开发了Pocket Phenomic
准确量化玉米株型性状(如穗位高和叶倾角)对于选育耐密理想株型至关重要,然而高通量且可追溯的田间表型鉴定仍然困难。现有3D表型平台受冠层遮挡、操作复杂或高成本等因素制约,而人工测量劳动密集且可追溯性差。为弥合这一差距,研究人员开发了Pocket Phenomics——一个基于智能手机的框架,将智能手机RGB-D采集、直接飞行时间(direct time-of-flight, dToF)误差表征、器官关键点自动检测和3D几何性状计算整合为统一的田间表型鉴定工作流程,用于玉米株型性状的田间原位量化。其采集模块(field phenotyping collection system, PP-FPCS)使用iPhone dToF LiDAR传感器和ARKit获取对齐的RGB-D数据,用于测量穗位高和叶倾角。为提高田间条件下的深度可靠性,研究人员量化了采集距离和相机位姿的影响,并建立了稳健的操作协议(距离≤1.5 m,俯仰角/偏航角在±30°以内),该协议将平面参考靶上重建3D距离的相对误差控制在10%以下。性状提取流程进一步将经Gather-and-Distribute模块增强的YOLOv8模型与基于深度的背景去除策略相结合,以在遮挡和杂乱背景下实现稳健的多尺度检测并抑制复杂田间背景。田间验证显示,智能手机测量与人工测量具有良好一致性,穗位高的平均绝对误差(mean absolute error, MAE)为5.07 cm(r=0.96;平均偏倚-4.58 cm),叶倾角为3.54°(r=0.79)。2025年开展的时间独立田间验证重现了该性能(穗位高:r=0.98,MAE=4.23 cm;穗上叶倾角:r=0.89,MAE=2.47°)。综上,本研究提供了一种便携、低成本且可复现的田间玉米株型表型鉴定框架,更重要的是,证明了消费级智能手机LiDAR可作为高通量表型鉴定的实用传感工具,在育种和精准作物管理中具有应用潜力。
玉米是全球最重要的粮食作物之一,现代育种越来越依赖优化株型以适应高密度种植,其中穗位高和叶倾角是影响抗倒伏、冠层光分布和资源利用效率的关键性状。然而,这两个性状位于冠层下部,田间遮挡严重,无人机俯视难以观测;现有地面3D表型平台受成本高、操作复杂和数据处理繁琐等限制,人工测量则劳动密集、主观且难以规模化。智能手机搭载LiDAR传感器为便携、低成本的田间表型采集提供了新途径,但手持使用中深度质量受距离、视角和操作影响,且缺乏标准化采集协议;同时,严重遮挡和复杂背景下稳健的器官关键点检测仍是挑战。为此,研究人员开发了Pocket Phenomics——一种基于智能手机的玉米冠层下株型性状田间量化框架,将采集、误差表征、关键点检测和3D几何计算整合为一个统一工作流程。
研究基于该框架开展田间试验与验证。研究人员利用iPhone 12 Pro Max的dToF LiDAR和ARKit构建PP-FPCS采集系统,并在海南三亚、湖北襄阳、河南郑州的多个玉米试验田采集RGB-D图像。2024年主要试验在海南三亚Field 1进行,植株处于R3生育期,人工测量获得737个穗位高和1,153个叶倾角参考值;另从三地共21,219个玉米小区图像中构建模型数据集,含1,934幅穗图像、1,615幅叶图像和5,035幅根图像。2025年在Field 2进行时间独立验证,共获得171个穗位高和226个穗上叶倾角参考值,每个性状人工测量3次取均值。研究还设计了平面棋盘靶受控误差实验,量化采集距离和相机位姿对深度精度的影响。
关键方法:采用iPhone 12 Pro Max dToF LiDAR与ARKit构建PP-FPCS,记录RGB-D、姿态和RTK定位;用平面棋盘靶在0.5–1.5 m、±45°内做受控误差实验。样本来自海南三亚、湖北襄阳和河南郑州的2024年玉米田,另在2025年于襄阳做时间独立验证。用YOLOv8n检测根/分割穗;用带Gather-and-Distribute(GD)和深度信息背景过滤(DIF)的YOLOv8检测叶关键点;按针孔模型转3D,用RANSAC拟合叶倾角向量,用欧氏距离算穗位高。
3.1 相机位姿与测量精度评估
受控误差实验显示,0.5 m近距离在俯仰角-25°至20°、偏航角±20°范围内相对误差低于5%;随距离增加高精度区明显减小,但1.5 m时在俯仰角和偏航角均不超过±30°的条件下,绝大多数测量的相对误差仍低于10%。测量误差与采集距离呈正相关,且误差分布具有各向异性,俯仰角变化比偏航角更敏感。基于此提出操作协议:采集距离≤1.5 m,相机俯仰角和偏航角保持在±30°以内。
3.2 检测精度
3.2.1 穗与根模型性能
玉米根检测模型采用YOLOv8n,在验证集上AP@50为0.89、F1为0.86,优于YOLO11n和RT-DETR-l,同时计算开销更低。玉米穗分割模型也以YOLOv8n最佳,AP@50为0.89、F1为0.82,优于YOLO11n和U-Net。
3.2.2 叶模型性能
为验证多尺度特征融合和背景抑制的作用,研究人员比较了YOLOv8基线、单独加入DIF、单独加入GD、以及GD与DIF结合四种配置。结果显示,仅加入DIF使AP@50从0.81提升至0.86;仅加入GD无提升(0.81);两者结合达到最高性能,AP@50为0.88、AP@50-95为0.86、F1为0.82。Grad-CAM++可视化表明,DIF主要抑制远处背景激活,GD增强叶片多尺度结构响应,二者互补后模型注意力更集中于目标叶片和关键点区域。
3.3 叶倾角和穗位高测量的田间验证
2024年田间验证中,智能手机计算的穗位高与人工测量高度相关(r=0.96,n=737),MAE为5.07 cm,RMSE为6.08 cm,但Bland-Altman分析显示系统低估,平均偏倚为-4.58 cm。叶倾角整体r=0.79,MAE为3.54°,RMSE为4.46°,平均偏倚为-0.72°;穗下叶相关性(r=0.80)略高于穗上叶(r=0.77),但两者误差相近。2025年时间独立验证中,穗位高r=0.98,MAE=4.23 cm;穗上叶倾角r=0.89,MAE=2.47°,且95%一致性界限(LoA)较2024年收窄,性能得到进一步确认。
讨论指出,dToF深度误差主要由距离相关的空间欠采样和角度相关的入射效应共同驱动。距离增大使单个像素的瞬时视场覆盖更大物理面积,在叶片与土壤边界产生混合像素,导致深度值偏移;相机姿态通过改变入射角影响反射信号信噪比,俯仰角较大时还会引入多路径干扰,因此采集协议必须约束距离和姿态。检测方面,深度背景过滤能减少复杂田间背景对模型的干扰,GD机制增强多尺度特征提取,两者结合可显著改善叶关键点定位。表型方面,穗位高的系统低估主要源于地面参考点设在根检测框中心而非土壤表面;叶倾角的相关系数相对较低,与供试品种叶倾角变异范围窄以及单次人工测量不确定性有关,2025年三次重复测量提供了更稳定的参考值。应用方面,PP-FPCS实现了“一键移动”采集、实时姿态过滤和自动上传,7名操作人员14天完成21,219个小区的RGB-D数据采集,平均约217个小区/人·天,而2023年人工评估约28个小区/人·天;当前限制包括电池续航约3小时、高温过热及正午强光下dToF性能尚未系统评估。
结论:本研究提出了PP-FPCS,一个集成dToF传感器与深度学习流程的智能手机表型系统,通过自动关键点提取和几何建模量化玉米穗位高和叶倾角两个关键株型性状。在R3期田间观测中,系统估计值与人工测量高度相关(穗位高:r=0.96,MAE=5.07 cm;叶倾角:r=0.79,MAE=3.54°),表明消费级设备可支持田间玉米性状定量估计。然而,穗位高被系统低估(2024年平均偏倚-4.58 cm,2025年为-2.70 cm),最可能的原因是地面参考点位于土壤表面之上;将地面点定义在土壤表面是未来版本的重点。此外,利用平面参考靶,本研究量化了视角和传感距离对智能手机dToF深度精度的影响,并提出了实际采集指南(视角偏差±30°以内,距离≤1.5 m),以便在复杂田间环境中获得更一致的数据。尽管有上述进展,在严重遮挡或极端光照条件下性能会下降。未来工作应结合多视角扫描和更广泛的跨地点验证以提高稳健性和泛化性。总体而言,本研究证明消费级智能手机LiDAR可以连接易获取的田间数据采集与定量作物表型鉴定,为其在作物育种和田间管理中的进一步开发和验证提供了实用基础。