《Frontiers in Plant Science》:Research and testing of a robot vision-based perception method for assessing corn sowing quality
编辑推荐:
为应对人工检查玉米播种质量时劳动强度大、耗时长且效率低的问题,本研究提出了一种基于三维机器视觉的自动苗期植株间距测量方法。研究人员开发了一个搭载ZED 2i立体相机和工业计算机的高地隙移动平台,以实时获取田间玉米幼苗的RGB图像和深度信息。利用YOLOv11-
为应对人工检查玉米播种质量时劳动强度大、耗时长且效率低的问题,本研究提出了一种基于三维机器视觉的自动苗期植株间距测量方法。研究人员开发了一个搭载ZED 2i立体相机和工业计算机的高地隙移动平台,以实时获取田间玉米幼苗的RGB图像和深度信息。利用YOLOv11-Pose模型,检测并定位了植株关键点;结合相机标定与三维重建技术,自动计算了植株间距。随后,建立了一个播种质量评估框架,以实现对合格喂入指数(Quality of Feed Index, QFI)、多重指数(Multiple Index, MUL)、漏播指数(Miss Index, MI)和变异系数(coefficient of variation)的自动分析。实验结果表明,该系统在三种预设植株间距(15 cm, 20 cm, 和 25 cm)下均能有效运行,实现了关键点检测平均精度均值(mean Average Precision, mAP)@0.5为0.990,mAP@0.5:0.95为0.989。在播种质量评估中,系统给出的合格指数分别为77.83%、80.36%和82.46%,并且QFI、MUL、MI和变异系数的变化趋势与人工测量结果一致。所提出的方法能够高效、无损地检测苗期植株间距和播种质量,为精量播种和田间管理提供了可靠的技术支持。
论文解读:基于三维机器视觉的玉米苗期植株间距测量与播种质量评估研究
一、 研究背景、问题与目的
玉米播种质量的准确检测与评估是确保田间出苗均匀、实现玉米高产稳产的关键环节。行距与株距的空间配置改变冠层结构和光能分布,进而影响光合生产力和产量形成。在苗期测量实际植株间距可以为间苗、补种等田间作业提供直接依据,也能为评价播种机作业性能和优化播种参数提供客观、定量的数据支持。因此,开发一种快速、准确、无损的玉米苗期植株间距自动测量方法,对于提高播种作业质量和推进玉米生产精准管理具有重要意义。
然而,当前实践中,株距信息主要依赖田间人工测量,或播种后人工“挖种”来确定落种点信息。这些方法效率低下、劳动强度大,且容易扰动土壤覆盖结构、影响后续出苗,难以适应大面积、精准化的农业管理需求。从现有技术来看,播种质量检测技术已从单传感器(如光电/电容传感)向机器视觉与人工智能驱动的多传感器融合与在线监测发展。但大多数现有系统基于播种瞬间的种子通过状态或落种点来评估播种质量,隐含假设“落种点等于出苗位置”,未能充分考虑田间种子位移、土壤覆盖扰动、出苗率差异等因素。尽管近年研究聚焦于高速条件下的种子间距、排种器性能与播种深度监测,但这些方法在种子层面监测性能良好,却仍难以直接弥合“落种点”与“出苗位置”之间的差异,无法真实反映苗期群体均匀性,且未能考虑复杂地形变化和延迟出苗引起的种植后动态误差。
近年来,计算机视觉和深度学习的发展使得在苗期直接识别玉米幼苗、诊断缺苗和进行空间分析成为可能。然而,现有研究多依赖二维测量,在现实田间条件下存在显著局限性。实际农业作业中,持续的机械振动和复杂的地形变化会动态改变相机视角,在二维图像中引入严重的缩放误差和几何畸变。此外,发育中的玉米幼苗形态姿态多变、叶片伸展不规则,导致传统二维边界框的几何中心波动大,难以用于精确的株间距离计算。二维视觉缺乏深度感知,无法校正这些空间伪影。因此,必须结合三维视觉来获取绝对物理坐标,减轻振动和姿态引起的定位误差,实现准确的苗期空间测量。尽管在作物行检测和空间约束建模方面也取得了进展,为苗期三维定位和植株间距测量提供了重要方法学基础,但在复杂田间条件下的自动三维植株间距检测和播种质量定量评估体系仍需进一步完善。
为此,本研究针对种子投放监测固有的空间差异和二维视觉的动态测量误差,提出了一种基于三维机器视觉的、自动、非接触的玉米苗期植株间距测量方法。通过融合RGB图像与实时深度数据,将二维目标投影到统一的三维物理坐标系,以减轻系统测量误差,并建立一个播种质量评估框架,直接从三维空间数据自动分析QFI、MUL、MI和变异系数,最终将评估范式从监测机械播种过程推进到量化已建成的幼苗群体,为精量播种和田间管理提供技术支持。
二、 关键技术方法
研究人员设计并实现了一套完整的基于三维机器视觉的检测系统。该系统以安装在高地隙机器人上的ZED 2i立体相机为核心,由搭载专用GPU的工业计算机实时控制与处理。研究在北京国家精准农业示范基地的试验田进行,于2025年10月收集了玉米五叶期的2500张俯视图像,涵盖阴影、侧光和正面光等多种光照条件。数据采集使用搭载ZED相机的高地隙除草机器人平台,图像分辨率为1100×620像素,帧率为15 FPS。研究人员使用Labelme对玉米幼苗进行实例级标注,包括边界框和代表植株顶部长点(或替代稳定标志点)的单个关键点。数据集按8:1:1的比例划分为训练集、验证集和测试集。
研究的核心技术方法是构建和训练YOLOv11-Pose关键点检测模型,用于田间条件下玉米植株的自动识别与精确定位。该模型保留了YOLO系列单阶段、高效率的检测框架,并扩展了关键点回归能力,包含主干网络、特征融合网络和预测头三个主要部分。预测头采用解耦设计,包含并行检测分支和姿态分支,支持端到端推理,实现复杂苗床图像中多尺度植株检测与关键点定位。为实现连续追踪,研究将YOLOv11-Pose检测器与DeepSORT跟踪器紧密耦合。DeepSORT在经典SORT框架基础上引入了基于深度卷积神经网络的外观特征匹配模块,通过联合利用运动轨迹预测和外观特征相似性进行帧间数据关联,为每个成熟玉米幼苗分配并维持唯一的跟踪ID,提高了在光照变化和部分遮挡等挑战条件下的身份一致性保持能力。
为计算植株间距,系统首先获取玉米幼苗图像中关键点的二维像素坐标,并通过时间戳对齐和帧率自适应匹配算法,确保每个RGB帧与其对应的深度帧在时间和空间上严格对齐。在预测边界框的几何中心周围定义局部邻域窗口提取深度值,过滤无效像素后应用中值滤波得到稳健的深度估计。利用预先标定获得的相机内参(包括焦距fx、fy和主点坐标cx、cy),将像素坐标和深度值反投影到相机坐标系,重建关键点的三维物理坐标(Xi, Yi, Zi)。系统将图像划分为多个水平带状区域以考虑潜在的行间植株分离,玉米幼苗的株间间距定义为两个相邻玉米幼苗对应关键点之间的三维欧几里得距离。通过计算所有相邻关键点对的该距离,系统实现了田间环境中玉米幼苗间距的自动测量。
三、 研究结果
1. 模型训练
所有模型在相同硬件和软件配置下训练。训练采用了在COCO数据集上预训练的YOLO初始化参数,并使用随机梯度下降(Stochastic Gradient Descent, SGD)进行优化。应用了包括Mosaic、随机缩放、平移和HSV颜色空间调整在内的在线数据增强策略。模型收敛后,其姿态估计分支在验证集上的性能为:精确度(Precision)97.52%,召回率(Recall)94.45%,F1分数95.95%。在整体关键点检测性能的主要指标上,mAP@0.5达到0.990,mAP@0.5:0.95也达到了0.989的高值。结果表明,该模型在宽松和严格的评价标准下均表现出优异的稳定性和准确性。
2. 系统误差校准
为评估所提出的基于三维视觉的植株间距测量方法的准确性,在田间条件下进行了系统误差校准实验。使用人工玉米幼苗作为实验目标,手动按0.15 m、0.20 m和0.25 m三种标准间距排列,每种间距放置101株植物。使用搭载ZED 2i相机的高地隙除草机器人获取图像并进行检测。在15 cm、20 cm和25 cm三种预设间距下,测得的平均间距分别为14.92 cm、20.20 cm和25.24 cm。与标称值相比,整体偏差约为2 cm,表现为一致的小幅负系统误差。对应的标准偏差分别为0.775 cm、1.609 cm和0.948 cm。所有情况下的测量误差均在可接受范围内,表明系统为实际田间部署提供了足够的准确性和稳定性。
3. 田间试验
田间试验于2025年10月在北京国家精准农业研究与示范基地进行。试验设计了行内目标间距为15 cm、20 cm和25 cm的三种玉米种植处理。以人工测量的植株间距数据作为地面真值,与系统的自动检测结果进行比较。
3.1 人工测量结果
对原始人工测量数据进行统计汇总后,生成了不同预设植株间距的频率分布直方图。分布模式表明,在15 cm间距条件下,虽然部分测量比值超过了1.5,但分布主体仍集中在1.0附近。在20 cm和25 cm间距条件下,绝大多数测量比值落在0.5-1.5区间内。这些分布趋势表明,所提出的检测系统在不同的预设间距下保持了稳定的输出性能,整体检测结果具有很强的实际一致性和可用性。
3.2 基于视觉的检测结果
为评估基于三维视觉的植株间距检测系统的测量性能,对系统的自动输出结果与人工测量获得的地面真值数据进行了比较分析。该实验基于四行播种机作业期间收集的多组田间数据。共选择了251株玉米,并使用所提出的三维视觉方法系统评估了播种质量。评估指标包括合格喂入指数(QFI)、多重指数(MUL)、漏播指数(MI)和变异系数(CV)。
在播种质量评估中,系统给出的合格指数(QFI)在三种预设间距下分别为77.83%、80.36%和82.46%。系统自动检测结果与人工测量结果在QFI、MUL、MI和CV的变化趋势上表现一致。这表明所提出的基于三维机器视觉的自动检测系统能够有效评估玉米播种质量,其评估结果与人工基准方法具有良好的一致性。
四、 讨论与结论
讨论:
本研究通过集成三维视觉、深度学习和自动分析技术,开发了一个全流程、非接触、自动化的检测框架,涵盖了田间数据采集、幼苗识别、三维距离测量和播种质量智能评估。所提出的方法成功地将评估范式从监测机械播种过程推进到量化已建成的幼苗群体。实验验证表明,该系统在多种预设间距和复杂光照条件下均表现良好,关键点检测精度高,植株间距测量误差在可接受范围内,播种质量评估指标与人工测量结果趋势一致。这为解决传统二维视觉方法在动态田间环境中的缩放误差和几何畸变问题提供了有效方案。通过使用YOLOv11-Pose模型和DeepSORT跟踪器,系统实现了在复杂田间背景下玉米幼苗的稳定识别与连续追踪。融合深度信息的三维重建方法有效消除了因相机高度波动和目标高度差异引起的测量误差。然而,研究也指出,未来工作可能需要进一步优化算法以应对更高密度的植株、更严重的遮挡以及更复杂多变的杂草背景。此外,将该系统与实时变量播种技术结合,实现基于苗情检测的即时精准管理,是未来的重要研究方向。
研究结论翻译:
实验结果表明,该系统在三种预设植株间距(15 cm、20 cm 和 25 cm)下均能有效运行,实现了关键点检测mAP@0.5为0.990,mAP@0.5:0.95为0.989。在播种质量评估中,合格指数(QFI)分别为77.83%、80.36%和82.46%,并且QFI、MUL、MI和变异系数(CV)显示出与手动测量一致的趋势。所提出的方法能够对苗期植株间距和播种质量进行高效、无损的检测,为精量播种和田间管理提供了可靠的技术支持。