基于YOLO-AP的田间玉米幼苗行检测方法

《Computers and Electronics in Agriculture》：A corn seedling row detection method for fields based on YOLO-AP

　　严欣欣|曾伟|王浩|张成涛|孟志军 中国北京市100097，北京农林科学院智能装备研究中心 摘要：为解决田间除草机器人在进行作物行识别时面临的干扰问题，如光照变化、杂草干扰以及小麦残株遮挡，本文提出了一种改进的基于YOLOv11的玉米幼苗检测模型——YOLO-AP。研究使用手持DJI Osmo Pocket 3相机以及安装在高架除草机上的ZED立体相机采集高分辨率的玉米幼苗田间图像，并构建了涵盖不同种植模式的数据集。YOLO-AP模型通过嵌入结合部分卷积与空间注意力的PMSFA模块来应对特征混淆和多尺度挑战，同时引入AFPN结构以提高模型对光照、遮挡等环境干扰的抵御能力。此外，还提出了一种结合亲和聚类与随机样本一致性算法的作物行提取方法：首先通过投影聚类拟合行线，再去除异常值和异常交叉段，之后对剩余异常值重新聚类并拟合。此外还设计了一种时间平滑算法，通过多帧参数融合提升连续帧间行线的稳定性，从而实现在复杂田间环境中的动态作物行提取。实验结果表明，改进后的YOLO-AP模型在0.5阈值下的mAP值为94.19%，精确率为90.38%，召回率为88.66%，分别比基线模型YOLOv11s高出1.17%、0.69%和2.92%。在静态条件下，不同环境下的平均偏差角度为1.42°，标准差为1.31°；在动态条件下，平均偏差角度为0.46°，标准差为0.71°。平均横向像素偏差为28.3像素，平均垂直像素距离在10.41像素到14.89像素之间，每帧的平均处理时间为23.3毫秒。该方法为除草机器人在复杂田间环境中的精准自主导航提供了有效的视觉感知解决方案。引言：准确高效的作物行识别是玉米除草机器人实现自主导航和田间作业的重要基础。行识别精度直接影响机器人的行跟随控制，方向角偏差会导致运动不稳定，进而严重制约作业质量和效率。实现准确稳定的行识别能够有效降低劳动力成本和强度，提高除草效率，进而提升作物产量和品质。然而，现有的识别方法在杂草密集、存在小麦残株的免耕田中，或光照强烈且阴影复杂的条件下，难以有效区分作物与背景干扰，导致识别精度大幅下降。因此，为田间识别与导航提供准确可行的视觉线索，在复杂多变的农田环境中实现稳定可靠的识别性能，对于提升农业机械的自主作业能力、推动精准农业发展具有重要意义。早期关于作物行识别的研究主要依赖传统的图像处理方法。例如，Hamuda等人（2016）系统总结了HSV颜色空间和形态学操作在作物识别中的应用，但这些方法仍极易受到光照强度变化和复杂背景干扰的影响。Zhai等人（2016）则利用立体视觉结合Harris角点检测实现多条作物行的三维定位，但该方法对遮挡、噪声和光照变化仍较为敏感。这类方法通常依赖于手动设定的阈值、结构化假设或预设参数，因此在杂草密集、有残留物干扰、植株缺失或行线断裂等非理想场景下，容易产生误检和漏检，导致识别精度和稳定性不足。在基于视觉的作物行识别整体工作流程中，现有系统大多采用包括图像数据采集、冠层特征提取以及中心线或导航参数估计在内的三阶段框架。除了单目相机外，立体视觉还可以通过视差信息恢复作物行的三维结构，用于作物行建模和自动引导（Kise和Zhang，2008）。在幼苗阶段存在遮挡且地面起伏明显的场景中，结合深度信息（如RGB-D）可以利用颜色和空间几何特征提升识别稳定性（Gai等人，2020；Miao等人，2025）。不过在实际的田间导航与定位中，GNSS容易受到冠层遮挡和地形的干扰而性能下降。尽管激光雷达具备一定的全天候工作能力，但其成本高昂，且在尘土飞扬、雾天或喷雾环境中容易受到干扰。因此，将基于视觉的相对定位与多传感器融合相结合，仍是提升自主作业能力的重要方向（Bonadies和Gadsden，2019；Kanagasingham等人，2020；Emmi等人，2022）。在冠层特征提取方面，传统方法通常通过颜色空间变换、植被指数、阈值分割和形态学处理将作物与背景分离，随后结合垂直投影、条带分析或局部特征点提取来获取行方向信息。典型的颜色指数方法通过利用作物与土壤或残留物在RGB通道中的差异来突出绿色植被（Meyer和Neto，2008）；在杂草压力较大的情况下，这些方法会结合纹理分割或专家规则来提升行识别可靠性（Guerrero等人，2013）。同时，HSV等颜色模型和形态学操作能够在一定程度上缓解光照变化和噪声的影响（Hamuda等人，2017），但在阴影复杂、土壤湿度变化或存在残留物的场景中，特征分割效果仍会下降（Castillo-Martínez等人，2020）。因此，近年来出现了弱先验和无模板行的识别策略，这类方法通过自适应参数或全局优化来提升对复杂背景和弯曲行线的适应能力（Rabab等人，2021）。近年来，深度学习在基于图像的作物识别领域取得了显著进展，为复杂田间环境中的作物行识别提供了新的解决方案。在基于视觉的作物行识别研究中，通常首先通过图像分割或物体检测提取作物特征，然后再利用传统算法拟合行线。在语义分割领域，Yang等人（2022）通过增强多尺度特征提取提升了U-Net模型在马铃薯作物识别中的分割精度，并将霍夫变换与K均值聚类相结合用于行中心线的检测。Diao等人（2023a）在U-Net中引入了多尺度扩张卷积模块，以提升玉米冠层的分割精度，从而为后续行线拟合提供更准确的二值图。在物体检测领域，Yang等人（2023）应用YOLOv5定位玉米植株，并以检测框的中心点作为特征点。Ruan等人（2023）利用改进的YOLO网络提取作物位置，结合DBSCAN聚类确定行数和植株与行之间的关系，再通过线性最小二乘法拟合中心线。Diao等人（2023b）在YOLOv8s中整合了ASPP和注意力机制等模块，在玉米幼苗期和生长期提取检测框，为行线后处理提供稳定的输入数据。深度学习方法大大减少了对手工设计的特征和阈值参数的依赖，能够在包含作物、杂草和残留物的高度相似背景下学习更具区分度的特征。例如，有研究利用深度网络在复杂背景下实现了玉米幼苗期的行识别，展现了强大的特征表达能力（Pang等人，2020）。然而，不同的田间光照条件、土壤类型以及作物生长状态会带来显著的领域差异，当模型应用于不同田地时可能会导致性能下降。因此，在线领域自适应和跨领域训练逐渐成为研究热点（Doha等人，2021）。除了检测网络之外，研究人员还探索了用于实时导航的语义分割模型和轻量级结构，比如用于引导线提取的改进型实时分割网络（Cao等人，2022）以及用于玉米幼苗识别的MS-ERFNet模型（Liu等人，2023）。同时，为减少将检测或分割与聚类或拟合分开处理所带来的误差积累，端到端的作物行识别方法也受到了广泛关注。例如CRowNet模型同时训练分割网络和线条拟合模块（Bah等人，2020），E2CropDet模型则直接输出行线段（Li等人，2023a）。此外，还有研究探索利用无监督结构学习来提升作物行识别在未知场景下的适应性（Bah等人，2023；De Silva等人，2024；James和Cielniak，2025）。尤其是将几何结构先验与无监督聚类相结合，以提高模型对遮挡的抵抗能力（James和Cielniak，2025），为在复杂冠层结构下实现稳定感知提供了有前景的方向。一旦获得作物特征点或区域，行线拟合就成为确定最终导航参数的关键步骤。研究人员采用了多种算法来提升拟合精度和稳定性。例如，Zhai等人（2016）提出了RANSAC-PCA拟合模型，该模型首先利用RANSAC去除特征点中的噪声，然后通过主成分分析提取点分布的主轴作为作物行中心线，实验表明其平均偏差角度小于1.05度。Chen等人（2021）提出了预测点霍夫变换方法，通过增量投票和更新变换空间提升了计算效率。在特征点呈现良好线性关系的场景中，由于计算负担较小，线性最小二乘法被广泛使用。例如，Mao等人（2019）提取作物行边缘点，通过扫描确定中点，再利用线性最小二乘法拟合中心线。Zheng和Xu在2014年提出的基于条带分析的多行作物检测方法也采用了线性最小二乘法拟合，获得了较高的中心线精度。在行中心线估算方面，霍夫变换因其对噪声的容忍度而被广泛使用；其随机采样和投票策略能够在一定程度上降低计算复杂度并提升实时性能（Chen等人，2021）。为处理由幼苗期植株缺失、杂草干扰或多行同时存在所导致的异常值，结合聚类、最短路径算法以及RANSAC等稳健估计算法，可以提升多行分离和拟合的稳定性（Liang等人，2022；Ruan等人，2023；Zhang等人，2018）。此外，对于没有预设行数或行线为弯曲的情况，全局优化方法（如能量最小化）可以将行结构约束纳入解决方案中，从而减轻不稳定的局部特征带来的误差（Vidovi?等人，2016）。同时，算法在复杂场景中的可迁移性在很大程度上取决于训练数据和评估数据的多样性。目前现有的作物行识别公共数据集数量有限，且未能全面覆盖杂草、残留物、阴影和行线断裂等复杂场景。CRBD、Rosario、Flourish和CRDLD等数据集仍难以完全反映实际作业环境中的复杂分布情况（De Silva等人，2024）。为提高数据收集效率和场景覆盖率，一些研究开始将模拟数据与真实数据结合用于算法开发和验证——例如通过视觉伺服生成行间数据或模拟场景，并与真实场景进行联合训练（Ahmadi等人，2020；De Silva等人，2022）。这也有助于为免耕和干扰严重的场景构建专门的数据库。以往的作物行识别算法在复杂识别场景中存在局限性。尤其是在免耕田中，许多杂草与玉米幼苗在颜色和纹理等视觉特征上极为相似，再加上上一季遗留的小麦残株，共同构成了极其复杂的背景。因此，基于手工设计特征的传统算法很难实现稳定的区分。现有的深度学习方法虽然提升了特征提取能力，但其后续的行线拟合阶段往往依赖于刚性的几何假设或预设的行数，这使得它们在复杂环境中极易出现神经网络产生的误检（如将杂草误判为作物）和漏检现象。此外，针对此类复杂场景的高质量训练数据也极为缺乏。为解决这些问题，本文提出了一套综合解决方案。研究构建了一个涵盖常规种植、免耕种植和滴灌种植的专用数据集，重点关注杂草与残株的共存情况。通过半自动标注和针对性的数据增强技术，提升了模型对干扰的抵御能力。该模型以YOLOv11s为核心，引入了渐近特征金字塔网络和部分多尺度特征聚合模块，以此增强对多尺度、多形状目标（如幼苗、杂草和残株）的特征区分与融合能力，同时抑制背景噪声。最后，通过结合亲和传播聚类与加权RANSAC，设计了一种自适应的后处理流程。通过距离约束和权重优化，可以有效抑制由残株和杂草带来的异常值干扰，从而无需预先指定行数即可实现稳定的行线拟合，进而显著提升在真实复杂农田环境中的检测精度与实用性。

**数据采集**
本研究用于作物行检测的图像数据采集于2025年6月，采集地点包括中国北京国家精准农业示范基地的棕土试验田（东经116°27′11″，北纬40°11′12″）以及山东省高密的壤土试验田（潍柴雷沃）（东经119°47′23″，北纬36°33′41″）。棕土通常呈棕色或深棕色，而壤土则多为黄棕色或棕灰色。这些数据涵盖了玉米从三叶期到五叶期的关键生长阶段。

**模型架构**
田间玉米幼苗检测面临的主要挑战在于目标物与杂草之间的相似性、幼苗生长的差异性以及环境因素的不确定性。在幼苗阶段，玉米幼苗与杂草的光谱特征和形态极为相似，而同一玉米幼苗在不同生长阶段的特征也存在明显差异。本研究采用YOLOv11物体检测架构来实现精准识别。

**硬件与软件配置**
为确保公平性，本研究中的所有模型均在相同的硬件和软件环境下进行训练和评估。硬件配置包括英特尔(R) Core i9-9300H处理器（2.4 GHz）、24 GB DDR4内存以及NVIDIA RTX 4090显卡。深度学习环境基于CUDA 11.8、cuDNN 8.6、Python 3.8和PyTorch 2.0构建。模型训练的超参数设置如下：初始学习率为0.01，权重衰减系数为0.001。

**结论**
本研究通过提出一种端到端框架，将改进后的基于YOLOv11的检测器与自适应行拟合算法相结合，解决了复杂田间环境中玉米幼苗检测及作物行提取的难题。通过构建涵盖多种种植配置和生长阶段的数据集，并引入渐进式特征金字塔网络（AFPN）和部分多尺度特征聚合模块（PMSFA），所提出的模型显著提升了检测性能。

**CRediT作者贡献说明**
尹彦新：写作——审稿与编辑，写作——初稿撰写，可视化，方法论，概念设计。曾伟：验证，项目管理，资金获取。王浩：资源协调，形式分析，数据整理。张成涛：监督，数据整理。孟志军：监督，资金获取，概念设计。

**利益冲突声明**
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

**致谢**
本研究得到了中国国家重点研发计划（项目编号2022YFD200160301）以及BAAFS杰出研究团队基金（项目编号JKTD2025005）的支持。