基于深度学习的玉米果穗剥皮净率动态实时检测与多目标跟踪

《Computers and Electronics in Agriculture》：Dynamic real-time detection of maize ear dehusking clearance rate based on deep learning and multi-object tracking

　　

针对种子玉米收获过程中剥皮净率依赖人工检测、效率低且无法实时连续评估的问题，研究人员提出了一种基于改进YOLOv11n检测器、多目标跟踪与连续计数的动态实时玉米果穗剥皮净率监测框架。所提出的PPSE-YOLO模型集成了部分频率动态C3k2模块（PFD_C3k2）、金字塔稀疏Transformer（Pyramid Sparse Transformer，PST）以及基于SEAM的检测头（SEAMHead），以增强在背景干扰、多尺度变化和严重遮挡下的特征表达能力。随后，研究人员集成BoT-SORT（Bag of Tricks for Simple Online and Realtime Tracking）以在连续帧间维持目标身份，减少重复计数。通过基于身份的重复感知计数程序，将跟踪到的“Husk-clean”（干净果穗）和“Husk-unclean”（不干净果穗）进行连续累积，从而计算实时剥皮净率。实验结果表明，PPSE-YOLO相较于YOLOv11n在mAP@0.5上提升了1.5个百分点；BoT-SORT实现了92.05%的多目标跟踪准确率（MOTA）和89.87%的身份F1分数（IDF1）；整个集成系统在边缘硬件上达到了2.02%的平均误差和每秒34帧（FPS）的处理速度。该研究为实现种子玉米收获过程中剥皮净率的客观、实时监测提供了有效技术方案。

论文解读：基于深度学习和多目标跟踪的玉米果穗剥皮净率动态实时检测

一、研究背景与意义

种子玉米是我国玉米生产的重要组成部分，对农业生产力和粮食安全起着关键作用。在种子玉米收获过程中，剥皮是采后的关键作业环节，其效率直接影响收获质量、设备性能以及后续种子加工。因此，准确、及时地评估玉米剥皮净率对于监测收获性能和优化作业参数具有重要意义。

目前，剥皮净率的评估主要依赖于收获后的人工抽检。根据中国工业和信息化部发布的JB/T 11907–2014《玉米剥皮机》标准，残留三片及以上苞叶的玉米果穗被视为未完全剥皮，并根据充分剥皮果穗在抽样总体中的比例确定剥皮净率。然而，这种方法高度依赖检验人员的主观判断和经验，劳动强度大、耗时长，且容易因操作经验差异和视觉疲劳而产生变异。更重要的是，人工抽样覆盖范围有限，无法持续反映收获过程中剥皮性能的动态变化。这些局限性促使研究人员开发一种客观、实时的玉米剥皮性能监测方法。

机器视觉因其无损、非接触、快速且能够连续提取视觉信息的特性，为自动化农业质量评估提供了一条有前景的途径。已有研究证明了基于视觉的方法在食品质量分析、无损质量评估、杂草检测、作物检测及产量相关应用等方面的可行性。然而，这些研究主要展示了计算机视觉、深度学习和智能农业监测的广泛适用性，但其技术任务和作业条件与动态玉米收获场景存在显著差异。特别是，玉米果穗的连续流动、相互遮挡、运动模糊以及尺度变化，要求专门针对实时收获环境设计检测框架。

与常规静态图像玉米检测任务相比，动态剥皮检测面临多重额外挑战：复杂背景、灰尘、阴影和光照变化会干扰目标识别；果穗与相机距离不断变化导致显著的尺度变化；密集物料流产生严重的相互遮挡，造成目标外观不完整和漏检；机械振动引入运动模糊；连续移动的果穗可能在连续帧中被重复检测。因此，直接从独立的帧级检测结果估算剥皮净率非常困难。

现有研究已证明了深度学习用于玉米果穗分析、基于身份的多目标跟踪用于农业计数以及联合收割机智能监测的可行性。然而，专门聚焦于通过联合集成目标检测、多目标跟踪、基于身份的重复感知计数和定量净率估计，在收获过程中连续视觉估算玉米剥皮净率的研究相对有限。为此，本研究提出了一个完整的解决方案，建立了目标检测、目标跟踪、唯一果穗计数和净率计算之间的联系。

二、关键技术方法

研究人员为开展本研究主要采用了以下关键技术方法：

1. 1.
   PPSE-YOLO检测模型：在YOLOv11n（You Only Look Once version 11 nano）基线模型基础上进行三项改进。首先，在骨干网络中集成部分频率动态C3k2模块（PFD_C3k2），结合部分卷积（Partial Convolution，PConv）和频率动态卷积（Frequency Dynamic Convolution，FDConv），仅对部分通道进行空间卷积并自适应调整频率响应，以降低计算冗余并增强受背景干扰和运动模糊影响的判别性边缘与纹理特征。其次，引入金字塔稀疏Transformer（Pyramid Sparse Transformer，PST）模块，充分提取跨层全局上下文信息和局部空间细节，提升多尺度目标的检测精度。第三，采用基于SEAM模块重建的检测头（SEAMHead），提高在严重灰尘干扰和密集遮挡场景下的检测准确性。
2. 2.
   BoT-SORT多目标跟踪算法：集成BoT-SORT（Bag of Tricks for Simple Online and Realtime Tracking）以在连续帧间维持目标身份一致性，将同一物理玉米果穗关联起来并分配一致的跟踪ID，从而减少连续果穗流中的重复计数。
3. 3.
   基于身份的重复感知计数与实时净率计算：在预定义的计数区域内，基于跟踪身份将同一玉米果穗的多次观测转换为单次计数事件，连续累积唯一计数的干净果穗和不干净果穗数量，并依据定量模型实时计算剥皮净率。

数据方面，研究人员在青岛农业大学现代农业科技示范园（山东省青岛市胶州市，120.079°E，36.440°N）的实际种子玉米收获作业中采集了现场数据。使用4YZS-4P型玉米收获机，在后端粮箱安装MINIX运动相机，以3K分辨率和60FPS帧率连续拍摄果穗流。共获得12段高质量视频，涵盖顺光、逆光和部分遮阴等不同光照条件。数据集按视频级别划分为训练集（约80%）、验证集（约10%）和测试集（约10%），最终获得3153张图像，包含13053个标注实例（干净果穗7899个，不干净果穗5154个）。

三、研究结果

1. 消融实验：研究人员通过消融实验验证了PPSE-YOLO中各改进模块的有效性。逐步引入PFD_C3k2、PST和SEAMHead后，模型在mAP@0.5指标上较基线YOLOv11n逐步提升，最终提高了1.5个百分点，同时参数量和计算量增加有限，保持了轻量化优势。

2. 对比实验：将PPSE-YOLO与YOLOv3-tiny、YOLOv5n、YOLOv8n、YOLOv9t、YOLOv10n和YOLOv11n等多种主流轻量级检测模型进行比较。结果表明，PPSE-YOLO在mAP@0.5和mAP@0.5:0.95指标上均达到最高值，分别为94.3%和79.2%，同时保持了较低的计算复杂度（4.3 GFLOPs）和模型参数量（3.65M），推理速度为每秒40.2帧（FPS），满足实时性要求。

3. 跟踪性能评估：研究人员比较了BoT-SORT与ByteTrack两种跟踪算法在玉米果穗跟踪任务上的表现。BoT-SORT在多个指标上优于ByteTrack，实现了92.05%的多目标跟踪准确率（MOTA）、89.87%的身份F1分数（IDF1）、84.50%的大部分跟踪正确率（MOSTA）和更少的身份切换次数（ID Sw. = 47），展现出更强的稳定性和连续性。

4. 实际部署实验：研究人员将整个系统部署到边缘硬件上进行实际收获场景测试。系统在边缘设备上达到了每秒34帧（FPS）的处理速度，平均剥皮净率检测误差仅为2.02%，表明该系统能够在实际作业条件下实现高精度、实时的剥皮净率监测。

四、讨论与结论

讨论部分指出，尽管PPSE-YOLO在检测精度上取得了显著提升，但在极端遮挡和严重运动模糊情况下仍可能出现漏检或误分类，未来可考虑引入时序信息或注意力机制进一步改善。此外，当前数据集仅包含单一玉米品种（鲁单510）和特定水分含量（约29.5%）条件下的样本，模型的泛化能力需要在更多品种和环境条件下验证。跟踪方面，BoT-SORT在高密度果穗流场景下偶尔会出现身份切换，未来可探索更鲁棒的外观特征提取方法。

研究结论：本研究提出了一种基于深度学习和多目标跟踪的玉米果穗剥皮净率动态实时监测框架。PPSE-YOLO通过集成PFD_C3k2、PST和SEAMHead，有效解决了复杂收获环境下玉米果穗检测中的背景干扰、多尺度变化和严重遮挡问题。结合BoT-SORT跟踪器和基于身份的重复感知计数程序，该系统能够将连续视觉观测可靠地转换为唯一果穗计数，并实时计算剥皮净率。实验结果表明，该系统在检测精度、跟踪稳定性和实时性方面均表现出色，在实际边缘硬件上实现了2.02%的平均误差和34 FPS的处理速度。该研究为种子玉米收获过程中的剥皮净率客观、实时监测提供了有效的技术方案，具有重要的理论价值和实际应用前景。论文发表于《Computers and Electronics in Agriculture》。