基于单目两阶段ROI引导检测框架的机器人马铃薯种子分选系统的设计与评估

《Smart Agricultural Technology》：Design and evaluation of robotic seed potato sorting system based on monocular two-stage ROI-guided detection framework

计算机视觉引导的土豆芽检测分拣系统通过三RGB摄像头协同、双轴机械臂与实时控制模块，创新性地采用ROI引导两阶段检测框架和单目斜视几何投影定位算法，实现毫米级定位精度（2.73±1.77mm）和97.05%的分拣成功率。系统融合动态时空同步控制与多视角视觉优化，解决了传统深度相机成本高、环境敏感性强等难题，为农业自动化提供了高性价比解决方案。

　　在农业生产中，种子马铃薯的分类是一项关键任务，其核心在于准确识别马铃薯上的芽点。传统的人工分类方式不仅效率低下，而且容易产生误差，难以满足现代农业对高精度、高效率的自动化需求。为此，研究人员开发了一种基于视觉引导的种子马铃薯分类系统，结合了三个RGB摄像头、双轴机械臂和控制模块，旨在解决当前分类技术在准确识别芽点、全面检测马铃薯表面以及实现高精度定位方面的不足。本文对这一系统的构建和应用进行了深入分析，旨在探讨其在农业自动化领域的实际价值。

### 一、背景与挑战

马铃薯是全球第四大重要粮食作物，种植面积超过1690万公顷，广泛分布于159个国家，对保障粮食安全和缓解粮食短缺发挥着重要作用。种子马铃薯的质量直接影响马铃薯的产量，而芽点缺失的种子马铃薯可能导致严重的减产。然而，目前的分类方法仍然依赖于人工操作，这种方式存在诸多问题。首先，人工分类效率低下，且容易因操作者的主观判断导致识别误差。其次，人工分类过程繁复，需要大量人力投入，且长时间作业容易造成疲劳，进一步加剧了误判率。此外，马铃薯种植具有季节性，需要在短时间内处理数万吨的马铃薯，这使得自动化分类成为必然选择。因此，研究一种高效的种子马铃薯分类系统，不仅有助于提升生产效率，还能降低人力成本，确保分类质量，从而支持大规模农业生产的实现。

然而，现有的自动化分类系统在处理种子马铃薯时面临独特的挑战。与传统的商品分级不同，种子马铃薯的分类任务主要集中在识别和分类芽点的存在与否。芽点的尺寸小、形态复杂，且马铃薯表面常有土壤残留、瑕疵和天然纹理，这些因素容易造成芽点识别的干扰。因此，如何在复杂背景下实现高精度的芽点检测成为当前研究的重点。此外，马铃薯在传送带上移动时，如何实现精准的定位，以及如何将视觉信息转化为机械臂的抓取指令，也是系统设计的关键问题。

### 二、系统设计与核心技术

为了解决上述问题，研究人员提出了一种基于视觉引导的种子马铃薯分类系统。该系统由三个功能模块组成：视觉模块、控制模块和运动模块。视觉模块采用三台RGB摄像头，分别用于上表面、左下表面和右下表面的检测，确保对马铃薯的全面观察。控制模块采用ROS（Robot Operating System）通信框架，实现视觉与运动模块之间的分布式计算、数据交换和坐标转换。运动模块则包括双轴机械臂和真空吸盘，用于精确抓取和释放马铃薯。整个系统通过高效的算法和硬件配置，实现了对马铃薯及其芽点的实时检测和定位。

为了提升芽点检测的精度，研究人员采用了YOLOv11结合ByteTrack的方法。YOLOv11作为一种高效的单阶段目标检测模型，能够快速识别马铃薯和芽点。而ByteTrack则用于实时跟踪，通过将检测结果分为高置信度和低置信度两组，并结合卡尔曼滤波器进行轨迹预测，提高了系统的鲁棒性。此外，为了应对芽点尺寸小、背景干扰大的问题，研究团队设计了一种基于ROI（Region of Interest）的两阶段检测框架。该框架首先通过全图检测定位马铃薯，然后将检测结果进行区域裁剪，集中处理芽点区域，从而提高模型对小目标的识别能力。同时，结合前景优化的数据增强策略，通过调整数据的相对比例和背景干扰，提升了模型对芽点特征的提取能力。

在定位方面，系统采用了一种基于单目倾斜视角的几何投影方法。与传统的垂直视角不同，倾斜视角能够更全面地捕捉马铃薯的表面特征，减少因光照反射造成的干扰。研究人员通过校正镜头畸变、建立虚拟参考平面，并结合透视变换，实现了从图像平面到世界坐标的映射。该方法不仅提升了定位精度，还降低了系统的计算复杂度和硬件成本。此外，系统还设计了动态的抓取规划模块，将机械臂的运动与传送带的动态进行同步，确保在实时条件下实现精确抓取。

### 三、实验与结果分析

为了验证该系统的可靠性，研究人员在真实场景下进行了田间实验。实验结果显示，系统在芽点检测方面的精度达到95.9%，在定位实验中，单目倾斜视角方法实现了平均定位误差为2.73 ± 1.77毫米的高精度。在374个种子马铃薯的田间测试中，系统成功分类了97.05%的样本，验证了其在实际生产环境中的有效性。

在检测模型的测试中，研究人员设计了多个数据集配置，包括原始数据集、数据增强后的数据集、裁剪后的ROI数据集以及混合数据集。通过对比不同数据集对模型性能的影响，发现使用ROI引导的两阶段检测框架和前景优化的数据增强策略，能够显著提升模型对芽点的识别能力。特别是在芽点检测任务中，ROI裁剪策略能够有效减少背景干扰，提升检测精度。而数据增强则通过引入不同的图像变换，提高了模型对复杂场景的适应能力。

此外，研究人员还进行了单目定位方法与深度相机的对比实验。实验结果显示，单目定位方法在平均定位误差（MLE）和平均相对误差（MRE）方面均优于两种深度相机。例如，单目方法在MLE上达到了2.73 ± 1.77毫米，而Intel RealSense D435i和Orbbec Femto Bolt这两种深度相机的MLE分别为8.08毫米和3.93毫米，误差范围更大。同时，单目方法在低光和反射干扰条件下仍表现出良好的稳定性，而深度相机则受到环境变化的显著影响。这表明，单目定位方法不仅成本更低，而且在复杂环境下的鲁棒性更强。

在实际部署中，系统还进行了田间测试，验证了其在真实场景下的性能。测试结果表明，系统能够准确识别121个芽点缺失的样本，并成功抓取其中的110个，达到了97.05%的分类成功率。这一结果表明，该系统具备在实际农业环境中应用的潜力。

### 四、讨论与未来展望

本研究提出了一种基于单目视觉引导的种子马铃薯分类系统，其核心在于结合了两阶段ROI引导的检测框架和精确的单目定位模型。这种设计不仅提升了芽点检测的精度，还通过降低硬件复杂度和成本，使得系统更易于大规模部署。此外，系统的动态抓取规划模块能够实现机械臂与传送带的同步操作，确保在实时条件下进行高效抓取。

然而，尽管该系统在多个方面表现出色，仍存在一些局限性。例如，当前的机械臂设计主要适用于常规马铃薯形状，对于高度不规则的马铃薯可能需要更灵活的抓取装置。此外，虽然单目定位方法在复杂环境中表现出色，但在处理更复杂的三维场景时，仍需进一步优化。因此，未来的研究可以聚焦于开发更具适应性的机械臂和提升系统的三维定位能力。

总体而言，该系统为农业自动化提供了可行的技术路径。通过结合先进的视觉检测算法和高效的机械控制模块，系统不仅提升了分类精度，还降低了运行成本，具备在实际农业场景中广泛应用的潜力。未来，随着技术的不断进步，该系统有望在农业智能化中发挥更大的作用，推动农业生产的高效化和自动化。