一种用于温室生菜机器人收割过程中遮挡切割点定位的视觉系统

《IEEE Transactions on AgriFood Electronics》：A Vision System for Occluded Cutting Point Localization in Robotic Harvesting of Greenhouse Lettuce

生菜植株分割与切割点定位的深度学习视觉系统研究，采用RGB-D图像分割和标注数据集，对比YOLO11-seg与Mask R-CNN模型性能，验证系统在自主采收中的应用有效性。

　　

摘要：

本研究提出了一种基于深度学习的视觉系统，用于分割生菜植株并定位切割点，以实现温室水培环境中的机器人收割。共收集了784张RGB-D（彩色-深度）图像用于生菜分割；另外还收集了80张图像并进行了标注，以确定切割点的真实位置。图像预处理生成了两个数据集：一个包含原始RGB图像，另一个通过深度阈值处理去除了背景。训练了两种实例分割模型——YOLO11-seg和基于Detectron2框架的Mask R-CNN（区域卷积神经网络），用于分割单个生菜植株和水培营养膜通道。开发了一种算法来从分割结果中识别茎部并确定被遮挡的切割点。分割结果显示，YOLO11-seg的性能优于Mask R-CNN，其精确度达到99.09%，召回率为99.76%，平均精度为97.53%，交并比（IoU）为75%。使用真实图像对切割点定位算法进行了评估，准确率为85%，与真实数据的一致性很高（R² = 0.99，均方根误差（RMSE）为11.95 mm）。这些结果验证了我们提出的视觉系统在实现水培生菜自动收割方面的有效性。