果园机器人双目视觉路径检测的深度学习方法

《AgriEngineering》：A Deep Learning-Driven Binocular Vision Path Detection Approach for Orchard Robots

　　

基于视觉导航的自主驾驶在推进枣产业自动化中发挥着关键作用。由于跨行式枣树收获机独特的跨行配置及复杂的果园环境，传统视觉导航策略无法满足其需求。为此，研究人员提出了一种面向自主枣树收获机的新型双目视觉路径检测算法。该方法利用双目图像检测到的目标树干生成更贴合收获机作业轨迹的导航路径。采用单发多框检测器（Single Shot MultiBox Detector, SSD）深度学习模型检测树干边界框，并通过基于曲线拟合的路径校准策略抑制深度学习模型误检带来的干扰。实验结果表明，所提算法检测速度达14.38 fps，误检率3.64%，满足枣树收获机自主驾驶作业需求，并可扩展至其他执行类似跨行作业的果园移动机器人。

研究背景方面，果园移动机器人对提升果业自动化与可持续性具有重要意义。石河子大学实验室研制了跨行式枣树收获机，其采用跨行作业配置，沿枣树行跨骑前进并依树干位置导航。常规导航方法分为全球导航卫星系统（Global Navigation Satellite System, GNSS）、激光雷达（Light Detection And Ranging, LiDAR）与计算机视觉三类。GNSS在冠层遮挡下信号不稳；LiDAR几何特征提取受复杂环境限制且成本较高；单目视觉受光照与遮挡影响大，且枣树收获季冠层与地面背景相似，单目无法可靠表征树干空间分布。双目视觉虽具被动感知、低成本优势，但常规双目因相机固定安装难以直接获取跨行作业所需树干位姿，故需针对跨行式枣树收获机设计专用双目视觉路径检测算法。

关键技术方法上，研究人员在新疆阿拉尔枣园于2021年11月采集视频，以2.2 km/h人工驾驶记录。双目相机对称装于收获机左右传动装置下方，距地40 cm、基线50 cm、光轴与前进方向成45°。以3155张人工标注图像为主，结合伪标签自训练利用无标注数据，采用RGB-HSV转换、随机对比度/亮度/裁剪/镜像等增广（排除旋转）。对比Faster R-CNN、YOLO V3与SSD后选SSD为骨干，以mAP@IoU=0.9与速度选型。目标树干取距图像边界最近检测框，由框心到左右图边界距离d_L、d_R算导航路径C，并以二次曲线最小二乘拟合校准误检帧缺失值。

研究结果部分，3.1节深度学习模型选择中，Faster R-CNN精度最高但速度不足，SSD在精度与速度间平衡优于YOLO V3，故采用SSD。3.2节半监督学习中，每轮伪标签数100时测试集mAP达52.86%，总伪标签约1400张时最优。3.3节性能提升显示，图像增广使mAP升约20%，伪标签自训练再升约14%，最终58.93%，虽低于通用检测基准但满足果园导航。3.4节误检分析表明，左或右图漏检目标树干会致路径异常，全栈双目流水线条速度14.38 fps，误检率3.64%。3.5节路径校准中，对d_L、d_R序列用圆锥曲线插值补偿漏检，校正后曲线可稳供导航量，但在急转与崎岖地形下单段二次拟合受限。3.6节消融研究中，以Detectron2实例分割质心为参照，SSD框心与其平均误差2.5–2.7像素，证明轻量检测可替代高精度分割。

讨论与结论部分，研究人员指出切换目标树干时因两相机安装高度与角度不一致致d_L、d_R曲线跳变，算法仅基于采集数据集验证，需田间闭环试验。结论表明：SSD优于Faster R-CNN与YOLO V3；伪标签自训练提升基线mAP；圆锥曲线路径校准增强对漏检与误检鲁棒性。所构建双目视觉流水线在振动扰动枣园中稳定输出实时路径，为无人枣树收获机提供可行视觉感知方案，并可推广至类似跨行作业果园机器人。该文发表于《AgriEngineering》。