《Agronomy》:Picking Point Localization and Path Planning for Hotan Rose Based on a Lightweight Segmentation Model
编辑推荐:
和田玫瑰是新疆种植的高价值特色经济作物,其开花物候期具有显著不均匀性,历来需要劳动密集型的人工采收。然而,迄今为止,尚未有报道提出同时解决该特定作物轻量化视觉感知、精准采摘点定位与三维路径规划的集成框架。在本研究中,研究人员开发了L-SOP,一种针对和田玫瑰采
和田玫瑰是新疆种植的高价值特色经济作物,其开花物候期具有显著不均匀性,历来需要劳动密集型的人工采收。然而,迄今为止,尚未有报道提出同时解决该特定作物轻量化视觉感知、精准采摘点定位与三维路径规划的集成框架。在本研究中,研究人员开发了L-SOP,一种针对和田玫瑰采收独特需求定制的端到端连续采摘方法。在感知阶段,研究人员引入YOLOv11n-LPD-Seg轻量化分割模型,该模型采用结合全局剪枝与通道蒸馏(CWD)的联合压缩策略。该设计使花朵和花蕾的mAP@0.5分别提升0.1和0.7个百分点,同时将模型体积从6.1 MB降至2.4 MB(减少60.7%),计算量从10.2 GFLOPs降至6.8 GFLOPs(减少33.3%)。在采摘点定位方面,研究人员开发了MGRO-Loc算法,该算法整合多几何约束实现精准空间定位,在室内条件下平均绝对误差为2.33 mm,室外条件下为2.84 mm。在路径规划方面,研究人员提出OG-LKH算法,该算法以斜门形距离度量替代传统正交折线距离,并引入多起点策略与门感知启发式搜索。与标准LKH算法相比,OG-LKH将平均路径长度缩短23.5%,同时计算时间保持在0.0117 s。即使在涉及36个途径点的高密度场景中,其在边缘计算设备上的计算时间也仅为0.0387 s。上述三个模块协同工作,构成选择性连续玫瑰采收的完整解决方案。所提出的框架可部署于边缘设备,为和田玫瑰花与花蕾的高效自主采收提供了一条可行的技术路径。
研究背景与意义
和田玫瑰是新疆和田地区种植的高价值特色经济作物,兼具防风固沙功能,花朵用于精油提取,花蕾用于花茶制作。由于玫瑰花与花蕾需要选择性采收,机械化无差别收割并不适用。现有研究存在以下问题:侧视角采摘点识别方法在花梗被花冠、枝叶严重遮挡时常导致定位失败;俯视角方法未针对玫瑰独特形态设计专用定位策略,且模型参数大、推理复杂度高;已有路径规划研究多局限于二维验证或将三维采摘点坐标设为预设输入,缺乏将轻量化识别、三维采摘点定位与路径规划紧密集成的端到端框架。为此,研究人员提出L-SOP集成方法,包含轻量化分割模型YOLOv11n-LPD-Seg、采摘点定位算法MGRO-Loc和斜门形路径规划算法OG-LKH三个核心模块,相关论文发表在《Agronomy》。
关键技术与方法
数据集来源:在新疆和田地区玫瑰种植基地使用Femto Mega深度相机同步采集RGB与深度图像,共采集1342幅俯视图像,涵盖晴朗、多云和遮挡条件,利用ISAT与Segment Anything(SAM)半自动标注花朵与花蕾两个类别,按8:1:1划分训练、验证和测试集。关键技术方法:(1)采用LAMP全局结构化剪枝与通道蒸馏(CWD)特征蒸馏联合策略压缩YOLOv11n-seg基线模型;(2)基于点云主成分分析与双源半径融合进行球拟合,通过对称性评分优化生长方向向量,实现MGRO-Loc采摘点定位;(3)以斜门形距离为度量,融合多起点贪婪策略、门感知启发式2-OPT与高程异常插入优化构建OG-LKH路径规划算法。
研究结果
3.1 实验环境
训练、剪枝与蒸馏在配备Intel i9-13900K与RTX 4080 GPU的工作站完成;定位实验在配备GTX 1650的笔记本进行;边缘部署采用NVIDIA Jetson Orin Nano 8GB开发套件。
3.2 基线模型选择
对比YOLOv5n-seg、YOLOv8n-seg、YOLOv11n-seg与YOLOv12n-seg,YOLOv11n-seg对最难识别的花蕾类别mAP@0.5达83.0%,显著超过其他模型,故选为基线。
3.3 剪枝与蒸馏参数配置
通过对比实验确定LAMP全局剪枝(加速比1.5)为最优压缩方案,模型由6.1 MB压缩至2.4 MB,花蕾mAP@0.5仅下降0.2个百分点;蒸馏实验确定七层CWD特征蒸馏、损失权重0.8为最优策略,花蕾mAP@0.5提升至83.7%。
3.4 消融实验
剪枝-蒸馏流程使模型体积减少60.7%、计算量降低33.3%,花朵与花蕾mAP@0.5分别提高至94.9%与83.7%,实现压缩的同时精度小幅提升。
3.5 YOLOv11n-LPD-Seg性能验证实验
在Jetson Orin Nano上推理速度由11.7 FPS提升至14.1 FPS(提高20.5%),延迟由85.1 ms降至71.0 ms;在不同天气与遮挡场景中分割性能整体优于基线;Grad-CAM++热图显示轻量化模型特征聚焦于目标区域的能力更强。
3.6 采摘点定位实验
室内外各20个样本按"先测量后比较"规程验证,室内平均绝对误差2.33 mm、均方根误差3.39 mm,室外分别为2.84 mm与3.27 mm,均达毫米级精度;室外误差略高源于光照变化与背景干扰导致的分割精度波动。
3.7 OG-LKH路径规划算法
以正交门形距离为统一度量对比标准LKH、蚁群算法(ACO)、遗传算法(GA)与模拟退火(SA),标准LKH精度与速度综合最优,故选为基座;在此基础上引入斜门形距离度量及三项算法改进后,五组实验中路径长度较标准LKH平均缩短23.5%,计算时间降至0.0117 s;消融实验表明三项改进模块具有强耦合互补关系,缺一不可;在Jetson Orin上平均计算时间0.0330 s,36个采摘点最复杂场景下仅0.0387 s。
讨论与结论
讨论部分指出,与Rose_YOLO相比,L-SOP使用深度相机获取深度信息、模型体积更小(2.4 MB对3.19 MB)、压缩率更高(60.7%对46%),且路径规划拓展至三维斜门形轨迹;与MWG-YOLO相比,虽然FPS较低(源于实例分割任务、原生PyTorch推理及Orin Nano平台算力限制),但模型体积与计算量大幅降低。研究局限性包括:仅针对新疆和田玫瑰品种开发,泛化性未经其他品种验证;尚未在实际采收机械臂上完成整体实验验证。未来计划采集多品种多区域数据增强框架鲁棒性,并将完整框架部署到实际采收机械臂上开展田间实验验证。
结论部分可译为:本文针对轻量化玫瑰识别、采摘点定位与路径规划之间深度融合不足的问题,提出L-SOP玫瑰花与花蕾连续采收方法。分割方面,通过全局剪枝与特征蒸馏联合策略构建轻量化YOLOv11n-LPD-Seg模型,模型体积由6.1 MB降至2.4 MB(减少60.7%),计算量由10.2 GFLOPs降至6.8 GFLOPs(减少33.3%),花朵与花蕾的mAP@0.5不仅保持且略有提升。采摘点定位方面,MGRO-Loc算法在室内外环境中平均绝对误差分别为2.33 mm与2.84 mm。路径规划方面,OG-LKH算法在五组实验中平均路径长度较标准LKH缩短23.5%,计算时间降至0.0117 s;部署于Jetson Orin时平均计算时间0.0330 s,即使处理最大36个采摘点也仅需0.0387 s。总体而言,该研究为和田玫瑰花与花蕾的自主采收提供了坚实的技术基础与实践指导。