《Agriculture》：A Novel Fast Detection and Localization Method for the ‘Sucui No.1 Pear’ Based on YOLOv11-Pear
编辑推荐：
为了解决‘苏翠1号梨’自动化采摘中的视觉感知挑战，研究人员提出了一种基于改进YOLOv11架构和RGB-D（红绿蓝-深度）相机的快速检测与三维（3D）定位方法。首先，构建了一个包含5842个RGB-D图像对和31559个标注实例的多场景‘苏翠1号梨’数据集。其
为了解决‘苏翠1号梨’自动化采摘中的视觉感知挑战，研究人员提出了一种基于改进YOLOv11架构和RGB-D（红绿蓝-深度）相机的快速检测与三维（3D）定位方法。首先，构建了一个包含5842个RGB-D图像对和31559个标注实例的多场景‘苏翠1号梨’数据集。其次，开发了一种针对梨果优化的轻量级YOLOv11-pear检测模型；通过重构特征金字塔网络（FPN）并引入全局注意力机制（GAM），使用K-means++聚类优化先验锚框，以及设计复合损失函数（Varifocal Loss + CIoU Loss + DFL），在保持轻量化的同时提高了检测精度。该模型采用“先检测后融合”策略，基于检测框底部区域的中值深度实现了稳健的3D坐标计算。实验结果表明，YOLOv11-pear在独立测试集上达到了93.8%的平均精度均值（mAP@0.5）和65.5%的mAP@0.5:0.95，精确率为94.2%，召回率为91.5%。该模型仅有5.8百万（M）个参数，在Jetson Orin NX边缘平台上实现了38.7帧每秒（FPS）的实时推理，3D定位的平均绝对误差为9.9毫米。在严重遮挡和复杂光照场景下，mAP@0.5分别达到80.9%和87.5%。将视觉系统集成到采摘机器人平台后，在真实果园中的端到端闭环测试实现了88%的采摘成功率和5%的果实损伤率。视觉感知阶段的平均时间为1.3秒，占采摘周期的9.4%。这项研究为‘苏翠1号梨’的自动化采摘提供了一种高精度、轻量级且可部署的视觉解决方案，对推动智能水果采摘技术的发展具有重要参考价值。
论文解读
**研究背景与问题**
在‘苏翠1号梨’的自动化采摘中，视觉感知是核心挑战。该品种具有果实成熟期集中、果皮机械强度低、果实附着弱等生物学特性，对采摘作业的及时性和精度提出严格要求。现有劳动力依赖型采摘模式面临农业劳动力结构性短缺，且主观性和不一致性无法满足现代农业对标准化和质量一致性的需求。早期研究主要依赖基于手工特征（如颜色、纹理）的单目视觉方法，在非结构化果园的光照变化、阴影干扰和复杂背景下检测精度急剧下降，且缺乏深度信息，无法提供精确的三维空间定位。尽管RGB-D传感技术（如Intel RealSense D455）提供了新的解决途径，但现有研究在利用深度信息提升二维检测置信度或分类精度方面存在不足，对果实三维坐标的精确计算及轻量级模型在边缘设备上的实时部署研究尚不充分。在检测算法层面，通用目标检测模型（如YOLOv5s、YOLOv7-tiny、YOLOv8m）直接应用于‘苏翠1号梨’存在以下缺陷：先验锚框与近圆形果实形状不匹配；特征金字塔网络（FPN）对果园场景中小目标（如远距离或部分遮挡果实）的检测灵敏度不足；损失函数缺乏针对果实检测中极端正负样本不平衡问题的专门优化。因此，开发一种高精度、轻量级、可部署的视觉方案成为突破产业瓶颈的关键。
**研究内容与结论**
为应对上述挑战，研究人员提出了一种基于改进YOLOv11架构和RGB-D相机的快速检测与三维定位方法，发表于《Agriculture》。研究构建了包含5842个RGB-D图像对和31559个标注实例的多场景‘苏翠1号梨’数据集，并开发了YOLOv11-pear检测模型。该模型采用“先检测后融合”策略，通过重构特征金字塔网络（FPN）并引入全局注意力机制（GAM）、使用K-means++聚类优化先验锚框、设计复合损失函数（Varifocal Loss + CIoU Loss + DFL），在保持轻量化的同时提升了检测精度。实验表明，YOLOv11-pear在独立测试集上达到93.8%的平均精度均值（mAP@0.5）和65.5%的mAP@0.5:0.95，精确率为94.2%，召回率为91.5%。模型仅有5.8百万（M）个参数，在Jetson Orin NX边缘平台上实现38.7帧每秒（FPS）的实时推理，三维定位平均绝对误差为9.9毫米。在严重遮挡和复杂光照场景下，mAP@0.5分别达到80.9%和87.5%。将视觉系统集成到采摘机器人平台后，在真实果园中的端到端闭环测试实现了88%的采摘成功率和5%的果实损伤率，视觉感知阶段平均时间为1.3秒，占采摘周期的9.4%。该研究为‘苏翠1号梨’自动化采摘提供了高精度、轻量级且可部署的视觉解决方案，对推动智能水果采摘技术发展具有重要参考价值。
**主要关键技术方法**
研究人员采用以下关键技术方法：① 数据采集与数据集构建：使用Intel RealSense D455 RGB-D相机在江苏三个商业梨园（2025年7-8月，果实成熟期）采集5842个RGB-D图像对（1280×720分辨率），覆盖不同天气、光照、遮挡条件，并通过半自动标注获得31559个实例，按7:2:1划分为训练集、验证集和测试集。② 检测模型优化：基于YOLOv11架构，通过重构FPN/PAN（特征金字塔网络/路径聚合网络）并引入全局注意力机制（GAM）增强多尺度特征融合与目标响应；使用K-means++聚类算法统计果实高宽比（0.85-1.15）重新生成9组先验锚框；设计复合损失函数（Varifocal Loss处理正负样本不平衡、CIoU Loss优化回归精度、DFL提升定位质量）。③ 三维定位：采用“先检测后融合”策略，在RGB图像检测后，提取检测框下半区域子感兴趣区域（ROI），通过中值绝对偏差（MAD）方法过滤深度离群值，取中值深度，基于针孔相机模型反投影计算三维坐标。④ 部署平台：在NVIDIA Jetson Orin NX边缘计算单元上使用TensorRT加速推理，实现38.7 FPS实时处理。
**研究结果**
**3.1 整体性能评估**：通过对比实验（Faster R-CNN、YOLOv5s、YOLOv7-tiny、YOLOv8m），YOLOv11-pear在独立测试集上取得最高mAP@0.5（93.8%）和mAP@0.5:0.95（65.5%），参数仅5.8 M，在Jetson Orin NX上推理速度38.7 FPS，三维定位平均绝对误差（MAE）为9.9 mm，优于对比模型，验证了检测精度、轻量化和定位精度的平衡。
**3.2 消融实验**：以YOLOv11为基线，逐步引入三项改进。单独引入FPN/PAN重构+GAM使mAP@0.5提升1.2个百分点，mAP@0.5:0.95提升2.6个百分点；单独优化先验锚框使mAP@0.5提升0.9个百分点；单独引入复合损失函数使mAP@0.5:0.95提升1.3个百分点。三项改进联合（YOLOv11-pear）使mAP@0.5提升2.6个百分点，参数降至5.8 M，验证了各模块的有效性和协同效应。
**3.3 不同场景鲁棒性分析**：将测试集按难度分为简单、中等遮挡、严重遮挡/重叠、复杂光照四类子集。YOLOv11-pear在简单场景中mAP@0.5达98.6%，严重遮挡场景中80.9%，复杂光照场景中87.5%，性能下降幅度最小（17.7个百分点），显著优于YOLOv5s和YOLOv7-tiny，表明GAM在恶劣条件下使模型依赖形状和纹理特征维持检测性能。
**3.4 可视化结果与分析**：可视化显示模型在简单场景中准确检测并定位果实于底部中心；中等遮挡下正确识别被单叶遮挡果实；严重遮挡/重叠中区分相邻果实；背光场景中利用形状和上下文特征实现稳定检测。典型失败案例包括超过70%遮挡导致的漏检、强镜面反射导致深度无效值以及极少数嫩叶误检。
**3.5 系统集成与现场性能验证**：将视觉系统集成到轮式采摘机器人平台，在江苏叶家梨园对20棵树共100个果实进行端到端闭环测试。采摘成功率为88%，失败原因包括强光干扰导致定位偏差（5次）、机械臂被树枝阻挡（4次）、夹爪滑动（3次）。成功采摘中平均采摘周期13.9秒，视觉感知阶段1.3秒，果损率0%。验证了视觉系统在真实非结构化环境中的可行性和可靠性。
**讨论与结论总结**
讨论部分指出：YOLOv11-pear在精度和召回率上取得良好平衡（94.2%和91.5%），归因于GAM有效抑制背景噪声；mAP@0.5:0.95达到65.5%，CIoU损失函数在高IoU阈值下保持高定位精度；三维定位平均绝对误差9.9 mm，中值滤波有效抑制传感器噪声和局部遮挡。系统集成后88%的采摘成功率优于多数苹果采摘机器人系统（76.97-83.65%），视觉因素仅占失败原因的42%，机械臂运动规划时间占采摘周期的90.6%，成为效率瓶颈。局限性包括：极端光照下深度测量失败（镜面反射干扰）、严重遮挡（>70%）时召回率降至约65%、机械臂在密集树枝环境中避障能力不足。未来方向包括融合偏振成像、Transformer架构、深度强化学习运动规划等。
研究结论翻译：本研究针对‘苏翠1号梨’自动化采摘中的视觉感知挑战，提出了一种基于RGB-D相机的快速检测与三维定位方法。构建了包含5842个图像对和31559个标注实例的多场景RGB-D数据集，并开发了针对梨果优化的轻量级YOLOv11-pear检测模型，以及“先检测后融合”的深度信息处理策略。在算法层面，本工作的创新点不仅在于改进了YOLO架构、注意力模块、优化锚框和复合损失函数的工程集成，更在于针对‘苏翠1号梨’独特的生物学特性和采摘场景需求设计了系统性解决方案。具体而言：① 现有通用模型采用基于COCO数据集高宽比分布的锚框设计，而‘苏翠1号梨’形状近圆（高宽比0.85-1.15），直接迁移会导致定位精度下降；本研究通过K-means++聚类定制锚框，从根本上消除了这一领域偏差。② 通用特征金字塔网络对小目标（如远距离或遮挡果实）表征不足；本研究重构FPN/PAN并引入GAM注意力机制，有效解决了小尺度果实的检测灵敏度问题。③ 现有损失函数在处理果实检测中极端正负样本不平衡（果实通常占图像<5%）时存在优化偏差；本研究设计的复合损失函数专门适配该问题。这三项改进的协同效应使mAP@0.5较基线提升2.6个百分点，验证了领域定制策略的有效性。此外，与大多数研究采用的双流网络或多模态特征融合策略不同，本研究提出的“先检测后融合”串行处理流水线在保持定位精度的同时大幅降低了计算复杂度，为边缘设备部署提供了新路径，并为类似农业视觉系统的轻量化设计提供了方法参考。实验结果表明，YOLOv11-pear在独立测试集上达到93.8%的mAP@0.5和65.5%的mAP@0.5:0.95，精确率94.2%，召回率91.5%。模型仅5.8 M参数，在Jetson Orin NX上实现38.7 FPS实时推理（神经网络推理速度），三维定位平均绝对误差9.9 mm。在严重遮挡和复杂光照场景下，mAP@0.5分别达到80.9%和87.5%，表现出强鲁棒性。将视觉系统集成到采摘机器人平台后，在真实果园中的端到端闭环测试实现了88%的采摘成功率和5%的果实损伤率。视觉感知阶段平均1.3秒（端到端视觉处理时间，包括深度配准和滤波），占采摘周期的9.6%，展示了现场果实采摘的可行性。尽管YOLOv11-pear针对‘苏翠1号梨’进行了专门优化，其架构设计具有较强的泛化潜力。对于果实形状相似的品种（如‘丰水’梨、‘库尔勒’梨、苹果及部分柑橘），可直接应用预训练权重或仅需少量微调。对于形状差异较大的品种（如香蕉、芒果等长条形果实），需重新聚类生成适配锚框并微调。本工作的核心贡献——轻量级“先检测后融合”定位策略——与模型无关，可推广至任何需要RGB-D感知的果实采摘场景。当前系统在极端光照下的深度测量稳定性、严重遮挡果实的检测能力以及机械臂运动规划效率方面仍需改进。未来工作将聚焦于多模态感知融合、Transformer架构应用、果梗识别与切割点定位以及基于深度强化学习的运动规划算法，推动果园水果采摘机器人从实验室研究走向商业部署。
