基于改进YOLOv8的多色苹果实例分割与三维定位技术研究

《Artificial Intelligence in Agriculture》：Improved YOLOv8 for multi-colored apple fruit instance segmentation and 3D localization

本研究针对复杂果园环境下多色苹果实例分割与精确定位难题，提出四种改进YOLOv8模型（RA-YOLO/GA-YOLO/YA-YOLO/MCA-YOLO），在5171张图像数据集上实现最高96.6% mAP，结合RGB-D相机开发毫米级定位管道，平均定位误差2.636mm，为机器人采摘提供关键技术支撑。

　　

在智能化农业迅猛发展的今天，苹果采摘机器人技术仍面临严峻挑战：复杂果园环境中重叠遮挡的果实、多变的光照条件，特别是红、绿、黄等多色苹果的精准识别与定位问题，一直制约着自动化采摘效率的提升。传统方法在多变颜色和复杂背景下的分割精度不足，而现有研究多集中于单一颜色苹果的检测，缺乏对多色混合场景的系统性解决方案。

针对这一技术瓶颈，中国农业大学的研究团队在《Artificial Intelligence in Agriculture》发表了创新性研究成果。该研究围绕果园自动化采摘的实际需求，通过改进YOLOv8框架，开发了专门针对多色苹果实例分割的系列模型，并建立了高精度的三维定位技术体系。

研究团队首先构建了包含5171张图像的多色苹果数据集，涵盖陕西延安和北京怀柔两个地区的红富士、嘎啦（红）、王林（绿）和金冠（黄）等多个品种。数据采集采用Intel RealSense D435i深度相机和多款智能手机，确保数据多样性和泛化能力。通过ISAT标注工具结合SAM模型快速生成实例分割掩膜，并采用离线旋转镜像和在线Mosaic等数据增强策略平衡数据集。

关键技术方法包括：（1）基于GD机制和EMBConv模块的RA-YOLO模型，专门优化红色苹果在密集遮挡下的特征融合；（2）引入动态蛇形卷积和P6检测层的GA-YOLO模型，增强绿色苹果与叶片背景的区分能力；（3）结合可变形卷积DCNv2和MPCA注意力机制的YA-YOLO模型，提升黄色苹果在过曝光条件下的边界识别；（4）融合多种改进策略的MCA-YOLO模型，实现多色苹果的通用分割。同时采用RGB-D相机获取深度信息，通过RANSAC算法进行点云球形拟合，实现三维定位。

2.1. 数据集获取与预处理

通过标准化采集流程获得多地域、多品种的苹果图像数据，经数据增强后形成平衡数据集。目标尺寸分析显示绿色苹果中大型目标占比超过75%，为后续模型设计提供依据。

2.2. RA-YOLO：红苹果实例分割模型

采用GD机制重构特征金字塔网络，解决传统FPN在特征融合中的信息丢失问题。实验表明该模型在红苹果分割任务中mAP达到95.2%，较基线模型提升1.4%，尤其在高密度遮挡场景表现优异。

2.3. GA-YOLO：绿苹果实例分割模型

针对颜色相似性挑战，引入动态蛇形卷积增强边界敏感性，添加P6层提升大目标检测能力。在绿苹果分割中实现96.4% mAP，较现有最优模型提升0.9%。

2.4. YA-YOLO：黄苹果实例分割模型

利用DCNv2卷积自适应调整感受野，结合多路径坐标注意力机制MPCA整合全局上下文信息。在低对比度条件下仍达到95.4% mAP，有效解决过曝光导致的边界模糊问题。

2.5. MCA-YOLO：多色苹果实例分割模型

集成P6层、DCNv2和EMBConv等模块，在混合多色苹果数据集上获得95.6% mAP，且模型参数(11.79M)和计算量(42.7 GFLOPs)与基线模型相当，满足实时部署需求。

3.1. 单色与多色苹果实例分割

对比实验显示，改进模型在各项指标上均显著优于YOLOv5、YOLOv8等基线模型。MCA-YOLO在混合数据集上的综合性能最佳，其中绿苹果分割mAP高达96.6%，证明多模块协同的有效性。

3.2. 实例分割模型的消融实验

阶段性消融实验验证了各改进模块的贡献值。例如在RA-YOLO中，单独使用GD机制可使mAP提升0.9%，结合EMBConv后进一步增加0.4%，表明模块间的互补性。

3.3. 苹果的高精度3D定位与成形

基于深度相机的定位管道在模拟实验中表现优异：平均定位误差2.636mm（误差率5.1%），平均成形误差0.768mm。其中黄苹果在80mm移动距离下的定位误差最大(4.300mm)，反映深度相机测距精度与距离的正相关性。

研究结论表明，该系列改进模型有效解决了多色苹果在复杂环境下的实例分割难题，其中MCA-YOLO作为通用模型在保持精度的同时降低了部署复杂度。三维定位管道实现了毫米级精度，为自动化采摘提供了可靠的技术路径。讨论部分指出，当前研究在极端遮挡和光照条件下的性能仍有提升空间，未来将通过多视角重建和硬件部署进一步优化系统实用性。这项研究不仅推动了农业计算机视觉技术的发展，也为果园机器人精准作业建立了新的技术标准。