基于YOLOv8s-ECC的番茄姿态估计与采摘机器人抓取点定位检测方法

《Horticulturae》：A Detection Method for Tomato Pose Estimation and Grasping Point Localization in Robotic Harvesting Based on YOLOv8s-ECC Yu Zhuang, Yiran Wang, Le Zheng, Jize Dai, Hao Liu, Jiayuan Zhu and Zhiping Cui

　　

在智能番茄采摘场景中，目标番茄生长姿态识别精度不足及采摘抓取点定位不准确等问题导致自动化采摘效率低下。针对这些问题，本文提出了一种基于Yolov8s的优化目标检测模型，命名为YOLOv8S-ECC。该模型聚焦于“通过花萼与果实中心点相对位置的空间矢量判断番茄姿态”，旨在增强对番茄花萼和果实的高精度定位，从而为后续的姿态判断和采摘点定位奠定基础。研究人员将高效通道注意力（ECA）和坐标注意力（Coordinate attention）机制集成到骨干网络（Backbone）中，并将卷积块注意力模块（CBAM）引入颈部网络（Neck）。这些注意力机制的结合有效克服了花萼颜色纹理与环境高度相似带来的识别挑战，并增强了模型在复杂田间环境中的鲁棒性。测试结果表明各项指标均有显著提升：检测番茄果实和花萼的精确率分别为81.7%和87.5%，召回率分别为92.7%和85.9%，mAP@50分别为89.7%和91.3%。通过将算法封装并与采摘机器人集成，在模拟环境（不同光照条件和叶片遮挡情况）下的测试显示采摘成功率为93.02%，平均采摘作业时间为14.2 ± 0.855 s，其中图像识别与处理时间为0.035 s。本研究为果蔬采摘机器人的高精度视觉感知与姿态判断提供了有效的技术解决方案，有助于提升番茄产业采摘作业的品质。

研究背景与意义

番茄作为全球广泛种植的高价值作物，其传统收获严重依赖人工劳动。随着城市化进程加速和人口老龄化，农业劳动力短缺问题日益严峻，使得自动化番茄收获成为必然趋势。机器人采摘系统不仅能提升农业生产效率、降低成本，还能保障作业安全并改善果实质量。然而，在单果采摘模式下，由于大型番茄成熟度不一、生长环境非结构化、枝叶遮挡严重以及果实重叠，实现高精度目标检测与定位仍是核心挑战。现有研究多集中于果实本身的识别，往往忽视了与采摘点直接相关的花萼区域，且在高精度模型与实时性能之间存在难以平衡的矛盾。为此，研究人员开展了基于改进YOLOv8s的检测方法研究，相关成果发表在《Horticulturae》期刊上。

关键技术方法

研究人员设计了一套完整的番茄采摘机器人系统，集成了六轴机械臂、Ackermann转向智能移动底盘和RealSense D435i深度相机。数据采集于黑龙江青冈县新源蔬菜种植专业合作社的太阳能温室，涵盖了早晨侧光和下午正面光等不同光照条件及遮挡场景。构建了包含成熟与未成熟番茄及花萼的数据集，并采用旋转、噪声添加等数据增强手段。核心技术在于提出了YOLOv8s-ECC模型，通过在骨干网络嵌入高效通道注意力（ECA）和坐标注意力（CA），在颈部网络引入卷积块注意力模块（CBAM），形成三重注意力机制以增强特征提取能力。此外，研究结合深度信息与手眼标定算法，实现了从图像坐标系到机械臂坐标系的精确转换。

研究结果

1. 系统设计

研究人员设计了番茄采摘机器人的硬件架构与作业流程。系统采用“眼在手”（eye-in-hand）配置的视觉伺服方案，通过融合激光雷达与深度相机数据进行路径规划。机器人首先通过全局导航定位潜在果实，随后切换至高精度的末端视觉伺服模式，利用协同识别模型计算果实与花萼的空间位姿，最终通过预校准的手眼变换矩阵引导机械臂完成采摘。

2. 目标检测

在数据集构建方面，研究人员采集了700张高质量图像，涵盖了强光、弱光及漫射光等多种环境。为解决花萼与背景枝叶纹理相似导致的漏检问题，研究引入了三重注意力机制。ECA模块通过一维卷积实现轻量级跨通道交互，增强了对花萼细纹理的响应；CA模块通过分解空间池化编码方向感知特征，恢复了深层网络丢失的空间位置信息；CBAM模块则在特征金字塔融合阶段进行通道与空间的双重筛选，抑制了背景干扰。实验表明，改进后的YOLOv8s-ECC模型在果实和花萼检测的各项指标上均优于原始模型。

3. 番茄果实采摘与抓取点定位

研究人员建立了基于深度信息的三维坐标转换模型。首先利用相机内参矩阵和外参矩阵，将检测到目标的像素坐标转换为相机坐标，进而通过手眼标定得到的变换矩阵（包含旋转矩阵R和位移向量t）映射到机械臂基坐标系下。通过识别番茄果实与花萼的中心点，确定两者的空间矢量，从而判断果实的生长姿态并计算出最佳的抓取点与扭转角度。

结论与讨论

研究结论表明，YOLOv8S-ECC模型通过融合ECA、CA和CBAM三种注意力机制，显著提升了在复杂环境下对番茄果实和花萼的检测精度与鲁棒性。在模拟田间环境的测试中，该系统实现了93.02%的采摘成功率，且单果平均处理时间短，证明了该方法在实际应用中的有效性。该研究提出的基于花萼-果实空间矢量的姿态判断方法，解决了传统“以果实为中心”策略中采摘点定位不准的问题。通过封装算法并与机器人系统集成，研究成功验证了从视觉感知到动作执行的闭环控制流程，为果蔬采摘机器人在非结构化环境下的高精度作业提供了可行的技术范式。