基于轻量级YOLO11-SMMA的机器人视觉伺服系统，用于油茶果实的采摘

《Computers and Electronics in Agriculture》：Robot visual servo based on lightweight YOLO11-SMMA for Camellia oleifera fruits harvesting

茶果收获自动化检测与视觉伺服系统设计。提出YOLO11-SMMA轻量化模型结合立体视觉，优化三维定位精度达1.27mm，参数减少36.4%，速度提升16.7%。

　　

吴尚尚|陈海飞|张玉燕|廖凯|李丽军

中南林业科技大学林业装备工程研究中心，中国长沙410004

摘要

油茶果实的成熟期较短且集中，人工采摘劳动强度大且成本高。因此，需要高效的识别算法来实现机器人采摘。尽管基于YOLO的模型（如YOLOv8和YOLO11）具有出色的检测性能，但由于参数庞大、计算量高以及2D检测的限制，它们无法满足自动化采摘中的可靠3D定位需求。为了解决这些问题，本研究致力于开发高效高精度的油茶果实检测和3D定位技术，并提出了一种结合立体视觉与轻量级YOLO11-SMMA的机器人视觉伺服算法。首先，在YOLO11框架的基础上，使用StarNet重构了主干网络，并将MBConv模块集成到检测头中以减少模型参数和计算量；随后在C2PSA模块中嵌入MLCA以提升复杂环境下的特征提取能力；最后，用ASF-YOLO颈部替代了标准颈部，增强了多尺度融合效果。实验表明，YOLO11-SMMA的mAP达到85.7%，比YOLO11n高出0.6%，同时参数和计算量分别减少了36.4%和37.5%，检测速度提高了16.7%。在视觉伺服测试中，该模型在三个轴上的平均定位误差分别为1.70毫米、1.34毫米和1.27毫米，检测时间为58.21毫秒。应用结果表明，YOLO11-SMMA能够实现准确高效的果实检测和定位，支持油茶的自动化采摘。

引言

油茶属于山茶科，是一种常绿乔木，与油棕、橄榄和椰子并列为全球四大主要木本油料作物之一。其种子可通过冷压提取茶油，这种油常被称为“东方橄榄油”或“长寿油”。作为中国南方重要的木本油料作物，油茶不仅具有显著的经济价值，还在国家扶贫战略中发挥着关键作用（张等人，2022年）。油茶果实的采摘期因品种而异，通常在每年10月至11月之间；过早或过晚采摘会显著影响产量（袁等人，2024年）。目前，人工采摘仍是主要方式，劳动力成本占总生产成本的35%-45%，成为该行业可持续发展的主要瓶颈（严等人，2020年）。因此，加速油茶果实的机械化和自动化采摘至关重要。

农业机械化和自动化被认为是现代农业可持续发展的关键驱动力（杨等人，2021年）。在油茶果实采摘过程中，由于果实分布密集且自然生长过程中常被树枝和叶子遮挡，基于振动的方法逐渐成为研究重点（吴等人，2022b年）。然而，油茶具有“同时开花结果”的生长特性，花蕾与树枝的连接强度通常大于果实与树枝的连接强度，因此机械振动采摘容易导致花蕾脱落，从而影响后续季节的产量（王等人，2024b年）。在精准采摘方面，复杂的果园环境给高效可靠的视觉检测带来了挑战，限制了基于计算机视觉的自动化采摘技术的发展。

近年来，深度学习的快速发展显著推动了复杂场景下的多目标检测研究，其在油茶果实识别中的应用也越来越普遍（罗等人，2024年；朱等人，2024b年）。在油茶果实采摘的视觉系统方面取得了显著进展。例如，朱等人（2024a年）在YOLOv7-tiny中引入了交叉注意力模块，提高了成熟度区分能力；唐等人（2023b年）基于YOLOv4开发了双目视觉系统以实现采摘点定位；陈等人（2023年）提出了YOLO-COF算法，不仅可以检测油茶果实，还能根据遮挡程度对其进行分类（无遮挡、叶片遮挡、树枝遮挡和果实遮挡）；吴等人（2022a年）通过数据增强训练YOLOv7，提高了其在复杂环境下的检测稳定性。此外，周等人（2024年）比较了多种模型，证明YOLOv8x能够有效识别和准确定位油茶果实。

然而，大多数现有模型存在计算成本高的问题。因此，开发结合轻量级设计和鲁棒性的检测模型成为当前的研究重点。近年来，轻量级模型在其他水果和蔬菜检测任务中表现出良好的性能。例如，李等人（2025年）基于YOLO11n-obb提出了改进的轻量级YOLO11-GS模型，实现了快速准确的葡萄采摘点定位；李等人（2024年）使用YOLOv5s在移动设备上实现了超过30 FPS的火龙果实时检测；阮等人（2025年）整合了GSConv、C2f-Fast-ECA模块和BiFPN架构，实现了香蕉采摘点的高效检测；王等人（2024a）通过ShuffleNetV2和深度可分离卷积改进了YOLOv8，实现了石榴检测的轻量级解决方案；值得注意的是，金等人（2025年）最近提出了一种专门针对油茶果实检测和姿态估计的轻量级模型，尽管其参数和计算复杂度仍有待进一步优化。

果实检测与机器人采摘之间存在明显差距。大多数现有研究（唐等人，2023a年）侧重于基于RGB的2D检测，虽然可以识别图像中的果实位置，但无法提供机器人精确抓取所需的可靠3D空间信息。低成本传感解决方案虽然能够捕获RGB-D数据，但通常横向精度有限（傅等人，2020年；孔等人，2023年），导致高精度抓取的空间精度不足。因此，机器人系统在执行抓取前通常需要额外的运动调整，降低了操作效率并限制了整体系统性能。

为了解决这些问题，本研究提出了一种改进的基于YOLO11n的网络模型，结合立体视觉实现油茶果实的高效检测和3D定位。最终目标是设计一种视觉伺服方法，实现准确全自动的果实采摘。研究框架包括四个主要部分：（1）数据集构建；（2）模型优化；（3）模型检测与性能比较；（4）眼手协同定位与采摘。整体工作流程如图1所示。本研究的主要贡献如下：

本研究提出了一种结合立体视觉的改进YOLO11n网络模型，用于高效油茶果实检测和3D定位。

• (1)
  提出了一种适用于移动设备部署的轻量级YOLO11-SMMA算法。该算法采用StarNet主干网络和MBConv增强型检测头，提高了计算效率；在C2PSA模块中嵌入MLCA以增强特征提取能力，同时采用ASF-YOLO颈部加强多尺度融合。这些改进共同提升了检测的准确性和效率，即使在复杂、无结构的油茶果园中也能实现稳健的识别，mAP达到85.7%，同时参数（36.4%）和计算负载（37.5%）均有所降低，实现了效率与性能的合理平衡。
• (2)
  本研究采用端到端的视觉到动作框架。基于提出的YOLO11-SMMA模型和结合ROI平均与空间过滤的深度提取方法，将预测边界框的几何中心从2D像素空间映射到3D坐标，确保机械臂在控制循环中接收到稳定准确的目标位置，有效减少了复杂、无结构油茶果园中因漏检或定位错误导致的任务失败。
• (3)
  在多种环境和相机角度下构建了油茶图像数据集，并对这些场景下的YOLO11-SMMA和主流模型进行了全面性能评估；此外还在移动采摘机器人平台上进行了实际验证。

本文的其余部分安排如下：第2节描述了本研究使用的材料和方法；第3节展示了实验结果；第4节和第5节分别进行了讨论和结论。

部分摘录

基于机器人的采摘系统

根据操作流程要求，如图2所示，基于机器人的油茶果实采摘系统由几个关键组件组成：无人地面车辆（UGV）平台、配备末端执行器的机器人臂、RGB-D相机、集成在采摘平台中的高级控制器（计算机）以及应急电源。UGV平台为TAObotics Thunder（TAObotics Robotics公司）产品。

实验平台和参数设置

为了确保不同模型之间的公平比较，所有实验都在相同的硬件配置和软件版本下进行。实验在两个计算平台上进行：一个用于模型训练和测试的个人工作站，以及集成在采摘平台中的高级嵌入式控制器。

讨论

实验结果表明，提出的YOLO11-SMMA在复杂果园条件下具有出色的油茶果实检测性能。对比实验进一步证实，该模型在采用轻量级设计的同时仍保持了高精度。这一优势不仅减轻了机器人平台的计算负担，还提供了更可靠的视觉引导，从而提高了采摘效率。

结论

本研究不仅关注油茶果实的视觉检测，还致力于构建和验证适用于实际采摘任务的端到端闭环机器人感知和定位系统。为了解决油茶森林环境中果实大小变化大、遮挡严重和光照复杂等问题，我们收集了885张涵盖多种场景的真实世界图像来构建原始数据集。

CRediT作者贡献声明

吴尚尚：撰写 – 审稿与编辑，撰写 – 原稿，可视化，软件，方法论，数据管理，概念化。陈海飞：撰写 – 审稿与编辑，验证，监督，资源获取。张玉燕：监督，资源获取，调查。廖凯：验证，监督，数据管理。李丽军：验证，资源获取，形式分析。

利益冲突声明

作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。

致谢

本研究得到了国家自然科学基金[http://dx.doi.org/10.13039/501100001809]（62303493）、芙蓉计划青年人才项目（2025RC3177）、国家重点研发计划（2022YFD2202103）以及湖南省自然科学基金（2024JJ6720）的支持。