基于FMDS-YOLOv8的农业软体机械手抓取系统设计与实验研究

《Frontiers in Plant Science》:Design and experimental investigation of the grasping system of an agricultural soft manipulator based on FMDS-YOLOv8

【字体: 时间:2025年10月15日 来源:Frontiers in Plant Science 4.8

编辑推荐:

  本文提出了一种集成变结构软体执行器与FMDS-YOLOv8视觉识别算法的农业抓取系统(MGS),通过三指独立旋转与间距调节机构实现≤140 mm(中心抓取)与≤105 mm(平行抓取)范围内的多形态果蔬自适应抓取。实验表明该系统在多目标场景下抓取成功率达95.83%,损伤率仅4.17%,为果蔬无损分选提供了创新性解决方案。

  
引言
果蔬采摘作为农业生产中劳动密集型环节,面临劳动力短缺与作业效率低的双重挑战。传统刚性机械手存在抓取损伤率高、适应性差等问题,而现有软体抓取器则受限于功能单一与控制精度不足。本研究通过融合变结构软体执行器与改进视觉算法,构建具备多模态抓取能力的智能抓取系统(MGS),旨在提升复杂场景下的抓取鲁棒性。
材料与方法
抓取系统整体设计
系统由气动控制系统、STM32微控制器、六轴机械臂及变结构软体机械手构成(图2)。基于ROS的软件架构实现视觉识别与运动控制的协同,其中FMDS-YOLOv8算法部署于搭载AMD Ryzen 7 4800H的主机,通过双目视觉系统实时提取目标果蔬的轮廓与位姿信息(图3)。抓取流程包括目标检测、MATLAB轮廓解析、机械臂定位、气动驱动软体手指弯曲四个阶段(图4)。
变结构软体机械手创新设计
机械手采用四伺服电机驱动三指独立旋转结构,通过法兰盘V型导轨实现36~70 mm的径向伸缩调节(图5)。软体执行器采用多腔体光固化树脂(Resione F80)一体化打印,尺寸为105 mm × 18 mm × 30 mm,其7.9 MPa拉伸强度与225.1%断裂伸长率保障了柔顺抓取性能(图6)。运动学模型通过矩阵运算(公式1-4)精确控制各手指末端坐标,其中抓取半径与软体手指弯曲角动态关联。
视觉识别算法优化
FMDS-YOLOv8在YOLOv8基础上引入三大模块:
  1. 1.
    FocalModulation空间金字塔池化(图10)通过动态聚焦机制增强遮挡与弱光下的特征提取能力;
  2. 2.
    C2PSA_MSDA多尺度特征融合模块(图11-12)利用空洞注意力机制提升重叠目标区分度;
  3. 3.
    C3k2_DFF动态特征融合结构(图13)基于全局上下文自适应加权多尺度特征。
    算法在自制数据集(5类果蔬共2000张图像)上训练,经RoboFlow平台扩增至6000张图像,输入分辨率统一为640×640像素。
抓取点确定策略
结合SAM2模型对YOLOv8检测结果进行像素级分割,通过旋转多边形生成内接等边三角形(图14A),以三角形顶点作为抓取点。MATLAB开发的视觉处理器(图14B)将二维像素坐标转换为机械臂基坐标系下的三维位姿,确保手指沿果蔬轮廓法向逼近。
结果与讨论
模型性能对比
FMDS-YOLOv8n在精确率(94.1%)、召回率(91.0%)和mAP@50(94.0%)上均优于YOLOv5n/v8n/v9t等基线模型(表2-3)。消融实验(表4)验证了三模块协同提升mAP@50–90至78.4%,参数量仅3.12M,满足实时性需求(59.5 FPS)。
抓取实验分析
针对黄瓜(长形)、苹果(球形)、番茄(易损)等五类果蔬的抓取实验表明(表5),通过调节驱动气压(70–110 kPa)与手指角度可适应不同形态目标。例如黄瓜在110 kPa时抓取成功率从70%提升至90%(图17),而轻质果蔬(橙子、辣椒)仅需70 kPa即可稳定抓取。抓取轨迹与视觉计算的最优点高度吻合(图16)。
损伤评估
番茄抓取损伤实验(表6)显示整体成功率达96%,直接损伤率4.17%。72小时褐变率为6.25%,主要与抓取压力及成熟度相关。对比研究(表7)表明本系统在保持高通用性(多目标兼容)的同时,损伤率低于多数刚性机械手(如番茄专用于96.03%),但抓取时间(6.36 s)因结构调节略有延长。
结论与展望
本研究通过变结构软体机械手与FMDS-YOLOv8算法的协同设计,实现了多品类果蔬的低损伤自适应抓取。未来将针对田间复杂光照、遮挡及运动模糊问题,优化算法鲁棒性并开展野外场景验证。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号