《Agronomy》:Robotic Fruit Harvesting Systems: Integration of Perception, Manipulation, and Detachment for Autonomous Harvesting
编辑推荐:
本综述对水果采摘机器人系统进行了系统性梳理,重点聚焦于自主采摘环境下感知、操作与果实分离技术在系统层面的集成。研究人员批判性地分析了机器视觉、深度学习、传感器融合、机器人末端执行器、抓取策略及运动规划的最新进展,并结合非结构化果园条件下的切割、拉拽及振动式分离
本综述对水果采摘机器人系统进行了系统性梳理,重点聚焦于自主采摘环境下感知、操作与果实分离技术在系统层面的集成。研究人员批判性地分析了机器视觉、深度学习、传感器融合、机器人末端执行器、抓取策略及运动规划的最新进展,并结合非结构化果园条件下的切割、拉拽及振动式分离机制进行了探讨。除组件级分析外,本综述强调了感知-动作耦合的关键作用,并指出定位误差、感知-动作延迟及环境变异性等关键系统集成挑战仍制约着系统的田间可靠部署。此外,文章还探讨了树冠结构、果实分布及分离力变异等果园与采前因素对系统性能、鲁棒性及采摘效率的直接影响。进一步地,综述延伸至系统层面的考量,纳入了性能评估指标、经济可行性及可扩展性约束,这对于推动采摘机器人系统从实验样机向商业可行解决方案转化至关重要,包括分布式多机器人采摘系统的实际田间部署。研究人员讨论了人工智能(AI)、先进传感、数字农业及能量感知系统设计等新兴技术,将其视为实现自适应、数据驱动且可扩展自主采摘的关键赋能因素。本文的创新性在于提出了一个集成框架,明确将感知、操作与分离同果园级约束及部署需求联系起来,从而弥合了算法进步与水果采摘机器人系统实际落地之间的鸿沟。
引言
全球水果产业正经历深刻变革,劳动力成本上升、人力短缺及对可持续资源高效利用的需求推动了这一进程。在水果生产全流程中,采摘仍是劳动最密集、耗时最长且经济影响最大的环节,特别是对于需要根据成熟度、大小和品质进行选择性采摘的高价值作物。果园环境中果实形态、成熟度及空间分布的固有变异性进一步增加了自动化难度。传统采摘依赖人工的灵活性,但劳动力稀缺和高昂成本促使研究转向机器人自动化采摘,使其成为精准农业和数字农业的关键技术。典型的采摘机器人系统包含用于果实检测与定位的感知模块、执行运动的机械臂以及负责抓取与分离的末端执行器。尽管技术进步显著,但由于农业环境的非结构化和动态特性,系统在真实果园中的部署依然受限。光照变化、叶片遮挡及不规则的果实排列持续影响系统的可靠性。机器人水果采摘的核心挑战在于有效集成感知、操作与分离三大功能域。感知系统虽在复杂环境下提升了检测精度,但准确的感知并不等同于成功的采摘。操作环节需应对杂乱环境中的避障与精准抓取,末端执行器设计必须在适应性、控制精度与机械顺应性之间取得平衡。同时,运动规划需实时运行以确保密集树冠下的无碰撞交互。分离过程是技术难点,涉及切割、拉拽、扭转或动态激励等力学作用,其有效性取决于果梗系统的机械特性,不当的策略会导致采摘不完全或损伤。尽管各领域独立进展显著,但现有研究多将三者割裂,忽视了其强相互依赖性,这种碎片化限制了系统的鲁棒性和可扩展性。因此,本文旨在通过统一的作业框架,对连接感知技术、机器人操作与果实分离的集成分析进行综述。
文献综述方法
本综述采用叙述性方法,对采摘机器人系统的最新进展进行批判性分析与综合,特别强调感知、操作与分离过程的系统集成。研究人员通过Scopus、Web of Science、IEEE Xplore和ScienceDirect等主要科学数据库识别相关研究,检索词涵盖“水果采摘机器人”、“农业机器人”、“果实检测”等。为提高覆盖度,还采用了引文追踪法。筛选过程优先考虑近期发表的对技术前沿有推动作用的高质量文献,同时也纳入早期的基础研究以建立理论与技术背景。文献被组织为四个主题类别:果实检测与定位感知系统、机器人操作与末端执行器设计、果实分离机制以及结合多种功能的集成采摘系统。这种分类反映了采摘流程的功能分解,有助于从系统层面理解各组件的相互作用及其对整体性能的影响。本综述并非对所有已发表研究的穷举,而是聚焦于代表性的方法、新兴趋势及关键挑战。
水果采摘机器人系统架构
系统架构决定了自主作业的效率、可靠性和可扩展性。现代系统集成了感知、定位、规划、操作、分离及采后处理等多个互联模块。良好的架构能够准确处理感官信息以指导抓取与分离,模块间的紧密集成对于最小化延迟和减少错误至关重要。目前的瓶颈主要在于模块间集成不充分、感官处理延迟以及在密集树冠中鲁棒性不足。
3.1 总体采摘流程:流程由六个阶段组成:感知→定位→规划→操作→分离→处理。感知阶段利用RGB-D相机、激光雷达(LiDAR)和高光谱传感器获取果实位置、大小、朝向和成熟度信息。定位阶段利用立体视觉和同步定位与地图构建(SLAM)确定果实相对于机械臂的三维坐标。规划阶段生成优化轨迹以规避枝干干扰。操作阶段通过自适应运动控制实现稳定抓取。分离阶段依据作物生物力学特性采用切割、扭转或振动等技术。处理阶段则将果实转移至收集单元。
3.2 系统组件:主要包括传感系统(RGB-D相机、LiDAR、多光谱成像)、机械臂(多自由度、轻量化设计)、末端执行器(气动夹爪、自适应爪、软体抓取器)以及控制单元(模型预测控制MPC、强化学习RL)。
3.3 果园作业工作流:始于环境感知生成三维果园地图,随后进行果实检测与分割,接着基于定位生成实时运动轨迹,机械臂配合力反馈机制进行抓取,最后采用特定技术分离果实并进行连续的自适应控制。
3.4 当前架构瓶颈:主要源于感知、规划、操作和分离模块间协调不足。计算延迟、感知与动作转换困难(标定误差、坐标错位)以及在非结构化环境下的鲁棒性下降是主要限制因素。
果实检测与定位感知系统
感知系统是基础,决定了下游流程的效率。机器视觉技术(RGB成像、深度感知、立体视觉)被广泛采用,但传统方法在光照变化和遮挡下表现不佳。人工智能(AI)和深度学习(DL)已成为主导方案,卷积神经网络(CNN)、YOLO和Mask R-CNN等框架在高精度检测和分割方面表现出色。传感器融合通过结合LiDAR和相机数据,增强了深度估计和鲁棒性。
4.1 机器视觉技术:RGB成像易受光照影响;深度传感(RGB-D、飞行时间ToF)提供距离信息;立体视觉重建三维场景。预处理阶段的传感器标定和噪声过滤至关重要。
4.2 人工智能与深度学习方法:CNN检测器在保持精度的同时实现了实时性能。分割模型(如U-Net)支持像素级定位,有助于处理重叠果实。基础模型(Foundation Models)和视觉语言模型(Vision-Language Models)正在兴起,但在嵌入式平台上的实时推理仍面临算力挑战。
4.3 传感器融合:分为早期融合、中期融合和晚期融合。多模态数据融合显著提高了在遮挡和复杂背景下的准确性,但也带来了计算复杂度增加和传感器标定困难的问题。
4.4 田间条件挑战:光照变异性(阴影、过曝)、遮挡(枝叶阻挡)和果实异质性(大小、颜色、形状差异)是主要障碍。
4.5 比较分析与局限性:传统机器视觉计算成本低但鲁棒性差;深度学习方法精度高但依赖大数据和高算力。两者均受环境因素制约,需要结合多传感器融合与自适应算法。
机器人操作与末端执行器
操作环节将感知输出转化为物理交互,直接影响采摘成功率和果实品质。
5.1 末端执行器类型:分为刚性夹爪(精度高但易伤果)、软体夹爪(顺应性强、损伤低)和混合夹爪(平衡精度与柔顺性)。集成力觉和触觉传感器的末端执行器可实现闭环控制。
5.2 抓取策略:从传统的吸盘式和手指式抓取,发展到基于深度强化学习(DRL)的端到端抓取策略。视觉引导的抓取虽然有效,但对感知误差敏感。
5.3 运动规划与控制:路径规划需考虑运动学约束和障碍物避让(RRT、PRM算法)。阻抗控制和基于学习的控制策略提高了动态环境下的稳定性。
5.4 损伤最小化:通过力传感反馈、软材料接触以及平滑的轨迹控制来调节接触力,减少对果实组织的破坏。
5.5 操作技术比较评估:吸盘式效率高但适应性有限;手指式和软体夹爪适应性更强但速度可能较慢。没有单一最优方案,需要多策略集成。
机器人系统中的果实分离机制
分离是受生物力学支配的最复杂阶段,涉及果梗界面的拉伸、扭转或剪切失效。
6.1 基于切割的分离:利用刀片切断果梗,属于剪切破坏,能有效减少力向果实传播,降低损伤,但对工具定位和姿态控制精度要求极高。
6.2 拉拽与扭转机制:利用轴向拉力或扭转载荷诱导果梗失效。通常结合使用以提高效率,但需精确控制力的大小和方向。
6.3 振动与动态激励:施加振荡力利用共振效应降低平均分离力,适用于橄榄、杏仁等大批量采收,效率高但缺乏选择性,易造成未熟果脱落。
6.4 混合与自适应分离策略:结合张力、扭转和切割等多种模式,并利用实时力反馈动态调整策略,以适应不同的果实特性和环境。
6.5 分离力建模:基于固体力学原理,建立了拉伸应力(σ = F/A)、剪切应力(τ = T*r/J)及弯曲应力的数学模型。果实成熟度通过改变弹性模量(E)影响分离力阈值。
6.6 分离方法比较分析:切割法精度高但机构复杂;拉拽扭转法简单但敏感于成熟度;振动法吞吐量大但损伤风险高;混合法适应性最强但控制复杂。
平台与田间实施、影响因素及展望
机器人水果采摘平台与田间实施:现有平台包括单臂移动机械臂、多臂协同系统等。苹果和草莓机器人强调选择性,而柑橘振动采收机强调效率。目前平台普遍受限于感知系统的遮挡问题和操作的鲁棒性。
果园与采前影响因素:树冠结构密度影响可见性;修剪和树形训练可改善可达性;化学脱叶剂可降低分离力。这些因素共同决定了感知、操作和分离的难易程度。
采后处理与运输系统:关注冲击、压缩和振动造成的损伤机制,需要自适应收集和传输系统来保障果实品质。
系统集成与自主作业:核心在于感知-动作耦合。需要建立统一的模型将感知输出(如果实位姿)直接映射到运动规划和力控制中。实时决策、自主导航和多机器人协同是实现大规模作业的关键。
系统性能、经济可行性与可扩展性:评估指标包括采摘成功率、单果周期、损伤率和能耗。经济可行性取决于投资回报率(ROI),在高价值作物和劳动力短缺地区更具优势。可扩展性要求系统在不同果园结构和天气条件下保持稳定。
新兴技术:人工智能(AI)与学习系统、先进感知技术(LiDAR、高光谱)、数字农业(IoT、数字孪生)以及能量效率设计是推动下一代系统发展的核心动力。
研究空白与未来方向:未来需要从孤立组件优化转向整体系统集成,开发智能自适应末端执行器,建立精确的分离力学模型,提高在非结构化环境下的泛化能力,并最终实现从实验室原型到商业化产品的跨越。
结论
水果采摘机器人系统已演变为紧密耦合的信息物理系统。未来的发展必须迈向全集成系统架构,其特征是基于闭环学习、分布式智能和实时自适应控制,从而实现在现实世界约束下感知、计算与物理交互的高度协同。