智能采摘机器人水果检测与定位的机器视觉技术：综合评述

《Smart Agricultural Technology》：Machine vision for fruit detection and localization in intelligent harvesting robots: A comprehensive review

　　

自主水果采摘不仅需要准确的水果检测，还需要将不确定的视觉观测可靠地转化为安全、高效且低损伤的机器人采摘动作。在商业化果园中实现这一目标仍具挑战性，因为光照变化、严重的水果遮挡、植株运动以及受限的工作空间给视觉感知和机器人执行均带来了显著的不确定性。本评述系统性地综合了近年来机器视觉在水果检测、分割、三维定位、姿态估计和采摘点定位方面的研究进展，并考察了这些技术与末端执行器操作及智能采摘机器人手眼协调的集成情况。我们比较了眼在手（eye-in-hand）、眼在手外（eye-to-hand）和混合视觉配置；二维与三维传感模态；基于机器学习、深度学习和Transformer的感知方法；以及具有代表性的采摘系统配置。本评述建立了感知-动作-交互循环中传感、感知、运动规划、抓取、分离和反馈之间相互作用的综合视角。它强调了从面向目标的检测向面向操作的感知转变，这涉及不仅要理解水果位置，还要理解附着结构、接近方向、障碍物、交互风险和可采摘性。在复杂田间条件下的部署存在若干挑战，包括标定漂移、空间信息不完整、末端执行器适应性有限以及感知-执行误差累积。未来的采摘系统将需要集成多模态传感、主动视角规划、不确定性感知决策、视觉伺服和触觉力反馈，以实现可扩展且具有损伤感知能力的自主水果采摘。

智能采摘机器人水果检测与定位的机器视觉技术：综合评述解读

一、研究背景与问题提出

水果采摘是园艺生产中劳动密集且时效性强的作业环节，其效率直接影响生产成本和水果产业的经济可持续性。近年来，劳动力成本上升和季节性工人供应的不稳定性进一步增加了对自动化采摘技术的需求。然而，与结构化的工业环境相比，果园和设施栽培系统具有光照变化大、枝叶茂密、果实分布不规则、遮挡严重以及作业空间受限等特点，使得自主采摘尤为困难。传统机器视觉方法主要依赖人工设计的颜色、形状、纹理和几何特征，在复杂农业环境下的鲁棒性不足。虽然基于深度学习的检测器已显著提升了不同遮挡程度下水果的识别性能，但准确的水果检测并不足以提供机器人操作所需的全部信息。采摘机器人越来越需要感知系统不仅确定水果的位置，还要理解其与周围植株结构的空间关系、合适的采摘位置和接近方向。此外，末端执行器需要适应水果大小、形状、硬度及附着特性差异，而顺序式的感知-规划-执行流水线容易受到目标运动、植株变形和累积定位控制误差的影响。因此，在非结构化环境中实现鲁棒且面向操作的感知，以及紧密的手眼协调，仍是自主采摘机器人面临的根本挑战。

二、研究内容与主要结论

该综述系统梳理了2015至2026年间水果采摘机器人领域的研究进展，共纳入233篇文献，从系统配置、视觉传感技术、机器视觉方法、末端执行器与视觉引导采摘执行等维度进行了全面分析。研究得出以下核心结论：采摘机器人正从相对独立的功能模块串联架构向感知、操作和平台运动紧密互联的集成化机器人系统演进；混合手眼配置结合全局感知与局部精细化能力，正从全局-局部相机的基本组合发展为包含全局场景理解、粗略目标识别、近距离结构精细化、多视角信息融合和任务导向主动视角调整的分层感知框架；机器视觉技术已从传统的几何视觉和浅层机器学习向深度学习、三维感知和日益面向操作的视觉理解方向发展。然而，现有采摘机器人的采摘成功率虽逐步提高，但仍难以在真实果园环境中实现大规模、长期自主作业，其整体采摘性能尚未超越人工采摘水平。核心瓶颈在于果园环境中的水果识别与姿态估计，同时末端执行器的无损伤采摘能力和遮挡条件下的采摘操作能力也是限制采摘机器人实际部署的关键挑战。

三、关键技术方法

研究人员采用了系统性的文献检索和筛选程序，主要从Web of Science核心合集、Scopus、ScienceDirect、IEEE Xplore和Google Scholar等数据库检索相关研究，检索词涵盖"水果采摘机器人"、"机器人采摘"、"水果检测"、"水果分割"、"姿态估计"、"采摘点定位"、"末端执行器"、"视觉伺服"和"手眼协调"等组合。在去除重复和弱相关记录后，根据与机器人水果采摘的相关性、方法代表性、实验验证以及对感知、操作或感知-动作协调技术发展的贡献进行筛选，最终纳入233篇出版物。

四、研究结果

4.1 代表性采摘机器人及系统配置

该部分回顾了多种针对不同水果作物开发的专用采摘机器人系统。从苹果、荔枝、梨、番茄、草莓、葡萄、香蕉到南瓜，不同系统针对果实形态特征和采摘属性定制了手眼系统配置。研究发现，多数采摘机器人针对特定任务定制，仅针对一种或少数几种水果。系统演进呈现多执行器协调、主动感知和高度集成化趋势，视觉感知的作用从提供单个目标的位置信息扩展到作为连续机器人作业和任务组织的关键信息来源。

4.2 视觉-机械臂配置与手眼协调

该部分将采摘机器人分为眼在手、眼在手外和混合手眼三类配置。眼在手系统将相机固定于机械臂或靠近末端执行器，便于近距离检查和遮挡管理，但瞬时视野有限。眼在手外系统将相机固定于机器人基座或独立安装，有利于全局目标识别和多目标定位，但视角灵活性不足。混合手眼配置结合两者优势，实现从单阶段定位向分层粗到细定位的转变，并进一步演化为主动感知，机器人动态判断当前视觉信息是否足够并主动改变观测视角。

4.3 限制手眼协调性能的关键影响因素

该部分从果园环境、视觉感知和执行机构三个维度系统分析了手眼协调技术的制约因素。环境因素包括光照和天气变化、逆光和阴影影响、雾气以及机械振动引起的图像退化。果实生长相关因素包括叶片和枝条遮挡、果实表面部分可见、果实振动以及相邻果实间的重叠或聚集。感知阶段累积的误差会传播至执行机构，影响路径规划精度、定位误差容忍度和抓取执行。

4.4 二维视觉传感器

该部分回顾了灰度相机、RGB相机、光谱相机和热成像等二维传感技术。RGB相机提供丰富纹理信息，可实现高精度实例分割，但在非结构化果园环境中鲁棒性不足，光照波动导致颜色特征分布漂移，绿色果实与叶片相似性导致频繁漏检。光谱成像可利用果实与背景在特定光谱范围的反射率差异进行识别，但成本高且数据处理复杂。热成像利用果实与叶片温度差异检测果实，在白天条件下表现较好。

4.5 三维视觉传感器

该部分比较了双目视觉、飞行时间（ToF）相机、激光雷达（LiDAR）和结构光相机等三维传感技术。双目视觉成本低、结构简单，但精度高度依赖图像特征匹配，在低纹理或重复纹理区域易失效。ToF相机体积小，常集成于末端执行器进行近距离精确定位，但分辨率低且有效距离有限。LiDAR扫描范围广、精度高，在果园导航和大规模点云地图构建中优势显著，但成本高、数据量大。结构光相机近距离三维重建精度高且对表面纹理不敏感，但投影光易受强环境光干扰，限制其在户外开放场景的应用。

4.6 水果检测与分割

该部分从传统图像处理和浅层机器学习、两阶段模型、单阶段模型三个层面回顾了水果检测与分割技术。传统方法主要依赖人工设计的颜色、形状和纹理特征，在严重遮挡、果实聚集、光照变化和形态差异大的情况下鲁棒性下降。两阶段检测器以R-CNN系列为代表，先生成候选区域再进行分类和边界框回归，定位精度较高但计算复杂度大。Mask R-CNN将检测扩展到实例分割，可提供果实轮廓、果柄和可操作区域的像素级表示。单阶段检测器以YOLO系列为代表，直接在统一网络中预测目标类别和位置，推理效率高，更适合实时采摘应用。YOLO系列从YOLOv1到YOLOv10不断演进，在多尺度表示、轻量化部署和端到端预测方面持续改进。

4.7 三维定位与姿态估计

该部分探讨了从二维检测向三维空间感知的扩展。通过结合立体视觉、RGB-D传感或点云处理，系统可恢复深度和几何信息，实现果实位置、尺寸和姿态的估计。多视角感知可补偿单相机的有限视野，增强三维目标重建的完整性和稳定性。姿态估计从简单的三维位置估计扩展到六维（6D）姿态估计，为抓取和采摘动作生成提供基础。

4.8 采摘点定位与面向操作的感知

该部分讨论了从面向目标检测向面向操作感知的转变。感知不仅要理解果实位置，还要理解附着结构、接近方向、障碍物、交互风险和可采摘性。通过水果与果柄分割估计其相对位置和角度关系，可确定依赖果柄的末端执行器姿态用于抓取和切割。主动视角规划通过评估候选视角对遮挡采摘区域的空间覆盖和相关运动成本，引导机械臂搭载的相机搜索果柄可见的视角。

五、讨论与结论

讨论部分指出，混合手眼采摘正从全局和局部相机的基本组合发展为涵盖全局场景理解、粗略目标识别、近距离结构精细化、多视角信息整合和任务导向主动视角调整的分层感知框架。与纯眼在手外系统相比，该配置增强了复杂采摘结构的可见性并提供更大的遮挡适应性；与纯眼在手系统相比，全局或远距离信息可在近距离接触前影响目标选择、接近轨迹和机械臂运动。然而，这些优势伴随着多传感器标定、坐标帧转换、跨视角目标关联、感知阶段转换和实时信息整合的更高要求。主要技术挑战已从相机放置本身转向根据检测、接近、定位和采摘执行的需求协调跨空间尺度和视角的视觉数据。

结论部分指出，未来采摘系统需要集成多模态传感、主动视角规划、不确定性感知决策、视觉伺服和触觉力反馈，以实现可扩展且具有损伤感知能力的自主水果采摘。该综述为采摘机器人的感知、末端执行器设计和手眼协调控制领域的研究进展提供了全面的理论和技术参考，为采摘机器人的未来迭代开发和技术研究奠定了可靠基础。