对通量开关机器中结合URSA方法和专用切槽方法的全面性能评估 Basak Tepretmez, Zeynep Tufek 和 Emrah Cetin

《Machines》：A Comprehensive Performance Assessment of the Combined URSA and Dedicated Notching Methods in Flux-Switching Machines Basak Tepretmez, Zeynep Tufek and Emrah Cetin

　　摘要
全球粮食需求的增长、劳动力成本的上升以及农场劳动力的短缺给特种作物生产带来了重大挑战，尤其是在需要大量人工的技术密集型任务中，如水果采摘。机器人采摘提供了一个有前景的长期解决方案，但由于果园环境的复杂性（如非结构化环境、光照变化以及水果识别和处理的难度），其在果园中的应用仍然有限。本研究提出了由西北纳撒勒大学机器人视觉实验室开发的改进型机器人水果采摘系统OrBot，旨在推进苹果采摘的自动化应用。升级后的OrBot平台集成了一个双摄像头视觉系统：一个具有宽视野的立体摄像头用于水果检测，以及一个RGB-D摄像头用于精确操控。控制系统采用Robot Operating System 2（ROS2）和Python重新设计，实现了模块化子系统的开发与协调。水果检测通过YOLOv5深度学习模型完成，视觉伺服技术用于引导机器人执行器精准地瞄准目标水果。通过实验室实验（使用人工搭建的果树模型）和在爱达荷州商业果园中的实地测试，评估了系统的性能。OrBot在室内测试中的采摘成功率达到了100%，而在室外果园条件下的成功率为75-80%。实验结果表明，双摄像头设计显著提高了水果搜索和采摘的效率。不过仍存在一些局限性，包括对光照条件的敏感性、不同大小水果对末端执行器性能的影响以及深度估计的误差。总体而言，这些结果表明机器人水果采摘具有巨大潜力，并指出了未来需要在视觉技术、操控能力和系统鲁棒性方面进行改进的关键领域。

1. 引言
全球食品系统正面临人口增长、生产成本上升、气候变化和劳动力持续短缺带来的压力。据预测，到2050年全球粮食产量需要翻倍，以满足预计将达到近100亿的人口需求[1]。与此同时，农业（特别是特种作物生产）仍然严重依赖人工劳动，尤其是在采摘等环节。在美国，尤其是作为全国五大特种作物生产地之一的爱达荷州，果农和蔬菜种植者面临着劳动力减少和工资上涨的挑战。尽管H-2A临时农业工人计划[2]在一定程度上缓解了劳动力短缺问题，但这只是短期且成本逐增的解决方案，亟需寻找可持续的长期替代方案。精准农业、自动化和机器人技术的发展为应对这些挑战提供了希望[3,4]。虽然机器人技术已在汽车制造等高度结构化的环境中得到成功应用，但在农业（尤其是果园）中的应用仍然复杂。果园环境具有非结构化和动态特性，包括光照变化、植物遮挡以及水果位置和树形的自然变异等因素，这使得机器人采摘比工业自动化更具挑战性（在工业自动化环境中，工件位置固定且光照条件可控[5]。尽管存在这些挑战，机器人水果采摘仍是三十多年来活跃的研究领域。早期系统使用黑白摄像头和简单机器人执行器展示了可行性，后续研究尝试了多种传感技术，包括彩色摄像头、立体摄像头、热敏摄像头、多光谱摄像头和深度摄像头[6]。关键技术挑战包括可靠的水果识别、机器人执行器的精确视觉伺服控制，以及开发不会损坏水果或树木的末端执行器[7]。特别是水果识别技术受到了广泛关注，因为准确的检测是成功采摘的前提[8]。西北纳撒勒大学的机器人视觉实验室一直在开发OrBot机器人采摘平台，以研究实际果园环境中的这些问题[9]。OrBot结合了机器人操控技术和机器视觉系统来定位和采摘苹果，并在商业果园中取得了良好效果。尽管其采摘速度仍低于人工劳动，但机器人系统具有持续运行的潜力，能够在夜间等人工无法工作的时段补充人力。本研究在之前OrBot版本的基础上[10]，通过改进视觉系统、控制系统和采摘策略，旨在推动机器人水果采摘技术向更实用、更具经济性的方向发展，以应对特种作物生产者面临的劳动力挑战。最初的OrBot控制系统使用MATLAB（R2022b）开发，仅依赖一个摄像头进行水果定位。

本研究的目标是：
- 使用Robot Operating System 2（ROS2）改进OrBot的控制系统；
- 通过增加具有更宽视野的摄像头来提升水果视觉系统；
- 评估OrBot在水果采摘中的性能。

2. 材料与方法
2.1. 水果采摘机器人：OrBot
为了研究机器人水果采摘技术，西北纳撒勒大学机器人视觉实验室开发了一个名为OrBot的机器人平台。OrBot由以下组件构成：执行器、手眼视觉系统、立体视觉系统、末端执行器、控制系统、电源以及基于履带的导航平台（图1）。
2.1.1. 执行器
OrBot采用了第三代Kinova机械臂（Kinova Robotics，加拿大魁北克省Boisbriand）[11]，该机械臂具有六自由度，伸展距离为902毫米，最大负载能力为2千克（超过苹果的重量），最大运输速度为500毫米/秒，平均功耗为36瓦。
2.1.2. 手眼视觉系统
OrBot的早期版本只有一个视觉系统[10]，本文将其称为手眼视觉系统。该系统与末端执行器集成，包含分辨率为1920×1080像素的彩色传感器（视场角达65度）和分辨率为480×270像素的深度传感器（结合立体视觉和被动红外感应技术，视场角为72度）。彩色传感器用于检测水果，深度传感器用于测量水果与末端执行器之间的距离。
2.1.3. 立体视觉系统
在当前版本的OrBot中，新增了一个视觉系统[12]。该系统固定在末端执行器上，不随末端执行器移动。ZED 2立体相机（Stereolabs，美国加利福尼亚州旧金山）被用作立体视觉系统[13]，其视场角为110°（水平）× 70°（垂直），分辨率为2×1920×1080像素，检测距离范围为0.3米至20米。
2.1.4. 末端执行器
末端执行器为标准的两指夹持器，夹持行程为85毫米，夹持力介于20至235牛顿之间，可根据目标水果进行调整。定制的3D打印夹持器手指设计用于应对大型水果，并适应水果的球形表面。
2.1.5. 控制系统
控制系统采用ZED Box Orin NX（Stereolabs，美国加利福尼亚州旧金山），由NVIDIA Jetson Orin NX处理器驱动，配备Ampere GPU、Arm Cortex CPU和LPDDR5内存，以及多个USB端口、以太网接口、HDMI接口和摄像头接口[14]。控制系统运行Ubuntu操作系统，并使用Python 3.10作为编程语言。机器人体舱上安装了折叠式键盘和显示器，便于现场操作。
2.1.6. 路径导航平台
OrBot采用HD2 Treaded ATR Tank Robot Platform[15]，由两台24VDC齿轮电机驱动（配备编码器），负载能力为45千克。该平台可安装OrBot及其组件、电源和其他所需材料。
2.2. 对象检测算法
YOLO（You Only Look Once）是一系列基于PyTorch 2.0.0开发的实时对象检测模型，由Ultralytics公司开发[16]。本研究使用的是YOLOv5版本。YOLOv5的架构包括主干网络（backbone）、颈部网络（neck）和头部网络（head）：主干网络是基于CSPDarknet53结构的卷积神经网络，负责生成最终结果；颈部网络连接主干网络和头部网络。YOLO提供了训练模型所需的工具和Python脚本，允许根据特定需求调整模型参数。评估对象检测模型时，常用平均精度（average precision）作为指标。精度表示模型在每个召回率水平上的准确率（正例数量与正例总数之比）；召回率表示模型识别所有相关实例的能力（正例数量与正例和负例总数之比）。要判断预测对象是正例还是误判，需确定IoU（Intersection over Union）阈值——IoU衡量预测结果与真实标签之间的重叠程度，超过阈值的视为正例，否则视为误判[17]。
2.3. 水果采摘控制系统
2.3.1. Robot Operating System（ROS）
Robot Operating System（ROS）是一套用于构建机器人应用程序的软件库和工具，涵盖了从驱动程序到先进算法的各种工具，是机器人开发所需的开源资源[18]。ROS2的核心优势在于其模块化设计，允许将机器人系统分解为独立子系统并行开发和运行。在ROS2环境中，每个子系统被视为一个节点，可与其他节点异步交互[19]。节点之间通过“主题”（topics）进行单向异步通信：节点可通过发布消息（publish）或订阅消息（subscribe）实现通信。
2.3.2. 为OrBot设计ROS2应用程序
项目的首要任务是重新设计OrBot的软件以支持ROS2。为此，软件开发语言从MATLAB切换为Python。OrBot的控制系统最初使用MATLAB开发，后续增加了一个具有更宽视野的摄像头。
2.3.3. OrBot的性能评估
本研究旨在通过实际测试验证OrBot在水果采摘方面的性能。另一个例子是“tank treads”节点中的一个订阅者，每当接收到与电机速度相关的消息时，它就会调用一个方法来改变电机的速度。要使用这个类，首先需要创建一个该类的实例，然后调用`spin()`函数。这种形式的基本框架可以在图3中看到。

2.4. 双摄像头系统
2.4.1. 手眼协调系统与手眼-手协调系统
项目的下一个目标是在系统中添加第二台具有更宽视野的摄像头，这台摄像头需要相对于导航平台保持静止。这意味着摄像头需要与机械臂实现手眼协调，这与第一个位于抓取器后面的摄像头所使用的手眼协调方式不同。
连接到抓取器上的摄像头是Intel RealSense摄像头（RealSense公司，美国加州库比蒂诺市[20]）。这款摄像头及其使用的手眼协调技术非常适合执行采摘苹果所需的精确动作。然而，手眼协调摄像头的视野非常小，只有72度，几乎无法看到树上的大部分苹果。虽然可以实现搜索算法让机械臂移动并使摄像头扫描整棵树，但这个过程既繁琐又效率低下。因此需要一台视野能够覆盖整棵树的新摄像头。
在这个项目中使用的是StereoLabs（美国加州旧金山市）开发的ZED 2立体视觉摄像头。这款摄像头的视野比手眼协调摄像头宽得多，达到了120度。ZED 2需要搭配Nvidia显卡使用。
ZED SDK能够计算出3D点云，其中每个像素都可以映射到相对于摄像头的笛卡尔坐标上。利用这些点云，可以确定图像中苹果的位置。这使得使用手眼协调摄像头来确定摄像头的三维位置变得更加容易。

2.4.2. 手眼协调
实现手眼协调意味着将摄像头看到的图像转换成机械臂需要移动的坐标。可以使用3D点云找到从摄像头到苹果的向量。然而，要使机械臂移动到苹果的位置，还需要知道从机器人基座到苹果的向量。这可以通过从摄像头到苹果的向量`????????`和从机器人基座到手眼协调摄像头的向量`????????`来计算，如图4所示。通过物理测量从机器人到摄像头的向量，并将其从点云得到的向量中减去，就可以建立手眼协调。
通过以下方程建立手眼协调：`???????? + ???????? = ????????`。其中，`????????`定义了手眼协调摄像头相对于机器人原点的位置，该原点由外部相机参数矩阵表示：
```plaintext
?? ? ? ??
100 ?0.361 0 10 +0.795 0
0 01?0.175 0 0 1
?? ? ? ??
```
`????????`定义了苹果相对于手眼协调摄像头的位置。将这两个位置向量相加，就可以得到`????????`，这个向量用于指引末端执行器朝苹果移动，而精确的采摘动作则由手眼协调摄像头控制。

2.5. 果实采摘效果评估
OrBot的果实采摘性能在实验室和商业果园中都进行了测试（见图5）。在实验室测试中，使用了两棵树上随机放置了五个人造水果的人工树。实验室的照明由房间的荧光灯提供。测试过程中测量了采摘成功率及采摘时间。采摘成功率是指机器人实际采摘到的水果数量与理论上可以采摘到的水果总数的比例。当手眼协调摄像头搜索水果时，它会记录所有可达到的水果，这些可达到的水果被视为可采摘的水果。OrBot被编程为从第一棵人工树开始采摘水果，然后移动到第二棵树继续采摘剩余的水果。采摘完成后，水果会被重新放回树上，整个测试重复了五次。
OrBot还在美国的爱达荷州Caldwell市的Symms Fruit Ranch商业苹果园进行了测试。该果园种植的是Pink Lady苹果。这些半矮化的苹果树采用纺锤形结构种植，每两棵树之间的距离约为两米。测试过程中，OrBot同样从第一棵树开始采摘，然后移动到下一棵树。手眼协调摄像头在其视野范围内搜索水果并识别出可采摘的水果。当视野内没有更多可采摘的水果时，OrBot会继续前进，直到找到新的可采摘水果为止。采摘测试分别于2024年11月和2025年11月的中午，在良好的天气条件下进行。

3. 结果
3.1. 室内测试
在所有室内测试的重复实验中，OrBot都能成功地识别并采摘所有水果。图6展示了发现水果、定位水果以及采摘水果的整个过程。从图中可以看出两个摄像头视野的差异：手眼协调摄像头的视野更广，而直接安装在抓取器上的摄像头的视野较窄。

3.2. 室外测试
在室外测试中，如果目标水果被识别并在树上被摘下，则认为采摘成功。图7(a)显示了手眼协调摄像头在寻找目标水果时的视图，图7(b)显示了在采摘水果时的精确移动视图。图7(c)和(d)展示了机器人在进行水果搜索和采摘时的姿态。OrBot会自主沿果树行移动，当识别到目标水果后停止。在第一次采摘季节，OrBot从二十棵树中采摘了120个苹果，成功率为75%；第二次采摘季节，OrBot从同一行树中采摘了150个苹果，成功率为79%。这些苹果的直径在6厘米到8厘米之间，重量在100克到200克之间。有些水果上有由抓取器造成的凹痕，但这些仍被计为成功采摘的水果。

4. 讨论
OrBot在室内测试中实现了100%的采摘成功率，证明了其自动采摘水果的能力。在室内测试中，OrBot在移动过程中没有遇到任何问题。实验还表明，双摄像头系统有助于更有效地寻找水果。手眼视觉系统在移动过程中同时进行水果搜索。一旦识别到目标水果，OrBot会停止并切换到手眼协调控制，通过精确定位目标水果后进行采摘。采摘完成后，控制权再次转移到手眼协调视觉系统。
然而，在商业果园中的测试中，OrBot的采摘成功率下降到了约77%。失败的原因包括硬件和软件故障：软件故障包括未能识别水果或虽然识别到水果但尝试采摘了其他水果；硬件故障包括末端执行器未能成功采摘水果或无法接近目标水果。这些故障的分布情况如表1所示。
表1显示了不同故障类型及其出现频率。在未能识别水果的情况下，有些情况下OrBot虽然位于果树前方但未能识别出任何水果，这主要是由于照明条件不佳。研究表明，照明变化是影响采摘效果的外部因素之一[21]。当机器人和水果的位置导致逆光效应时，水果在图像中显示得很暗，而在室内测试中由于水果始终处于正面光照下，因此没有这个问题。在未来的测试中，将考虑包括不同的照明条件（如阴天、晴天、正面光照和背面光照）来训练水果识别算法。
另一个软件故障是机器人采摘了错误类型的水果。尽管如此，在成功采摘其他水果后，OrBot会再次尝试采摘目标水果。还有一些情况下，机器人会在目标水果和附近的其他水果之间徘徊而无法决定。目前，系统依靠图像中水果的大小进行目标定位，但未来需要考虑水果相对于机器人原点的相对位置。
在末端执行器未能成功采摘水果的情况下，问题出在末端执行器的设计上[22]。当前的末端执行器使用的是标准的两指抓取器，其手指经过定制以适应苹果的形状。由于采摘的苹果大小不一，机器人在采摘较小水果时存在困难。一项关于番茄末端执行器的研究指出，水果的直径会影响抓取效果[23]。因此需要对末端执行器进行改进以确保正确采摘水果。此外，本采摘季节还尝试了使用真空采摘器[24]，初步测试显示其采摘效率提高了90%以上，但还需要进一步测试和设计优化来验证其效果。

5. 结论
本研究提出了一种改进的机器人果实采摘系统——OrBot（OrBot），旨在通过自动化解决特色作物生产中的劳动力短缺问题。通过集成双摄像头视觉系统、将控制架构升级至Robot Operating System 2（ROS2），并实施基于Python的模块化软件框架，改进后的OrBot平台在水果检测、系统协调以及收割效率方面相较于前几代产品有了显著提升。在实验室和商业果园环境中的实验评估均证明了该方法的有效性：在受控室内条件下，OrBot的收割成功率达到了100%；而在室外果园测试中，其收割成功率为75%至80%，且在果园修剪后性能进一步提升。双摄像头配置表现出色，既实现了高效的大范围水果搜索（通过“眼到手”视觉系统），也支持精准的操作（通过“眼到手”系统）。这些结果表明，结合互补的视觉模式能够有效弥补单摄像头系统在视野范围和精度方面的局限性。

实地测试还揭示了一些亟待解决的挑战，这些挑战对于进一步提升系统的可靠性和商业可行性至关重要。例如，变化的光照条件（尤其是背景光）会降低水果识别的准确性，因此需要更强大的训练数据集和自适应视觉算法。当前夹持器设计的部分缺陷影响了小型水果的收割效果，表明采用基于真空技术的替代末端执行器可能会提高作业的稳定性。此外，在杂乱环境中，深度估计和目标跟踪的准确性存在问题，这凸显了集成多传感器数据以及改进距离估计策略的重要性。

综上所述，本研究结果表明，机器人水果收割技术是一种可行且极具前景的解决方案，有望辅助果园作业。尽管还需进一步完善以提高速度、稳定性和经济可行性，但本文所取得的进展为实现自主收割系统的实际应用奠定了重要基础，这样的系统将在劳动力日益紧张的背景下支持可持续的食品生产。