面向水平棚架葡萄园双臂葡萄采摘机器人的基于规则、风险分级的多模态碰撞感知方法

《Engineering Applications of Artificial Intelligence》：A rule-based, risk-graded multimodal collision-perception method for dual-arm grape-harvesting robots in horizontal trellis vineyards

　　

## 摘要

水平棚架葡萄栽培已成为鲜食葡萄生产的主要栽培体系之一。然而，棚架内异质障碍物的存在严重限制了采摘机器人的作业效率，并对作业安全构成重大挑战。异质障碍物在机械响应、采摘过程中可能产生的接触后果以及任务相关性方面各不相同。因此，需要采用差异化的碰撞处理策略，而不是将所有环境元素视为等效的刚性障碍物。本研究提出了一种新型的高速安全运动规划方法，用于在包含多种异质障碍物的水平棚架葡萄园中运行的双臂机器人。研究建立了一个基于确定性规则的分类框架，将环境和机器人相关物体分为可接触耐受的冠层组织、受保护的果实目标、静态刚性障碍物以及动态机器人相关碰撞源。设计了一个融合红绿蓝深度视觉和激光雷达的综合感知系统，用于构建电子围栏以实现实时环境约束，同时基于统一机器人描述格式建立的机器人自碰撞模型确保了机器人本体与双臂之间的安全协调。此外，引入了一种双臂交替工作空间机制以防止臂间碰撞并维持连续作业。在水平棚架葡萄园的实验中，该方法实现了冠层高度和树干边界误差均低于0.04米，树干分割的交并比达到82.78%，采摘过程中无严重碰撞发生。平均每串采摘时间为4.02秒，成功率为93.2%，葡萄损伤率为3.0%。该方法在不影响效率的前提下提高了作业安全性。本研究为在果串密集且含有异质障碍物的水平棚架葡萄园中实现双臂机器人安全葡萄采摘提供了一种面向应用的智能解决方案。

## 引言

近年来，农业应用中的自主机器人研发，尤其是果实采摘领域，引起了越来越多的关注（Zhou等，2022）。采摘机器人的研发已从在受控的室内模拟环境中执行示范性任务，发展到在真实农业环境中执行作业（Chen等，2024a；Afsah-Hejri等，2022；Zhang等，2024）。随着人形机器人的快速发展，双臂机器人已成为最适合农业应用的配置，在替代农业作业中的手工劳动方面具有独特优势（Chand等，2025a、2026）。然而，实际田间环境中固有的随机性和多样性障碍物已成为限制机器人作业效率进一步提高的主要因素（Wijayathunga等，2023；Chukwurah等，2024）。为确保农业机器人在真实农田环境中安全高效运行，必须解决异质和非结构化条件下的障碍物规避挑战（Ahmed等，2021；Chand等，2025b）。有效解决这些问题不仅增强了机器人作业的安全性和稳定性，还加速了复杂农业环境中自主导航、精确操作和智能感知的发展，从而为实现高效可靠智能农业机械作业奠定了坚实基础。

在水平棚架葡萄园中，与其他复杂的自然和受控农业环境一样，障碍物表现出相当大的多样性和异质性（Deák等，2021）。因此，机器人系统在这些葡萄园中对这类障碍物的感知和规避已成为一个关键研究焦点（Botta等，2022）。为确保在真实农田环境中安全高效运行，农业机器人必须解决异质和非结构化条件下的障碍物规避挑战。在水平棚架葡萄采摘中，机器人手臂前方的典型障碍物包括柔韧的冠层组织、脆弱的葡萄串、刚性棚架结构、树干以及机器人本体本身，所有这些都可能干扰感知、运动规划和无碰撞采摘。农业环境包含各种各样的异质障碍物，它们在形状、大小、材质、外观、动态特性和碰撞类别方面各不相同，且随光照、天气和作物生长阶段的变化而波动。这种固有的复杂性对稳定的障碍物识别构成了重大挑战，并阻碍了深度学习模型的泛化能力。此外，这些障碍物多样的物理和语义特征需要差异化的规避策略，从而增加了机器人决策和控制逻辑的复杂性（Kashyap等，2022）。复杂环境下农业机器人的防碰撞研究通常采用视觉检测、三维激光雷达点云分割、多传感器融合、基于深度学习的障碍物识别以及局部路径规划技术（Ren等，2022；Chand等，2022）。在复杂的农业场景或冠层环境中，农业机器人尽管采用了视觉传感、点云处理和多传感器融合，仍难以保持稳定和可靠的防碰撞性能。在冠层内部，点云数据变得稀疏和碎片化，进一步降低了深度学习模型的泛化能力（Pagliai等，2022；Shao等，2022；Qi等，2021）。此外，大多数现有的障碍物规避方法仍然依赖于二维或简化的局部规划，难以准确描述实际可行空间。枝条和叶片的可接触耐受性也限制了传统刚性障碍物规避策略的适用性（Liu等，2025；Katona等，2024）。总体而言，农业机器人仍面临重大挑战，包括感知鲁棒性低、三维环境理解不足、障碍物规避策略适应性有限以及复杂冠层结构施加的农学约束，这些共同阻碍了其满足无人农业作业实际需求的能力（Jiang等，2025）。然而，将其直接应用于农业环境存在几个固有的挑战：

（1）感知负担。农业冠层包含大量叶片、嫩梢、枝条、果实、树干和支撑结构。同等感知所有元素会增加计算成本，并可能干扰对关键碰撞风险物体的检测。

（2）将所有农业特征建模为障碍物。由于农业特征在刚性、碰撞类别和采摘相关性方面各不相同，将所有农业特征建模为障碍物是困难的。同等对待可能导致过于保守的运动规划，并限制高速采摘效率。

（3）障碍物约束下的采摘效率。现有方法通常强调感知精度和安全性，但频繁停车、绕路和复杂的环境建模可能会降低采摘速度和作业连续性。

因此，本研究旨在开发一种双臂抗碰撞高速运动规划方法，专门针对多种异质障碍物约束下的水平棚架环境。该方法融合了葡萄棚架中常见障碍物的生物力学特征和基于图像的颜色特征。与传统方法不同，该方法不依赖于计算密集型的全局感知系统和高维环境模型，而是引入了一种统一的按类别划分的约束表示，动态评估异质障碍物之间的交互作用，包括刚性结构（棚架、树干）、柔性目标（葡萄串）和机器人本体（双臂、机器人结构）。基于这些差异化的碰撞类别，我们开发了一种确保抗碰撞性和高速运行的运动规划策略，能够适应刚性障碍物（如棚架结构和树干）以及柔性和脆弱目标（如葡萄串）。机器人整合内部和外部传感器以融合视觉图像和环境点云数据，实现对水平棚架结构中多种异质障碍物的感知。此外，机器人采用机械臂编码器和自碰撞检测模型以实现运动状态感知并优化任务调度。此外，该方法展现出强大的适应性，有效处理不同农业环境中障碍物的分布和干扰，从而提高了机器人在非结构化环境中的作业能力。总体而言，该方法通过整合风险分级障碍物建模、多模态感知和双臂协同碰撞规避，为农业非结构化环境中的机器人运动规划做出了贡献。通过区分柔性冠层组织、脆弱果串、刚性棚架结构和机器人自碰撞源，所提出的方法实现了差异化的规避策略，而不是将所有环境元素视为等效障碍物。这提高了双臂采摘作业的安全性、连续性和效率，为农业机器人在田间部署提供了实用的技术参考。

本文其余部分组织如下：第2节分析了葡萄水平棚架环境中多种异质障碍物带来的碰撞事件，并建立了分层碰撞分类。第3节提出了葡萄水平棚架的多种异质障碍物感知方案，包括棚架结构、葡萄树干、葡萄串、机器人本体和双臂运动感知。第4节描述了基于多种异质障碍物信息融合的无碰撞多模态融合采摘方法。第5节描述了实验设置、实地测试以及在真实葡萄园条件下的性能评估。第6节讨论了当前研究的局限性和未来发展方向。第7节呈现了研究内容并总结了主要贡献。

## 各章节片段

### 水平棚架中多种异质障碍物的碰撞事件分析

在葡萄水平棚架系统中，复杂的农业环境以多种异质障碍物为特征，包括棚架结构、葡萄树干、柔性冠层组织（如叶片和嫩梢）以及悬挂的葡萄串，所有这些都在机器人采摘期间增加了碰撞风险（Faheem等，2021；Sun等，2024）。同时，机器人本体和操作器也充当动态障碍物，因为重叠的工作空间和不受约束的轨迹可能

### 冠层、果串和树干单帧RGB深度感知

葡萄采摘机器人在感知枝干、叶片、支撑结构和树干等异质障碍物时面临重大挑战，每个障碍物具有不同的视觉特征。这些障碍物经常受到部分遮挡或重叠的影响，使复杂环境中的感知任务变得更加复杂。在实际采摘过程中，这些与碰撞相关的物体并非孤立的感知目标，而是直接约束机器人采摘的不同阶段。棚架屋顶高度

### 抗碰撞多模态融合采摘方法

为了清晰描述基于多模态融合的无碰撞采摘方法，本节根据双臂机器人的实际执行顺序进行了重新组织。所提出的方法主要包括四个步骤：（1）使用RGB-D相机、激光雷达和关节编码器进行多模态数据采集；（2）风险分级的障碍物感知和表示，包括葡萄串、树干、棚架结构和机器人本体；（3）多模态信息融合和

### 水平棚架环境

为了全面评估所提出的双臂机器人在具有多种异质障碍物的水平棚架葡萄园中的抗碰撞方法的可行性、作业安全性和采摘性能，于2025年8月和2026年7月在中国江苏省句容市爱瑞雅葡萄园进行了实地实验（图13）。实地实验评估的葡萄品种为"阳光玫瑰"和"夏黑"。在这个水平棚架系统中，

### 讨论与未来研究

农业机器人研究中的一个主要挑战始终是机器人在存在多种障碍物类型的农业环境中执行多阶段操作。与具有固定结构、单一任务和已知目标的工业环境不同，农业环境的特点是非结构化和动态的。与传统障碍物规避方法相比，所提出的方法通过基于规则的类别

### 结论

本研究提出了一种高速安全的采摘运动方法，用于在包含多种异质障碍物的水平棚架环境中运行的双臂机器人。通过整合生物力学特征描述、多模态感知和协同运动规划，所开发的框架有效地提高了复杂农业环境中双臂采摘作业的安全性和效率。首先，葡萄水平

## CRediT作者贡献声明

江应星：写作——审阅与编辑，写作——原稿撰写，方法论，概念化。刘济湛：写作——审阅与编辑，监督，项目管理，资金获取。吴硕：验证，形式分析，数据整理。江勇：软件，方法论。金宇成：写作——审阅与编辑，数据整理。赵晟熠：写作——审阅与编辑，验证。

## 作者声明

所有作者与本论文相关的任何利益冲突或附属利益均不存在。

## 利益冲突声明

作者声明，他们没有任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

## 致谢

本研究得到了江苏省现代农业机械装备与技术示范推广项目（编号：NJ 2022-03）、贵州省科技重大专项（编号：[2024]002）、江苏省高校优势学科建设工程（编号：PAPD 2023_87）以及江苏大学农业机械工程学院项目（编号：NZXB20210105）的资助。

现代农机装备与技术推广项目

江应星 | 刘济湛 | 吴硕 | 江勇 | 金宇成 | 赵晟熠

现代农机装备与技术教育部重点实验室，江苏大学，镇江，中国