面向密集果园环境中双臂机器人梨花授粉的分层深度强化学习

《Computers and Electronics in Agriculture》:Hierarchical deep reinforcement learning for dual-arm robotic pear blossom pollination in dense orchard environments

【字体: 大 中 小 】 时间:2026年10月24日 来源:Computers and Electronics in Agriculture 10.3

编辑推荐:

   - 分层深度强化学习协调双臂梨花授粉中的调度与运动控制。- Transformer-JointQ联合评分可行目标对以进行协调调度。- PCCS-MATD3在平滑性与协调性约束下自适应调整控制偏好。- 仿真与果园试验验证了双臂协同梨花授粉的可行性。引言梨是一种具有重要经济价值的

  

- 分层深度强化学习协调双臂梨花授粉中的调度与运动控制。- Transformer-JointQ联合评分可行目标对以进行协调调度。- PCCS-MATD3在平滑性与协调性约束下自适应调整控制偏好。- 仿真与果园试验验证了双臂协同梨花授粉的可行性。引言梨是一种具有重要经济价值的水果作物,其可靠的坐果率和果实质量高度依赖于有效的授粉。由于大多数梨品种具有自花不亲和性,成功受精和坐果通常需要异花授粉(Claessen等,2019)。在自然条件下,梨花之间的花粉传递主要依赖传粉昆虫,因此授粉效率强烈依赖于开花期间传粉昆虫的数量和天气状况。近年来,全球气候变化和化学农药的大量使用导致包括蜜蜂在内的自然传粉昆虫种群数量下降,从而增加了现代梨园中授粉不足的风险(Centeno-Alvarado等,2023;Fijen等,2025;Paudel等,2025)。因此,人工辅助授粉已成为提高梨生产中授粉效率和坐果率的重要手段(He等,2025)。然而,梨花花期短、花量大且花朵分布密集,使得人工授粉劳动强度极高、成本巨大,难以在有限的开花窗口期内满足大规模果园的作业需求。这些限制促使人们对智能化梨果生产中高效自动授粉技术产生了越来越高的关注度(Q. Zhang等,2025)。液体授粉和无人机授粉近年来作为梨园作业中颇具前景的方案而崭露头角。Xu等(2023)利用多旋翼无人机研究了喷雾量、飞行高度和授粉策略对液滴沉积和授粉效果的影响,表明适当的操作参数可以提高梨花和花序的坐果率。Wang等(2024)进一步考察了无人机飞行参数、花朵发育阶段和喷雾频率的影响,证明授粉时机和操作条件均会影响最终坐果率。尽管取得了这些进展,此类方法通常将花粉大面积分布于树冠之上,而非精准递送至单朵花朵,因此目标级控制能力有限。这可能导致过度坐果,从而增加后续疏果的工作量。因此,在单朵花层面实现精准花粉递送对于在保持授粉效果的同时减轻后续果园管理负担具有重要意义。机器人在授粉领域的最新进展显著提升了花朵级作业所需的感知和操作能力。例如,Li等(2022)将花轮廓信息与中轴特征相结合,估计机器人在猕猴桃授粉中的作业位置和姿态,从而实现授粉位置和花朵姿态的精确定位。Bhattarai等(2025)开发了一种基于视觉的苹果授粉系统,将花朵识别、花粉喷洒和机械臂控制集成于统一平台中,使单朵花能够被自动识别并选择性授粉。Ahmad等(2024)利用视觉伺服策略,在真实果园条件下使用机器人西瓜授粉装置实现了较高的授粉成功率。综合来看,这些研究突出了视觉感知、姿态估计和闭环机器人控制在推进精准授粉自动化方面的重要作用。尽管取得了这些进展,现有大多数授粉机器人仍依赖单机械臂的顺序操作,当需要在短花期处理大量花朵时,其吞吐量受到限制。这一局限在梨园中尤为突出,因为梨花分布密集且可用的授粉窗口期极短。双臂系统通过并行执行提供了提高作业能力的手段;然而,由此产生的协调问题不仅仅是在时间上同时操作两个机械臂那么简单,因为目标分配、负载均衡、共享工作空间冲突和连续运动控制变得紧密耦合。Barnett等(2020)指出多臂系统的效率在很大程度上取决于目标分割和任务分配。与猕猴桃采摘相比,梨花授粉涉及更密集的花朵簇和相邻目标之间更短的距离,对任务调度与运动执行之间的协调提出了更严格的要求。在双臂农业机器人领域,任务协调通常通过基于启发式或优化的调度方法来处理。例如,Zhu和Vougioukas(2025)提出了一种用于多臂水果采摘的快速启发式策略,集成了工作空间分区、采摘序列分配和防碰撞轨迹生成。Liu等(2026)采用改进的遗传猎豹优化(GCO)算法进行双臂草莓采摘,通过序列优化减少共享操作区域内的目标冲突。这些研究凸显了任务调度对提高多臂农业机器人作业效率的重要性。然而,此类方法通常由手工设计的规则、预定义的成本函数或搜索程序来主导,难以表征密集分布的梨花目标、双臂状态和共享工作空间约束之间的耦合关系。随着目标密度增加或空间分布变得更加不规则,对预定义启发式规则的依赖可能进一步限制调度过程的全局协调能力和适应性。深度强化学习(DRL)提供了一种替代方案,它可以直接从与环境的交互中学习调度策略,而不仅仅依赖固定的启发式规则。Niu等(2025)将多智能体近端策略优化与多目标贪婪策略相结合,优化目标分配和采摘顺序;Li等(2023)将DRL应用于多臂苹果采摘的任务规划,报告了平均采摘周期的显著减少。然而,现有的基于强化学习的调度器主要面向水果采摘任务开发,在这些任务中目标通常占据较大的操作区域且具有更明确定义的抓取位置。梨花授粉呈现出不同的调度问题:目标更小、分布更密集、空间间隔更短,因此选择一朵花可能直接影响后续授粉决策的可行性和效率。因此,双臂梨花授粉的高层调度不仅需要目标分配学习,还需要显式建模候选目标之间的空间依赖性,以支持更协调的任务规划。注意力机制和Transformer架构非常适合满足这一需求,因为它们可以表征候选目标集合内部的相互作用(Gong等,2024;W. Li等,2024;S. Zhang等,2024)。Kool等(2018)引入了基于注意力的模型来解决旅行商问题和车辆路径问题等组合优化问题,证明了其捕获目标节点之间关系并支持序列决策的能力。在双臂梨花授粉中,候选目标同样可以被视为一个空间目标集合,Transformer自注意力提供了一种建模全局空间关系和连续目标选择之间潜在依赖关系的方法。然而,大多数现有的基于注意力的调度方法是为一般组合优化问题开发的,并未明确考虑机器人约束,如机械臂可达性、负载均衡和共享工作空间安全性。因此,剩余的挑战在于如何将目标集合表征与双臂状态交互和工作空间约束集成到统一的机器人梨花授粉调度框架中。低层运动规划是影响双臂机器人授粉效率和可靠性的另一个关键因素。现有的农业机器人运动规划方法主要分为两类:基于采样的规划和基于学习的连续控制。对于基于采样的规划,Ye等(2021)研究了荔枝采摘机器人的防碰撞运动规划,将姿态优化与改进的双向RRT*算法相结合以实现避障。Shi等(2022)将目标偏置策略和成本函数引入基于RRT的规划,以减少冗余的随机探索。Long等(2023)进一步提出了RRT*Smart-AD动态运动规划方法,使轨迹能够同时满足避障、动态约束和碰撞约束。这些研究表明,基于采样的方法可以有效地处理农业机器人应用中的几何和碰撞约束。然而,它们在高维双臂协作任务中的应用仍然具有挑战性,因为通常需要反复采样和重新规划。此外,规划效率和轨迹质量可能受到采样策略和环境复杂性的影响。与基于采样的规划器不同,深度强化学习(DRL)可以通过与环境交互获取连续控制策略,为复杂农业环境中的机器人运动控制提供了一种替代范式。Lin等(2021)将循环神经网络与DDPG结合,用于番石榴采摘机器人的防碰撞运动规划,证明了DRL在农业机器人连续运动决策中的潜力。Prianto等(2021)将SAC应用于动态环境中的多机器人碰撞避免;Guo等(2025)将LSTM与PPO集成用于双臂抓取,通过同时考虑任务成功率、运动效率和碰撞安全性来提高执行性能。综合来看,这些研究展示了基于学习的控制在农业机器人领域的日益增长的潜力。然而,许多现有方法要么强调有限的控制目标集,要么使用预定义的固定奖励权重来组合多个目标,训练后各竞争目标之间的相对偏好不变,从而限制了其对不同任务条件的适应性。这一局限在密集的双臂梨花授粉中尤为重要,因为仅靠无碰撞目标到达不足以实现持续作业。目标分布、工作空间约束和机械臂状态的变化不断改变效率、安全性和协调性的相对重要性,使固定的奖励偏好难以适应所有操作条件。此外,仅凭面向任务的奖励无法显式调节动作连续性或两个机械臂之间的协调运动。因此,有效的低层控制要求策略在适应当前任务状态的同时,保持平滑协调的双臂运动。为此,我们引入了一种偏好条件化的协调平滑机制,该机制动态调整与任务相关的控制偏好,并联合调节执行效率、碰撞安全性和运动质量。基于上述考虑,我们将双臂梨花授粉构建为一个分层决策问题,而非一系列独立的目标到达操作序列。所提出的分层深度强化学习框架将整体任务分解为高层目标调度和低层连续协作运动控制,从而允许离散分配决策和连续执行策略在各自适当的决策尺度上进行优化。在调度层面,Transformer-JointQ通过对候选梨花目标之间关系的建模,并结合双臂状态和动作可行性约束来联合评估可行的目标组合,从而实现协调的目标分配和授粉序列决策。在控制层面,PCCS-MATD3在双

该框架包含一个高级任务调度器,用于双机械臂目标分配和授粉序列决策,以及一个低级控制器,用于为分配的目标生成连续的关节动作。采用顺序训练策略以简化优化:PCCS-MATD3 是。实验 提出的分层深度强化学习框架在模拟和真实世界实验中均进行了评估。在模拟中,首先将低级 PCCS-MATD3 控制器与固定权重方法进行比较,以评估其在双机械臂连续运动控制中的性能。然后,将训练好的低级控制器与高级 Transformer-JointQ 调度器集成,评估了其在不同目标规模下的目标分配和调度性能。

结论 本研究通过一种耦合高级目标调度与低级连续运动控制的分层深度强化学习框架,解决了密集梨花环境中的双机械臂机器人授粉问题。在高级层次上,Transformer-JointQ 建模候选目标之间的空间关系,并整合机械臂状态、任务负载、可行动作约束和共享工作空间信息,以实现协调的双机械臂目标分配。在低层次上,CRediT 作者贡献声明 盖晓建:撰写 – 原稿、项目管理、方法论、调查、形式分析、概念化。徐昌:撰写 – 审阅与编辑、验证、调查、形式分析。李艳芳:资源、调查、数据整理。戚鹏:监督、资源、方法论、调查。王书博:撰写 – 审阅与编辑、监督、项目管理、资金获取。

生成式人工智能及人工智能辅助技术在写作过程中的声明 在本工作准备期间,作者使用了 ChatGPT 来提高语言清晰度和可读性。使用此工具后,作者根据需要审阅和编辑了内容,并对出版物的内容承担全部责任。

利益冲突声明 作者声明他们没有任何已知的竞争性经济利益或个人关系,这些利益或关系可能会影响本文所报告的工作。

致谢 本研究由山东省自然科学基金资助(项目编号 ZR2024QC084);山东省重点研发计划(项目编号 YDZX2025022);国家重点研发计划项目(项目编号 2025YFD1700500 和 2023YFD2001104);山东省农业科学院国际科技合作项目(项目编号 CXGC2026H26)资助。

盖晓建 | 徐昌 | 李艳芳 | 戚鹏 | 王书博
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号