《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:Toward generalizable robotic assembly: A prior-guided deep reinforcement learning approach with multi-sensor information
编辑推荐:
朱子露|刘永奎|王倩姬|王紫楠|王丽辉|刘思超|子斌|张琳西安电子科技大学机械电子工程学院,中国陕西西安710071摘要个性化制造的兴起对机器人组装带来了重大挑战。虽然基于学习的方法提供了有前景的解决方案,但它们通常存在训练效率低和泛化能力差的问题。为了解决这些限制,本文提出了一
朱子露|刘永奎|王倩姬|王紫楠|王丽辉|刘思超|子斌|张琳
西安电子科技大学机械电子工程学院,中国陕西西安710071
摘要
个性化制造的兴起对机器人组装带来了重大挑战。虽然基于学习的方法提供了有前景的解决方案,但它们通常存在训练效率低和泛化能力差的问题。为了解决这些限制,本文提出了一种高效的基于先验指导(PG)的深度强化学习(DRL)方法,用于利用多传感器信息进行通用的机器人组装。首先,引入了一种分阶段的多传感器信息融合方法。然后,设计了一种结合MobileNetV3-Lite和传统数字图像处理的视觉特征提取方法,以及一种基于规则的力特征提取方法,以提取低维特征作为先验指导知识。在此基础上,提出了一种软 actor-critic(SAC)算法,该算法将门控循环单元(GRU)网络架构与PG集成在一起,从而实现了高效的组装技能学习。针对三种典型的组装技能(即搜索、对齐和插入)进行了仿真和物理实验。结果表明,与基准SAC算法相比,我们的特征提取方法将视觉特征维度减少了93.75%,并为DRL提供了准确的先验指导知识。所提出的组装技能学习算法平均训练时间减少了30.16%,平均完成步骤减少了16.82%。此外,所有学习到的技能可以快速转移到不同的对象上,并且所有组装任务都能高效且合规地完成,平均成功率为96.86%。
引言
工业机器人是智能制造系统的重要组成部分,在物料处理、焊接、组装、喷涂、磨削等关键工业过程中发挥着至关重要的作用。其中,机器人组装是生产中的关键阶段,在航空航天、汽车、3C电子和机电设备制造等行业得到了广泛应用。传统上,机器人通过预编程的轨迹执行组装任务,在结构良好的环境中实现了高精度和重复性。然而,对个性化和小批量生产的日益增长的需求给传统的结构化机器人组装系统带来了重大挑战,这迫切需要机器人在不确定的环境中和不同的任务中具备改进的泛化能力[1]。同时,具身人工智能(EAI)的新兴范式为提升机器人智能提供了框架。在这一框架中,包括多传感器信息融合[2]、强化学习(RL)[3]、模仿学习(IL)[4]和多模态大型语言模型(MLLMs)[5]在内的关键赋能技术在赋予机器人增强的环境感知、自主决策和灵活任务规划能力方面展现了巨大潜力[6]。这些技术进步显著提高了机器人组装系统的适应性和泛化能力,为更加多功能和智能的制造解决方案奠定了基础。
近年来,深度强化学习(DRL)在使机器人获得操作技能和增强泛化能力方面展示了巨大潜力,尤其是在与组装相关的任务中。例如,Yin等人[7]开发了一个神经网络框架,将来自视觉摄像头的数据与来自力传感器的力反馈融合起来,并提出了一种基于DRL的高精度插销-孔组装方法。Ma等人[8]引入了一种基于Actor-Critic架构的DRL方法,在不同尺寸的轴套组装过程中表现出显著的性能。然而,DRL在实际工业环境中的部署仍受到几个根本性挑战的制约。在复杂的工业环境中,一个主要问题是多模态传感器数据的并行处理。这通常会导致维度灾难,显著增加计算开销,并可能在不同数据流之间引入冲突[9]。另一个主要限制是RL和其他基于学习的方法对数据的依赖性很强。这些方法通常需要大量的、特定于任务的训练时间[10],并且往往缺乏强大的泛化能力和零样本学习能力[11]。除此之外,机器人组装还要求极高的算法稳定性。即使是控制策略中的微小不准确也会影响组装过程的效率、质量和安全性[12]。这在电气连接器组装等任务中尤为关键,因为多模态感知要求使策略学习变得复杂,不同类型的连接器之间的泛化受到有限训练数据的阻碍,轻微的错误可能导致引脚弯曲或整个组装失败。
为了解决这些挑战,我们提出了一种基于先验指导的软 actor-critic(SAC)框架,该框架集成多传感器信息以实现高效的机器人组装技能学习和快速泛化。在此框架中,通过结合MobileNetV3-Lite和传统数字图像处理的混合方法提取视觉特征。同时,设计了一种基于规则的力特征提取模块来捕获必要的接触力和力矩信息。这些模块化的特征提取策略显著提高了组装技能学习的灵活性和适应性。由此产生的低维特征作为先验指导知识,有效加速了SAC的收敛。此外,引入了一种包含门控循环单元(GRU)的网络架构来模拟顺序组装动作中的时间依赖性。这种集成方法大幅提升了机器人学习效率,并实现了在不同对象之间的快速技能转移,从而满足了现代组装环境中个性化生产的动态需求。
本文的贡献如下。首先,提出了一种将SAC算法与GRU集成的方法,该方法将提取的视觉和力特征作为先验指导知识。与端到端的DRL方法不同,后者通常存在采样效率低、探索空间过大和收敛速度慢的问题,我们的方法显著提高了学习效率和策略稳定性。其次,为了获得低维但具有高度代表性和区分能力的特征作为先验指导,我们引入了一种分阶段的多传感器信息融合方法以及两种专门的特征提取方法,即混合视觉特征提取方法和基于规则的力特征提取方法。这种设计有效缓解了由于视觉和力模态之间的维度不平衡造成的学习效率低下和计算负担。与传统视觉特征提取方法相比,我们的方法在训练效率和特征质量方面都取得了更好的性能。第三,为了满足机器人组装严格的安全性和稳定性要求,我们开发了一个动作选择矩阵(ASM)和基于异步通信的安全约束机制。与依赖精确建模的传统控制策略不同,这些组件协同工作,使机器人组装操作更加高效、合规和安全。
本文的其余部分结构如下。第2节概述了机器人技能学习领域的相关工作。第3节介绍了提出的分阶段多传感器信息融合方法,并详细说明了生成先验指导知识的方法。第4节在基于先验指导的深度强化学习框架内正式对组装技能学习问题进行了建模,随后详细描述了所提出的基于先验指导的SAC算法。第5节通过一系列涉及三种基本组装技能(即搜索、对齐和插入)的案例研究来证明该框架的有效性。通过对广泛训练、仿真测试和物理机器人实验的严格验证,证明了所提出方法的性能、鲁棒性和泛化能力。第6节总结了本文的贡献,并讨论了未来研究的可能方向。
节片段
相关工作
近年来,智能机器人组装受到了广泛关注,并成为智能制造领域中的一个重要研究方向。这种兴趣的增长主要是由于包括感知、决策和执行在内的关键技术领域的协同进步。视觉和力传感器的感知技术已经得到了广泛应用。在决策方面,数据驱动的方法(如IL和RL)逐渐取代了传统的预编程方法
分阶段多传感器信息融合和基于先验的知识生成方法
在本节中,正式定义了组装技能的概念,并提出了一种分阶段的多传感器信息融合方法。介绍了两种提取视觉和力特征的方法,这些方法生成的先验指导知识作为后续学习算法的输入。
用于机器人组装技能学习的基于先验指导的DRL框架
为了解决基于RL的技能学习中训练效率低和策略收敛速度慢的问题,本节提出了一种基于先验指导的DRL的机器人组装技能学习建模方法及其相应的基于先验指导的SAC算法。
实验验证与分析
在本节中,建立了仿真和物理实验平台,并定义了三种典型的组装技能(即搜索、对齐和插入)。通过多次仿真实验对所提出的方法进行了训练和验证。最后,进行了从仿真到现实的转移测试和泛化测试以进行物理验证。
结论
总之,本文提出了一种利用多传感器信息的高效基于先验指导的DRL方法,用于通用的机器人组装。该方法解决了工业机器人组装中的关键问题,如灵活性差、适应性有限、学习效率低和策略不稳定,特别是在个性化和小批量生产的背景下。介绍了一种分阶段的多传感器融合方法,用于融合视觉、力和/或扭矩以及姿态信息
朱子露:写作——审阅与编辑、撰写初稿、可视化、验证、软件开发、项目管理、方法论研究、数据分析、概念化。刘永奎:写作——审阅与编辑、监督、资源协调、方法论研究、资金获取、概念化。王倩姬:写作——审阅与编辑、验证、软件开发、方法论研究、数据分析、概念化。王紫楠:写作——审阅与编辑、验证、软件开发、