《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:An MVUN-DP skill library-driven Embodied AI robotic assembly method with LLMs
编辑推荐:
王倩吉|刘永奎|朱子璐|刘思超|王子楠|子斌|王丽辉|张琳西安电子科技大学机械电子工程学院,中国陕西省西安市710071摘要如今,多品种、小批量的生产对机器人装配提出了重大挑战,推动了先进体化人工智能(EAI)的发展需求。然而,目前尚缺乏有效的方法来构建能够精确且稳健地执行形状可
王倩吉|刘永奎|朱子璐|刘思超|王子楠|子斌|王丽辉|张琳
西安电子科技大学机械电子工程学院,中国陕西省西安市710071
摘要
如今,多品种、小批量的生产对机器人装配提出了重大挑战,推动了先进体化人工智能(EAI)的发展需求。然而,目前尚缺乏有效的方法来构建能够精确且稳健地执行形状可变部件装配的技能库,以及在EAI方面训练面向装配的技能。为了解决这些限制,本文介绍了一个基于MobileViT + U-Net扩散策略(MVUN-DP)的技能库驱动装配框架,该方法能够构建具有高精度和抗环境干扰能力的多样化装配技能。首先,提出了一种基于MVUN-DP算法的系统化方法来构建机器人装配技能库。该方法针对具有不同几何形状的物体,通过领域随机化和数据集增强来训练装配技能,显著提高了对姿态不确定性和环境变化的鲁棒性。其次,引入了MVUN-DP算法来增强技能学习能力。在扩散策略(DP)的表达性动作生成能力的基础上,MVUN-DP结合了移动视觉变换器(MobileViT)进行细粒度视觉特征编码,从而实现精确和自适应的运动合成。第三,通过将MVUN-DP技能库与基于大语言模型(LLM)的任务规划和执行无缝集成,实现了语音到动作的装配。该框架在配备双RGB摄像头和力/扭矩传感器的UR5机器人平台上进行了广泛评估。对于行星齿轮装配等形状可变任务,MVUN-DP的平均成功率达到94.7%,在成功率和综合情节奖励方面均优于模仿学习基线,同时保持了较低的接触力和扭矩。此外,数据增强使策略对环境干扰的鲁棒性提高了7.12%。
引言
工业机器人装配在柔性制造中变得越来越重要[1],它被广泛应用于航空航天、汽车、3C电子和机电设备等多个行业[2]。传统上,机器人通过预编程的轨迹在结构化环境中重复执行装配任务,精度很高。然而,对多品种、小批量和个性化生产的需求不断增加,给机器人装配带来了前所未有的挑战,要求机器人能够以毫米级精度执行多技能装配,并具备合规的力控制能力,同时适应动态和非结构化环境[3]。与此同时,体化人工智能(EAI)作为一种变革性范式应运而生,与传统被动感知或孤立规划算法有根本不同。EAI认为智能来源于物理代理与其环境之间的互动,形成了“多模态感知 – 自主决策 – 物理执行 – 环境反馈”的闭环系统。为了实现这一目标,EAI系统被设计为通过利用人类示范的离线学习(例如模仿学习,IL)和通过物理互动的在线自我改进(例如强化学习,RL)来持续进化。最近,视觉-语言-动作(VLA)模型将这些范式整合到了大型基础模型中,如π0.6架构[4]中。这些模型可以从离线数据集中学习广泛的操控技能,并通过在线经验自主改进。这些发展为提高机器人装配的灵活性、适应性和语音到动作的执行提供了关键的技术支持。
最近,模仿学习(IL)在通过学习人类示范来获取机器人操控技能方面展示了不可或缺的潜力[5],特别是在装配应用中[6]。然而,一些重大限制阻碍了其在复杂工业机器人装配环境中的应用:首先,在应用场景方面,当前的EAI主要关注家庭服务任务(例如拾放、衣物折叠),这些任务可以容忍较高的空间误差。这些方法难以转移到需要亚毫米级精度和复杂接触动态的工业多技能装配中。至关重要的是,目前缺乏有效的方法来构建能够捕捉这种多样化和接触丰富的装配任务的多模态动作分布的稳健技能库。其次,在技能学习层面,当前的IL/RL基准难以捕捉精确控制所需的细粒度视觉特征。此外,尽管扩散策略(DP)[7]在模拟示范数据集中的动作分布方面表现出色,但其默认的ResNet编码器通常不足以提取不同工业装配场景所需的空间细节。第三,在系统集成层面,虽然基于VLA和LLM的规划器提供了直观的界面[8,9],但它们在工业应用中存在不足:在异构家庭数据集上训练的VLA表现出毫米级精度不足、力控制不可靠以及高延迟的问题,阻碍了高精度工业装配技能的部署[10],而用于任务规划的LLM通常依赖于解耦的、预定义的低级程序,而不是集成的学习技能[11]。
为了解决这些特定场景的挑战,本文提出了一种基于MobileViT + U-Net扩散策略(MVUN-DP)的技能库驱动装配框架,并与LLM集成用于规划,该框架建立在体化-智能-环境范式之上。这项工作通过引入一种针对高精度制造的装配导向技能库的构建方法,系统地解决了先前研究的局限性。核心的MVUN-DP算法结合了移动视觉变换器(MobileViT)进行细粒度视觉编码,以准确模拟专家示范中的多模态动作分布,同时利用领域随机化和数据增强来提高对环境干扰的抵抗力。最后,通过将基于LLM的语义规划与MVUN-DP技能执行无缝集成,实现了语音到动作的装配,为工业应用提供了实际价值。
本文的主要贡献如下:首先,提出了一种基于MVUN-DP的技能库构建方法,用于多技能工业机器人装配,在UR5装配场景中验证了八种装配技能。这种方法能够准确建模和再现专家示范中固有的多模态动作分布,优于IL基线和相关的领先装配方法。其次,提出了MVUN-DP算法,该算法结合了基于MobileViT的视觉编码器和基于U-Net的噪声预测网络进行装配动作生成。此外,通过结合领域随机化训练和离线数据增强,提高了策略在环境干扰下的鲁棒性,在复杂装配中实现了94.7%的最高成功率,同时保持了亚毫米级精度和合规的力控制,干扰抵抗力提高了7.12%。第三,通过将基于LLM的任务规划层与MVUN-DP技能执行层集成,实现了语音到动作的机器人装配过程,为工业应用提供了价值。
本文的其余部分组织如下。第2节回顾了EAI和机器人装配的相关工作。第3节介绍了MVUN-DP技能库驱动框架的总体架构。第4节详细介绍了基于LLM的规划层和MVUN-DP技能库。第6节通过多技能装配测试和语音到动作过程的实现,以及对规划层中的提示策略和技能库中的数据增强方法及算法配置进行了评估。最后,第7节总结了最终意见。
章节片段
相关工作
本节回顾了与EAI机器人装配范式相关的研究[12],重点关注两种主要方法:基于VLA的端到端大型基础模型和基于LLM + IL/RL的分层架构。
提出的MVUN-DP技能库驱动装配框架
本节介绍了MVUN-DP技能库驱动装配框架的总体架构(图1)。
MVUN-DP技能库驱动装配框架由三个关键组成部分构成:体化、智能和环境:
- •
体化包括机器人本体,其中包含传感器、末端执行器和控制器,以确保与环境精确互动。
- •
智能是核心,分为两部分:规划层和技能库。
基于LLM的规划层
规划层(图2)作为智能模块中的认知核心,利用LLM实现高级任务分解、自适应技能执行和动态决策。
规划层首先将多模态输入(包括人类自然语言指令、场景视觉观察和结构化提示)处理成LLM的纯语义输入。结构化提示主要嵌入了领域特定的知识库和技能文档,其中包含技能列表
基于MVUN-DP的技能库
本节介绍了MobileViT + U-Net扩散策略(MVUN-DP)机器人装配技能库,它是智能模块中的动作生成核心。每个技能都可以通过MVUN-DP策略网络实现,该网络通过多模态感知实现IK动作序列的执行。与已经能够捕捉示范中多模态动作分布的DP骨干相比,MobileViT的集成进一步增强了视觉编码器的能力
实验验证
本节介绍了MVUN-DP技能库驱动装配框架的实验验证,包括系统实现和组件性能评估。首先详细介绍了硬件配置和实验设置(第6.1节),然后是对LLM规划层的消融研究(第6.2节),以及评估MVUN-DP技能最佳算法配置的比较实验,并验证了基于MobileViT的视觉编码器的贡献
结论
本文介绍了一种基于MobileViT + U-Net扩散策略(MVUN-DP)的技能库驱动框架,它实现了工业机器人装配的自适应语义规划和多技能执行。首先,提出了一种系统化的方法来建立面向装配的技能库,能够准确捕捉专家示范中的多模态动作分布。其次,介绍了MVUN-DP算法,该算法结合了MobileViT进行细粒度视觉编码
CRediT作者贡献声明
王倩吉:写作 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。刘永奎:写作 – 审稿与编辑、验证、监督、资源管理、项目管理、方法论、调查、资金获取、形式分析、概念化。朱子璐:写作 – 审稿与编辑、验证、软件、方法论、调查、形式分析、数据整理,