基于强化学习的混合机器人柔性制造元技能框架

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：A meta-skill framework for flexible manufacturing with hybrid robot using reinforcement learning

　　

• 提出了一种由强化学习机制驱动的混合元技能框架。
• 基于机制与数据驱动模型，构建了精确的仿真环境。
• 设计了多目标奖励函数，以解决奖励稀疏性问题。
• 该方法应用于混合机器人铣削，使振动均方根值降低了94.7%。

**引言**

随着航空航天、汽车制造和造船等柔性制造领域的快速发展，机器人加工系统得到了广泛应用[[1], [2], [3]]。在传统生产范式中，机器人通常作为专用系统被集成，服务于钻孔、磨削、铣削和喷涂等特定应用。它们在固定生产线上运行，使用预编程指令执行预设任务。从硬件角度来看，机器人通过配备各种类型的末端执行器或部署在导轨和AGV等多种移动平台上，表现出较强的任务重构能力。然而，这种能力受到当时机器人智能化水平的限制。虽然硬件可以快速重构，但相应的控制逻辑和运行能力仍局限于特定场景的预编程模式。因此，机器人控制系统缺乏自适应调整能力，这限制了其在动态生产环境中充分挖掘灵活性的能力，无法满足柔性制造系统对快速调整和自适应响应的核心需求。这一矛盾促使研究者将关注点转向具身智能范式，旨在赋予机器人感知环境变化并自主调整行为的能力。通过这种方式，可实现面向任务的系统重构，使机器人能够有效响应柔性生产的需求。

目前，具身智能已成为一种变革性的控制范式。其核心理念是通过智能体与其环境之间的持续交互，构建"多源感知—自主决策—物理执行—环境反馈"的闭环控制架构。在该范式中，智能体可以利用人类示范数据进行模仿学习（IL），也可以通过与环境在线交互进行强化学习（RL）而持续进化，从而提高适应性。近年来，视觉—语言—动作（VLA）模型的发展拓展了该范式的边界。然而，其以任务为中心的学习方法在面对开放世界场景中的新任务时，仍面临数据效率和泛化能力的双重挑战[[4], [5], [6]]。为解决这一局限，RoboMatrix[7]提出了一种以技能为中心的分层框架，通过从复杂任务中提取可复用的元技能，使机器人能够重新组合现有技能来完成未见过的任务。这种从"学习特定任务"到"学习可组合能力"的转变，不仅提高了模型的泛化能力，也为实现机器人在柔性制造中快速且自适应的部署提供了切实可行的新视角，从而扩展了其在动态生产环境中的应用潜力。

在元技能获取领域，当前主流方法主要通过示范学习从人类专家数据中提取可复用的技能知识，并在柔性装配场景中取得了显著进展。例如，Chu等人[8,9]使用分层模仿学习模型学习人类的"感知—决策—操作"装配技能，实现了公差为0.05毫米的精密轴孔装配。他们进一步引入了多任务元学习框架，使机器人能够快速适应多边形轴孔装配任务。Wang等人[10]构建了MVUN-DP技能库，通过将扩散策略与基于大语言模型的规划相结合，在八种非标准装配任务中实现了技能复用，平均成功率高达94.7%。然而，这些方法主要针对装配任务设计，且高度依赖人工专家数据，难以直接推广到铣削和钻孔等加工任务。其根本原因在于：（1）容错差异，加工过程涉及刚性接触，试错成本高；（2）数据可用性差异，在加工场景中难以获取高质量专家数据来支持技能泛化。为减轻对高质量示范数据的依赖，Gu等人[11]提出了一种面向任务的混合学习方法，该方法结合了行为克隆、生成对抗模仿学习和近端策略优化。通过用VR示范初始化策略并利用内在奖励引导探索，他们在多种操作任务中实现了高成功率和强鲁棒性。因此，如何克服现有元技能获取方法的场景局限，构建适合加工任务的高效技能学习框架，已成为一个亟待解决的关键问题。

强化学习作为具身智能的另一种关键方法，通过与环境持续交互和试错来在线优化控制策略，在应对动态不确定性和复杂序贯决策问题方面展现出独特潜力。与关注"从人类身上模仿什么"的模仿学习不同，强化学习强调"如何通过探索发现最优策略"，使其更适合加工场景。现有的基于强化学习的机器人技能获取方法可分为两类。纯数据驱动方法直接学习从状态到动作的映射。虽然实现简单，但存在样本效率低和泛化能力有限的缺陷[12,13]。为解决该问题，Yang等人[14]提出了一种基于目标的臂-手协调框架GBAGC-RL，该框架从少量示范中提取任务结构，显著提高了复杂操作任务的学习效率和跨任务迁移能力。相比之下，融入物理先验的混合方法将强化学习与物理模型相结合，在数据效率和系统稳定性之间取得了平衡，展现出更强的通用性。例如，在文献[15]中，强化学习与可变阻抗控制相结合，在连接器插入任务中在线调整阻抗参数，平衡了位置精度和接触柔顺性。Zhao等人[16]将强化学习与虚拟排斥势场相结合，提出了VRPF-SAC智能体，用于优化机器人铣削任务中的关节构型。Hua等人[17]将强化学习应用于移动机器人磨削布局与轨迹分配，显著提高了加工效率和可操作性。这些研究表明，强化学习在赋予机器人自适应能力方面具有巨大潜力。然而，无论是纯数据驱动还是物理信息驱动方法，其训练和验证都高度依赖高保真仿真环境。仿真不仅为强化学习提供低成本、无风险的交互数据，还作为在复杂约束下评估策略泛化能力的关键平台。因此，为加工任务构建精确高效的仿真环境是强化学习实际应用的基本前提。

数字孪生技术构建了与物理实体实时映射的虚拟模型，将仿真从离线设计扩展到在线运行，为制造过程的透明监控和闭环优化提供了新范式。近年来，数字孪生在机器人加工领域得到了广泛探索。Zhu等人[18]开发了一种基于迁移学习的智能铣削监测系统，实现了刀具磨损的实时预测。Zhao等人[19]提出了RMDTs框架，将物理模型与3D可视化相结合，提高了大规模表面加工的性能。Wang等人[20]将深度学习增强的数字孪生引入人机协作，实现了实时运动检测和安全决策。然而，现有的数字孪生框架主要用于过程监测，尚未完全集成到机器人技能学习的闭环中。最近，Lin等人[21]进一步提出了一种由大语言模型增强强化学习驱动的5D数字孪生框架，并将其应用于数控系统中的刀具轴向量规划，初步实现了数字孪生环境内智能决策与物理执行的闭环。因此，如何利用数字孪生技术构建既能精确复现机器人物理特性又能支持技能学习的仿真系统，仍然是一个亟待解决的关键问题。

为解决上述挑战，本文提出了一种元技能控制框架。该框架采用大语言模型（LLM）作为顶层编排器，负责元技能的语义理解和任务分解。在元技能方面，通过将机制知识作为显式约束纳入技能学习过程，开发了一种物理增强的元技能学习方法，减轻了技能获取对场景特定示范数据的依赖。所提出的框架支持元技能的模块化调用和灵活组合，使机器人技能能够在多种加工任务中实现自适应进化和快速部署，为机器人加工系统向具身智能发展提供了系统性技术路径。本文的主要贡献如下：

(1) 提出了一种元技能驱动的控制框架，其中大语言模型与机制知识增强的强化学习之间的协同机制实现了元技能的解耦表示和灵活组合，显著提高了系统对柔性制造任务的可重构性和快速响应能力。

(2) 提出了一种机制知识增强的技能学习方法，该方法将机器人运动学、动力学等物理模型以约束和奖励塑造的形式显式纳入强化学习策略训练过程。该方法在提高样本效率的同时，确保了所学习策略的物理可行性，并通过不同几何形状工件的验证实验证实了所获取技能的跨任务迁移能力。

(3) 将所提出的框架和技能学习方法集成到一台5自由度混合机器人中，构建了完整的元技能学习与验证平台，建立了"虚拟训练—真实部署"的闭环，为混合机器人在柔性制造场景中的智能应用提供了可部署的系统原型。

本文其余部分组织如下。第2节介绍了元技能驱动控制框架的整体架构。第3节介绍了混合机器人高保真仿真环境的构建。第4节描述了元技能的实现。第5节报告了实验验证结果。第6节对全文进行了总结。

**章节摘要**

**面向柔性加工的元技能驱动控制框架**

在柔性加工模式下，机器人加工系统通常遵循包含三个阶段的结构化工作流程：定位、规划和执行。在定位阶段，确定工件位置和机器人的初始加工位姿。在规划阶段，根据质量和效率等任务要求，在机器人运动学、动力学等约束下生成加工轨迹。在执行阶段，控制机器人运动以……

**仿真环境的架构**

元技能模型的准确性和可靠性是所提出框架有效实施的基本前提。一方面，定位和规划技能使用强化学习方法进行训练，在真实环境中直接探索面临采样效率低、设备磨损大和安全风险高等挑战。另一方面，执行技能基于数据驱动方法构建，需要增量式真实机数据……

**元技能的设计**

本文开发的用于混合机器人定位、规划和执行阶段的三种元技能如图7所示。每种技能根据公式(1)实例化，并提供标准化接口以支持大语言模型的调用。

**测试工件的设计**

为验证所提出元技能框架在多种加工场景中的综合能力，设计了三种具有不同几何特征的测试工件，如图10所示。工件A是一种具有负高斯曲率的鞍形薄壁件，采用光栅工具路径进行加工。由于其薄壁结构，工件整体刚度较低，对加工振动敏感。该工件用于验证优化效果……

**结论**

本文关注具身智能技术在机器人加工系统中的应用，提出并深入探索了框架设计、仿真环境构建、元技能开发及其在混合机器人铣削任务中的应用。我们的主要贡献在于提出了一种元技能驱动的机器人控制框架，该框架降低了机器人编程复杂度，提高了系统智能化水平，并为……的应用提供了新路径。

**资助信息**

本工作得到了上海市经济和信息化委员会的资助（资助编号2025-GZL-RGZN-BTBX-02012）。

**CRediT作者贡献声明**

Lu Ninghe：概念化、方法论、调查、软件、验证、原创性写作。Shen Nanyan：概念化、方法论、监督、写作—审阅与编辑。Li Jing：资金获取、项目管理、写作—审阅与编辑。Wang Hao：调查、软件、可视化。Wang Xianfeng：资源。

Lu Ninghe | Shen Nanyan | Li Jing | Wang Hao | Wang Xianfeng