基于视觉语言模型与数字孪生桥接多形态具身智能体的认知、推理与行动:面向人机异构多机器人协同装配

《JOURNAL OF MANUFACTURING SYSTEMS》:Bridging cognition, reasoning and action for polymorphic embodied agents towards human-heterogeneous multi-robot collaborative assembly with vision-language model and digital twin

【字体: 大 中 小 】 时间:2026年10月24日 来源:JOURNAL OF MANUFACTURING SYSTEMS 14.9

编辑推荐:

   **要点摘要** • 该智能体利用操作手册和人工提示来适配异构机器人的底层控制逻辑。• 一种融合BERT、ResNet50和跨模态注意力的跨模态感知框架,实现了可靠的感知能力。• 具身推理实现了虚拟预仿真和多机器人-人工协作团队的最优任务分配。• 由视觉语言模型(VLM)驱

  

**要点摘要**

• 该智能体利用操作手册和人工提示来适配异构机器人的底层控制逻辑。• 一种融合BERT、ResNet50和跨模态注意力的跨模态感知框架,实现了可靠的感知能力。• 具身推理实现了虚拟预仿真和多机器人-人工协作团队的最优任务分配。• 由视觉语言模型(VLM)驱动的控制代码生成范式,支持异构机器人的具身执行。

**引言**

工业5.0 [1] 重新定义了现代制造业,实现了从纯自动化向以人为中心的智能生产的转变。在此背景下,人机协作(HRC)[2] 被视为工业转型的关键。与工业4.0的孤立自动化不同,工业5.0将人类的认知优势与机器人的操作效率协同结合,以构建灵活的生产生态系统 [3]。在现代装配车间中,人机协作越来越多地表现为异构多机器人系统 [4]。在此类系统中,专业化的机器人平台被分配互补功能(例如,协作机器人用于精密任务 [5],移动机器人用于物流 [6],人形机器人用于重物搬运 [7]),以最大化每种类型的独特优势。尽管取得了进展,当前的HRC系统在面对复杂装配场景时仍存在根本性局限 [8]。大多数系统以严格的被动反应模式运行,依赖预编程脚本,自主性极低 [9]。机器人缺乏上下文感知 [10]、情境推理 [11] 和自主决策 [12] 能力,导致人机融合流于表面。这种僵化的范式无法有效应对劳动力短缺、成本上升和生产能力灵活性低的问题,同时也给人类操作者带来了沉重的物理和认知负担。因此,迫切需要新一代智能化HRC系统,必须弥合人与机器人之间的认知鸿沟,实现自然高效的协作。

具身智能代表了机器人领域的一种范式转变,它将传统的数据中心人工智能通过生物启发的框架进行了扩展。在这一框架中,感知、推理和行动被统一在一个物理智能体内 [13]。与脱离物理世界孤立运行的无体系统不同,它认为认知源于智能体身体、感知器官与环境之间的持续交互。对于工业机器人而言,这使其能够实现类似人类的多模态感知、上下文推理和交互式行为适应 [14]。其主要优势在于不仅能解读显式指令,还能理解隐含意图、情感线索和情境背景,从而促进无缝的人机交互。

具身智能体被视为具身智能的基本载体,使机器人能够以类似于生物的方式与物理世界互动 [15]。这种互动通过感知、推理、决策和执行能力的无缝集成来实现 [16]。与传统依赖预训练模型执行特定任务的机器视觉驱动机器人不同,具身智能体驱动的机器人具有更强的通用性和适应性,特别适合动态交互的HRC装配场景 [17]。然而,随着制造系统向异构多机器人协作演进,单一机器人的具身智能体已不再足够。复杂装配任务的需求往往涉及多种能力的不同机器人平台之间的协调配合。这一挑战推动了多态具身智能体的发展,该概念将传统的单智能体框架扩展为能够控制异构机器人队列的多智能体系统 [18]。多态具身智能体可以根据不同机器人平台的能力和当前操作上下文动态分配任务,实现协作机器人、复合机器人和人形机器人之间的无缝协调。此处"多态"一词特指该框架在配备差异化硬件和控制范式的异构机器人平台上进行自适应部署的能力 [19]。在人-异构多机器人协作装配中,多态具身智能体可以作为中央智能中枢,将高层人类指令转化为多机器人协调动作,实时监控系统运行,并在意外事件发生时调整任务分配 [20]。从"人在回路"到"智能在回路" [21] 的范式转变不仅显著提升了装配效率和灵活性,还通过将常规协调和控制任务委派给智能体来减轻人类操作者的认知负荷。

然而,多态具身智能体本身仍无法克服安全关键型航空航天装配场景中的多项关键技术瓶颈,本文旨在解决以下突出的实际部署痛点。首先,传统多态具身智能体框架缺乏对异构机器人底层控制逻辑的自适应匹配机制,导致理论具身智能模型与多机器人系统实际工程部署之间存在巨大差距。其次,其依赖单模态感知手段,无法实现对人类操作行为、多样化装配组件和复杂动态工作环境进行鲁棒准确的跨模态感知。第三,具身协作推理能力不足,缺乏有效的人工-多机器人协作虚拟预仿真验证手段和最任务分配策略,无法适应航空航天装配任务的动态变化。第四,无法快速自适应地为异构机器人生成针对性的底层控制代码,导致实际装配任务中执行适应性差。为解决传统多态具身智能体的上述固有缺陷,赋能具身感知、推理和执行的全过程,本文将具有卓越跨模态理解、逻辑推理和生成能力的视觉语言模型(VLM)引入具身智能系统 [22]。然而,仅依赖简单VLM应用赋能的多态具身智能体仍不足以在安全关键型航空航天装配场景中可靠部署 [23]。VLM生成的底层控制代码和运动指令本质上是黑箱输出,其可验证性和物理可行性无法保证,因此可能导致灾难性碰撞、设备损坏和安全风险 [24]。

针对上述人-异构多机器人协作装配中的挑战,本文提出了一种综合性的、VLM赋能、数字孪生辅助的多态具身智能体框架。主要贡献总结如下。第一,构建了一个完整的多态具身智能体,该智能体可根据操作手册和人工提示指令适配异构机器人的底层控制逻辑,从而弥合理论具身智能与异构机器人系统实际部署之间的差距。第二,开发了一种面向具身认知的跨模态感知机制,将BERT和ResNet50与跨模态注意力相结合,实现了对人类行为、装配组件和环境场景的鲁棒准确的具身感知。第三,建立了一种面向具身推理的协作推理方案,将VLM与数字孪生技术集成,支持人类操作者与异构多机器人团队之间的虚拟预仿真和最任务分配。最后,提出了一种面向具身执行的VLM和提示工程驱动的控制代码生成范式,实现为异构机器人快速自适应生成底层控制代码,从而高效完成实际装配任务。

本文其余部分结构如下。具体而言,第二部分系统回顾了关于HRC装配具身智能体的最新文献,以及VLM和数字孪生在HRC装配场景中的应用。第三部分为所提出的协作装配框架建立了集成化的系统架构。第四部分详细阐述了四项核心技术组件,以填补现有研究空白并推进领域理解:面向异构机器人的多态具身智能体开发、基于领域知识和实时场景驱动的VLM具身认知、面向人-异构多机器人协作装配任务的VLM具身推理方法、以及面向异构机器人自动代码生成的VLM具身执行。第五部分呈现了一系列实证案例研究,验证了所提方法的有效性和比较优势,证明其实用可行性和工程适用性。最后,第六部分总结了本工作的核心贡献,并概述了该领域未来潜在的研究方向。

**第二部分片段**

**HRC装配中的具身智能体**

具身智能体 [25] 是面向物理交互场景的核心智能执行载体,集成了环境感知、认知推理、运动控制和交互决策能力,是工业场景中HRC装配的关键使能技术。与传统仅关注数字计算的算法模块不同,具身智能体具有物理交互属性,承担核心桥接功能,介于...

**所提方法架构设计**

为了解决制约复杂航空航天产品人-异构多机器人协作装配的核心瓶颈,包括现有机器人系统中广泛报道的碎片化感知-推理-执行流水线问题,本文提出了一种由VLM和数字孪生赋能的多态具身智能体协作装配框架,如图1所示。更具体的挑战包括任务语义理解不连续、动态场景感知不充分、缺失...

**面向异构机器人的多态具身智能体构建**

如图2所示,本文提出了一种以VLM为核心的多态具身智能体框架,以应对异构工业机器人在非结构化制造中面临的关键挑战,包括碎片化的感知-推理-执行流水线、跨平台兼容性差以及任务适配开销高等问题。三个核心组件之间建立了全链路语义闭环:VLM增强的多模态感知、三层具身智能体推理和可执行...

**实验环境描述**

实验装置被构建为用于复杂航空航天舱段制造的异构多机器人协作装配工作站。其总体布局和功能模块如图6所示。舱段包含密集集成的精密电子组件、复杂线束和高精度结构接口,因此引入了大量装配挑战。需要高精度、自适应操作和持续物料支持...

**结论与未来工作**

本文创新性地提出了一种由视觉语言模型和数字孪生技术赋能的多态工业具身智能体完整智能协作装配框架。系统构建了一个由具身认知、分层具身推理和精确具身执行组成的稳定全链闭环工作流程,以支持复杂工业共享工作空间内高效的人-异构多机器人协作装配。

**作者贡献声明(CRediT)**

刘长春:撰写——原稿、验证、软件、方法论。唐敦兵:项目管理、概念设计。朱海华:撰写——审阅与编辑。蔡其翔:监督、概念设计。王丽萍:监督、概念设计。聂青伟:撰写——审阅与编辑、数据管理。

**利益冲突声明**

作者声明,没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**

本研究得到国家自然科学基金(52505560)、江苏省自然科学基金(BK20241389)、江苏省青托人才项目(JSTJ-2025-183)、中央高校基本科研业务费(NS2026022)、中国博士后科学基金(GZC20260478)以及山西先进控制与工业智能重点实验室基金(编号ACII202509)的资助。

刘长春 | 唐敦兵 | 朱海华 | 蔡其翔 | 王丽萍 | 聂青伟
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号