《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:An augmented reality-enhanced large language model-based interactive system for human-robot collaboration
编辑推荐:
摘要人机协作(HRC)正在成为工业 5.0 的支柱之一,致力于将人类智能、机器人灵巧性和情境感知融入以人为中心的柔性制造中。然而,现有的人机协作系统仍然存在多模态交互分离、推理能力弱以及直观反馈缺失等问题,导致任务协作效率低下以及人类对机器人的信任缺乏。为应对这些挑战,在本工
摘要
人机协作(HRC)正在成为工业 5.0 的支柱之一,致力于将人类智能、机器人灵巧性和情境感知融入以人为中心的柔性制造中。然而,现有的人机协作系统仍然存在多模态交互分离、推理能力弱以及直观反馈缺失等问题,导致任务协作效率低下以及人类对机器人的信任缺乏。为应对这些挑战,在本工作中,我们提出了一种面向零件交付的 AR-LLM-VLM-协作机器人系统,并构建了一个包含感知、理解、动作和反馈的闭环架构。该框架的核心是语义 - 几何任务图(SGTG),它将语义意图、关系约束和几何参数统一为单一中间表示。自然语言指令由大语言模型(LLM)解析,并通过视觉语言模型(VLM)接地到物理对象上,同时不确定性被显式外化,并通过增强现实(AR)中介的澄清策略解决。实例化的任务图随后由技能映射和执行状态机消耗,以实现确定性、可中断的机器人动作。
该框架在实验室规模的装配场景中进行评估,共有十名参与者参与了明确交付、模糊指称消解和执行中修正任务。实验结果表明,与基于视觉和基于模板的基线方法相比,该方法取得了更高的总体任务成功率(90.5% ± 4.2%)、更短的推理延迟(1.79 ± 0.37 秒,不包括机器人运动)以及更低的主观工作负荷。这些发现证明,基于表示、感知不确定性的交互可以显著改善人机协作中的鲁棒性、透明度和效率。
引言
当前的制造场景已经发生了变化。它已从刚性的、依赖自动化的工作流程转变为灵活的、自适应的、以人为中心的工业 4.0 协作模型。现代制造更加重视韧性、安全性和认知透明度,并需要紧密集成人类工作者和智能机器人系统 [[1], [2], [3]]。人机协作(HRC)旨在将人类的认知适应性和任务级推理与协作机器人的精度、重复性和体力耐力相结合。与传统工业机器人不同,协作机器人可以在没有安全围栏的情况下与人一起工作,适用于小批量、高变异的装配场景,在这些场景中,交互质量和共享理解非常关键 [[4], [5], [6]]。
近年来,增强现实(AR)、大语言模型(LLMs)和视觉语言模型(VLMs)在人机感知、通信、语义理解等方面的集成程度逐渐增加 [[7], [8], [9], [10]]。AR 界面通过可视化机器人轨迹、任务状态、目标对象来提高空间认知能力,减少认知负担,并提高任务准确性 [[11], [12], [13]]。LLMs 和 VLMs 的突破扩展了机器人理解自然语言通信的能力,使它们能够理解口头指令并将语言概念与视觉观察联系起来 [14,15]。尽管取得了这些进展,但现有人机协作系统仍然是 largely 碎片化的 [16]。AR 通常仅作为单向可视化层,缺乏与任务推理的深度语义耦合,同时也缺乏用于提取深度语义信息和解决歧义以验证操作输入的闭环机制 [17,18]。LLM 或 VLM 系统通常以松散耦合的方式处理语言和感知,缺乏主动消歧的能力。因此,由模糊指令、视觉相似组件或动态任务更新引起的不确定性既没有被显式表示,也没有被系统管理。这种碎片化的情况限制了可解释性,阻碍了可靠执行,并将错误处理的负担转移给了人类。关键是,大多数以前的工作缺乏一个统一的中间表示,它可以正式整合语义意图、几何接地和执行约束,同时支持增量更新和人机循环澄清。这一差距限制了人机协作系统在真实装配环境中的可扩展性和鲁棒性。
解决这些问题对于在实际制造环境中部署协作机器人以实现可靠、安全和可信的人机协作至关重要。在实际装配环境中,人类意图与机器人理解之间的轻微偏差,加上反馈延迟或不透明,可能导致协作失效,增加认知负荷,甚至造成安全风险 [19]。能够在任务执行期间执行错误预防检测和修正的智能系统是建立信任和协作质量的基础。因此,提供基于语义、空间可解释性和清晰可验证性的任务表示框架对于实现透明和可靠的人机协作至关重要 [20]。
我们构建了一个包含 AR-LLM-VLM-协作机器人的闭环人机协作框架。其核心是语义 - 几何任务图(SGTG),它将任务语义、关系约束和几何参数整合为统一的正式表示。LLM 解析自然语言指令以填充符号任务结构,而 VLM 将对象描述锚定到候选物理实例。不确定性在任务图中以显式方式表示,并通过基于空间对齐的 AR 反馈的接地/澄清策略解决,该策略涉及人类参与。然后,接地的任务表示被技能映射和执行状态机使用,使复杂操作能够分解为机器人动作,并实现安全且可中断的执行。从工业人机协作的角度来看,本工作处于操作员为中心的 AR 辅助多模态语义交互和服务导向装配支持的交叉点。大多数以前的 AR 人机协作系统主要基于可视化或固定交互过程,而该框架集成了大语言模型和视觉语言模型,并将其应用于装配零件分发场景,以进行灵活的任务级推理和自适应人机协作 [[21], [22], [23]]。
本工作的核心研究问题是如何将语言理解、视觉接地、AR 反馈和机器人执行组织成可追溯且可更新的任务表示,以便在相同的人机协作循环中处理模糊的人类指令和执行时修正。基于这个问题,贡献重新表述如下:
- 1)
我们提出了 SGTG 作为面向装配的人机协作的可更新中间表示,它将语义意图、视觉候选、几何参数、任务约束和执行状态整合在一起,而不是直接将语言映射到机器人动作。
- 2)
我们引入了一种不确定性感知的 AR 澄清机制,该机制在工作区中外化模糊的定位结果,并允许操作员在机器人执行之前确认它们。
- 3)
我们开发了一个可追溯的闭环 AR-LLM-VLM-协作机器人工作流,并在涉及明确交付、模糊指称消解、执行错误修正和布局重构的任务中对其进行评估,以展示其任务级优势以及当前从感知到抓取方法的局限性。
本文其余部分组织如下。第 2 节回顾了有关 AR-HRC、多模态机器人推理和语义抓取的前期工作。第 3 节详细介绍了方法学,包括任务表示、接地、执行和澄清机制。第 4 节介绍了实验设置和评估方法。第 5 节总结了论文,指出了局限性并概述了未来的研究方向。
章节摘要
相关工作
本研究涵盖了三个紧密相关的领域:用于人机协作的 AR、用于机器人推理和动作的 LLM/VLM,以及语言条件或任务导向的理解。近年来,这些领域取得了重大进展。本节回顾了相关文献,以提供背景并突出我们方法的新颖性。
方法论
本节描述了所提出的 SGTG 驱动的闭环人机协作框架的方法学,包括任务表示、接地和澄清、技能映射以及执行状态处理。所提出的 AR-LLM-VLM-协作机器人框架采用了一种由四个紧密耦合的功能层组成的闭环架构:感知、理解、动作和反馈。这种分层组织反映了协作装配中的自然信息流,实现了连续过渡
实验
为了证明我们提出的系统在处理人机协作任务方面的性能,在实验室环境中进行了跨几个协作场景的比较实验。
结论
本文提出了一种用于装配类型零件交付任务的人机协作的 AR-LLM-VLM-协作机器人框架。该系统将自然语言命令解释、开放词汇视觉定位、语义 - 几何任务图表示、AR 辅助澄清、坐标变换和机器人执行状态处理整合为一个闭环交互工作流。在该框架内,SGTG 作为核心表示,连接语义意图、候选
CRediT 作者贡献声明
Hao Xu:撰写 – 初稿,可视化,验证,软件,方法论,调研,概念化。Linzhen Zhou:撰写 – 审阅与编辑,验证,监督,资源,项目管理,资金获取,形式分析,数据管理,概念化。Xuanchen Zhou:验证,方法论,调研,形式分析,数据管理,概念化。Pai Zheng:撰写 – 初稿,验证,监督,项目管理,调研,
Hao Xu|Linzhen Zhou|Xuanchen Zhou|Pai Zheng