基于LLM代理的显式-隐式交互融合用于人机协作装配

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：LLM-agent-based explicit-implicit interaction fusion for human-robot collaborative Assembly

　　

• •
  提出了一种统一的LLM-Agent框架，用于协作装配中的人机交互与认知推理。
• •
  将多模态的显性和隐性交互输入编码到统一的语义空间中，以实现可解释的推理。
• •
  建立了一种机器人动作决策机制，融合显性与隐性信息，以实现安全、面向任务的行为。
• •
  展示了一个模块化框架，集成了LLM-Agent、机器人控制和AR界面，以实现自适应协作。

引言

随着协作机器人在装配和维护等制造相关工业场景中广泛采用，人机协作正逐渐从以机器人为主导的自动执行向共享工作空间内的人机并行操作演进[1]。在此背景下，机器人不仅需要准确执行任务指令，还须持续感知和解读操作者的行为状态、环境变化以及潜在安全风险，从而确保运行效率与协作安全和流畅性。然而，在不给操作者增加额外操作负担的前提下，实现自然、连续且安全的人机交互，仍然是当前人机协作系统面临的核心挑战之一[2,3]。

根据人机交互的主动性程度，人机交互通常可分为显性交互和隐性交互[4]。显性交互指由用户发起且可明确观测的输入（如语音、手势或注视），直接传达任务意图，强调可控性和清晰度。相比之下，隐性交互依赖系统对人和上下文线索的持续感知，以推断潜在状态或需求，从而实现无需用户刻意输入的自适应和主动响应[5,6]。

这两种交互范式提供了互补的功能：显性交互主要支持面向任务的意图指定，而隐性交互则有助于动态状态感知和安全调节[4,7]。然而，在大多数现有系统中，二者被分散处理。当任务执行中出现冲突时，由于缺乏统一的认知和仲裁机制，往往导致协作中断、行为不一致或过于保守的安全策略，最终降低整体协作体验[8]。此外，显性交互和隐性交互的输入缺乏统一的语义表示，使得系统在持续交互过程中难以维持决策一致性和可解释性。这一局限性在涉及高频人机交互和动态装配任务的场景中尤为突出[1]。

近年来，大语言模型在上下文理解、推理和多模态语义整合方面展现了卓越的能力，为构建人机协作的统一认知层提供了一条颇具前景的新途径[9]。与传统基于规则或模块化的决策范式相比，大语言模型能够对语义抽象的任务目标、环境状态和安全约束进行联合推理，从而实现一个共享语义空间，使显性交互和隐性交互的信息得以整合[10,11]。这一特性使大语言模型有望成为人机协作系统的高层认知与决策核心，实现复杂协作场景下的整体理解和自适应响应[12]。

基于上述背景，本文提出了一种基于LLM-Agent的方法，集成显性与隐性人机交互。该方法在统一的语义框架内对两种交互类型的信息进行建模和解读，并利用显隐性交互融合机制来平衡面向任务的目标和安全约束，从而支持持续、自然且安全的人机协作。与仅依赖显性或隐性交互的传统方法不同，所提出的方法在复杂协作场景中保持决策一致性和可解释性，同时具有良好的可扩展性和可移植性。本文的主要贡献总结如下：

• (1)
  提出了一种统一的LLM-Agent框架，将人机交互与高层认知推理相结合，作为协作装配的中心决策核心。
• (2)
  将两种交互类型的多模态输入编码到统一的语义空间中，实现LLM-Agent内可解释且鲁棒的推理。
• (3)
  建立了一种机器人动作决策机制，联合处理操作者发起的（显性）和系统感知的（隐性）信息，确保机器人行为的一致性、安全性和面向任务性。
• (4)
  展示了一个可扩展的模块化系统框架，支持真实装配任务，将LLM-Agent与机器人控制和基于AR的人机界面相结合，实现自适应和流畅的协作。

章节摘要

相关工作

在传统人机协作中，显性交互是最常见的信息交换模式，包括语音指令[13]、手势[14,15]、按钮输入[16]以及基于AR的视觉界面[17]。这些方法使机器人能够清晰地解读任务意图，并提供可控性和可验证性，因此在工业装配和服务机器人中得到了广泛应用[18,19]。然而，显性交互会增加用户的认知负担，并可能中断正在进行的操作。此外，它

概述

为了实现装配任务中持续、自然且安全的人机协作，本文提出了一种基于LLM-Agent的框架，用于融合显性与隐性人机交互。该方法利用多模态信息感知、机器人的基本执行能力和AR功能作为基础支撑，对显性和隐性人机交互输入进行统一的语义建模。任务驱动的显性交互和安全相关的隐性输入被联合纳入机器人的

实验场景

为了评估所提出的基于LLM-Agent的显隐性交互融合方法的有效性和适用性，进行了一系列案例研究，涵盖不同复杂度的协作任务，包括工具递送、线缆装配和手动引导装配。验证场景基于一个电子底盘装配任务。此类装配任务通常涉及多步骤协作和人机并行操作，对工作流提出了要求

结论与未来工作

本文针对人机协作中显性与隐性交互缺乏统一决策框架的问题，提出了一种基于LLM-Agent的融合方法。该方法在统一的认知决策框架内整合了任务目标驱动的显性交互和源自操作者状态与协作上下文的隐性安全信息。两阶段显隐性融合机制以安全约束为核心筛选标准进行

CRediT作者贡献声明

王彬彬：概念化、形式化分析、方法论、软件、原始草稿撰写。桂宝山：数据整理、软件、验证、形式化分析。郑联宇：概念化、资金获取、审阅与编辑、资源。王艺伟：资金获取、概念化、验证、审阅与编辑。王立辉：概念化、方法论、审阅与编辑。

王彬彬|桂宝山|郑联宇|王艺伟|王立辉