基于HRI Grounding的操作员授权与纠错式AI多机器人计划监督接口

《IEEE Robotics & Automation Magazine》：HRI Grounding: Evidence That Operators Authorize and Correct AI Multi-Robot Plans Through a Generated Supervisory Interface

　　

摘要专业翻译 AI规划器现在可以为机器人团队生成任务计划，然而人类操作员必须保持对机器人行为的控制。这需要一个使计划可见且每一步都可操作的界面，以便在错误到达机器人之前被发现。目前，这类界面是针对特定应用开发的。本文表明，非专业操作员可以监督AI生成的多机器人计划，在机器人行动前授权合理的计划并纠正有缺陷的计划。该界面由HRI Grounding架构自动生成，该架构将任何预定义格式的计划渲染为每步一个控件，每个控件以通俗语言显示机器人将对哪个目标执行何种操作，并在操作员确认后持有其运行的命令。在两个领域、五个规划器模型和两个界面引擎上的100个生成计划中，HRI Grounding为几乎所有计划生成了一个可工作的界面和可分发的ROS命令，而无需为任何特定的计划、领域或规划器开发专门的界面。大约五分之一的计划包含语义故障。在一项涉及十六名操作员的研究中，参与者以高灵敏度和低误报率（d′=2.90）区分了正确计划和错误计划，并通过该界面挽救了原本会在无监督情况下失败的96次任务中的85次。与手动基线相比，通过HRI Grounding界面执行任务还降低了完成时间、交互次数、错误和工作量。由HRI Grounding分发的命令也能在ROS下驱动真实的Unitree Go2机器人，并进行实时计划再生。

论文解读文章

一、研究背景与问题

随着人工智能（AI）规划技术的进步，AI规划器能够根据环境描述、机器人能力集和人类目标，自动生成供多机器人团队执行的复杂任务计划。然而，无论规划器多么强大，人类操作员都必须保持在决策环路中，对机器人的物理行为拥有最终的控制权。这就要求有一个专门的界面，既能将AI生成的计划可视化，让操作员了解机器人将要做什么，又能提供可操作性，允许操作员在每一步指令执行前进行授权或修改。目前，这种监督界面通常是针对特定应用场景（如灾难响应、地下搜索等）手工编程开发的。这带来了一个根本性问题：虽然更换一个提示词就能让AI为不同的应用场景生成新计划，但用于监督这些计划的界面却仍需为每个新任务重新编写。因此，如何自动生成一个通用的、与具体规划器和应用领域无关的监督界面，成为一个亟待解决的关键挑战。

二、研究内容、结论与意义

为解决上述问题，研究人员提出并评估了一种名为 HRI Grounding 的新型架构。该架构的核心功能是，能从AI规划器输出的符合预定格式的任务计划中，自动构建出一个面向操作员的监督界面。这个界面将计划中的每一个指令步骤都转化为一个独立的、可视化的控件。每个控件不仅用通俗语言清晰地展示了“哪个机器人”、“将做什么”、“对哪个目标”进行操作，还在后台绑定了可执行的ROS命令。操作员只需在一个界面上完成阅读、理解和点击确认，即可授权并分发该指令。这种设计使得计划既“可见”又“可操作”。

研究得出的核心结论是，非专业的操作员能够有效地利用HRI Grounding生成的界面来监督AI规划器的输出。他们不仅能高灵敏度地识别出有缺陷的计划，还能通过界面提供的重排序、跳过或请求重新规划等工具来纠正错误，从而挽救绝大多数原本会失败的任务。此外，与完全手动操控机器人的基线方式相比，使用该界面能显著缩短任务完成时间、减少操作交互次数、降低操作错误率和主观工作负荷。这项研究的重大意义在于，它证明了可以通过一种与规划器无关的自动化架构，为AI生成的多机器人计划提供一个通用的、有效的监督层，从而消除了为每个新应用场景单独开发界面的需求，极大地推动了AI规划技术在实际多机器人系统中的应用潜力。

三、关键技术方法

研究人员为开展本研究主要采用了以下关键技术方法：

1. 1.
   HRI Grounding 架构设计：提出了一个四阶段流水线架构。该架构首先将环境表征（S）、机器人能力规格（A）、用户目标（G）和格式合约（F）组装成指令（I）输入给任务规划器（L）。随后，规划器输出的计划（P）经过渲染阶段（R）生成可视化界面元素（U），并通过绑定阶段（B）构造可执行的命令规范（C）。最终，操作员确认后，命令被分发至机器人。
2. 2.
   格式合约（Format Contract）机制：定义了计划输出必须遵循的字段结构（即数据转移对象DTO模式），确保了不同规划器生成的计划能被后续的渲染和绑定阶段统一处理。该合约是可扩展的，允许开发者添加特定应用字段。
3. 3.
   多维度实验评估：设计了三个相互关联的实验。第一个是生成研究，跨2个领域、2种格式合约、5个规划器模型和5次重复试验，生成了100个计划，评估了接口生成的成功率和计划的合规性。第二个是监督研究，招募了16名无规划经验的操作员，每人监督12个包含不同类型错误的计划，评估操作员通过界面检测和纠正错误的能力。第三个是性能研究，同样招募16名操作员，在模拟的搜救场景中，比较了使用HRI Grounding界面与手动控制界面的任务完成时间、交互次数、错误率和工作负荷（采用NASA-TLX量表）。

四、研究结果

• •
  A. 接口生成与计划合规性（Generation Study）
  • •
    接口生成与分发：在100个生成的计划中，99个符合格式合约要求。所有99个合规计划（共3859个指令步骤）均能在两个独立的界面引擎（C#/Unity和TypeScript/web）上成功渲染为可操作控件，并且所有指令都能通过两种ROS传输协议成功分发。
  • •
    语义合规性：约20%（20/100）的计划包含语义错误（目标约束合规率82%，机器人API接地率97%，场景接地率100%）。最常见的错误是遗漏必要的前提步骤。不同模型的语义合规率差异显著，GPT-5最高（95%），Gemini 2.5 Pro最低（60%）。
• •
  B. 用户研究：监督研究
  • •
    检测能力：操作员检测错误的总体表现优异，具有高灵敏度（d′=2.90）和低虚警率（1.6%）。错误检出率因类型而异：顺序错误（100%）> 遗漏动作（84.4%）> 冗余步骤（59.4%）。
  • •
    纠正能力：所有被检测到的致命性错误（顺序错误和遗漏动作）均被成功纠正。在纠正后，85/96（88.5%）的原本会失败的任务最终取得了成功。
  • •
    任务结果：在总共192次试验中，87%以成功告终，6.8%虽完成但不高效（运行了冗余步骤），6.2%失败。
• •
  C. 用户研究：性能研究
  • •
    完成时间：与手动基线相比，使用HRI Grounding界面后，中位任务完成时间减少了28%。
  • •
    交互次数：总交互次数减少了57%。其中，命令设置交互（选择机器人、动作、目标点）完全消除，命令分发交互也略有减少。
  • •
    错误率：中位错误数从2.5次降至0次。手动条件下的常见错误（如无效前提、错误动作选择等）在HRI Grounding条件下基本被杜绝。
  • •
    工作负荷：NASA-TLX总体评分下降了47%。其中，体力负荷和挫败感下降最为显著，而脑力负荷下降幅度相对较小。

五、讨论与结论

讨论部分总结： HRI Grounding通过自动生成界面，实现了操作员对AI计划的有效监督。其核心优势在于格式合约的设计，它将计划生成与界面生成解耦，使得规划器和界面引擎可以独立发展和替换。研究表明，操作员通过该界面能获得对计划的情境感知（SA），从而发现并修复语义错误。监督研究发现，错误检测是瓶颈，而非纠正，且检测率受错误类型影响。性能研究证实，尽管监督增加了验证的脑力劳动，但其带来的效率提升和工作负荷降低远超这一增加。同时，预填充参数和状态反馈有效防止了手动操作中的常见错误。未来的工作方向包括扩展到更动态的场景和实现运行时重新规划。

结论部分翻译： HRI Grounding直接从AI生成的计划中生成一个面向操作员的监督界面，使得单个操作员能够在不依赖特定应用界面构建的情况下，逐步读取和授权多机器人计划。在评估中，接地层为几乎每个计划生成了可工作的界面，并且没有规划经验的操作员能够捕获并纠正大多数有缺陷的计划，同时监督速度更快、费力更少。AI规划器正变得易于获取，但在实际运行中监督其计划的手段却并非如此。HRI Grounding为任何符合格式的计划提供了这一缺失的环节，无论是来自AI规划器还是常规操作。其主要开放方向是扩展到更大的团队和包含运行时重新规划的动态场景，而接口的自动再生特性恰好为此提供了有力支持。