基于结构化行为树与大语言模型的可解释机器人控制框架

《IEEE Access》：Interpretable Robot Control via Structured Behavior Trees and Large Language Models

本文针对传统机器人控制方法在动态非结构化环境中适应性差的问题，提出了一种结合大语言模型（LLM）与行为树（BT）的新型人机交互（HRI）框架。研究人员通过自然语言指令驱动模块化插件，实现了机器人行为的直观控制与实时决策。实验表明，该系统的认知-执行准确率平均达94%，显著提升了HRI的灵活性与可解释性，为智能机器人融入人类环境提供了可靠解决方案。

　　

随着智能机器人日益融入人类日常生活，对直观可靠的人机交互（HRI）接口的需求急剧增长。传统机器人控制方法往往要求用户适应特定界面或记忆预设指令，在动态非结构化环境中显得力不从心。尽管生成式人工智能和大语言模型（LLM）的突破为自然语言交互开辟了新途径，但如何将高层指令转化为可执行、可解释的机器人行为仍面临挑战。现有研究虽尝试结合LLM与行为树（BT），却缺乏能够支持实时修改与动态执行的端到端框架。

为此，卢森堡大学自动化与机器人研究团队在《IEEE Access》发表论文，提出了一种融合LLM与BT的可扩展机器人控制框架。该框架通过LLM解析用户自然语言指令，自主触发行为树中对应的模块化插件，驱动机器人完成感知、运动等任务。研究重点包括：设计模块化系统架构，实现插件即插即用；扩展多模态交互与故障推理机制；构建具备分层决策能力的BT核心。通过真实场景实验验证，系统在多样化任务中表现出高鲁棒性与低延迟，平均端到端执行准确率达94%，为自适应HRI提供了实用解决方案。

关键技术方法主要包括：1. 基于ROS2的模块化通信架构，支持行为插件动态加载；2. 采用GPT-4o模型进行指令解析与行为映射；3. 设计包含控制节点与自定义节点的行为树，实现分层任务执行；4. 集成YOLO11视觉模型用于实时目标检测；5. 建立机器人驱动抽象层，兼容多平台（如Spot?机器人与DJI Tello无人机）。

系统架构设计

框架以ROS2为底层通信基础，包含LLM接口、行为树核心、行为模块与驱动层四部分。用户指令经LLM解析后，通过自主行为选择函数Γ映射到具体行为模块，再由行为树按Tick机制调度执行。驱动层封装机器人硬件操作，支持状态反馈与低延迟控制。

行为树结构与执行机制

行为树采用分层节点设计，包括序列节点、回退节点等控制节点，以及对应具体任务的自定义节点。每个节点状态（成功/失败/运行中）实时影响执行流。例如，在人员跟踪任务中，BT动态激活感知节点，并根据视觉反馈调整运动节点状态。

行为模块集成

研究实现了两种典型行为模块：基于手势的控制模块支持动态手势识别与实时运动映射；人员跟踪模块利用YOLO11检测目标，通过LLM指定跟踪对象后持续发送运动指令。模块仅在被BT触发时广播数据，确保执行流可控。

多场景性能验证

实验涵盖六类场景：无效指令拒绝、上下文感知响应、系统状态查询、运动控制、插件切换与视觉交互。在20个子任务中，系统在11个场景达到100%成功率，认知阶段准确率平均93%，分发与执行阶段分别达92%与95%。运动控制任务因LLM解析方向参数时存在歧义，成功率略低（80%），体现语义理解对端到端性能的关键影响。

实时性分析

任务总延迟由LLM解析、指令分发与执行时间构成。多数场景分发延迟低于1毫秒，而LLM解析受指令复杂度影响显著（如系统功能列表查询耗时超9秒）。视觉交互任务因持续跟踪需求，执行时间最长，但框架整体表现出稳定的时序特性。

该研究通过LLM与BT的深度融合，实现了自然语言到机器人行为的透明转换。框架的模块化设计支持行为灵活扩展，而基于状态的回退机制保障了执行可靠性。实验表明，系统在真实环境中能有效处理模糊指令、动态切换任务，并为用户提供可解释的决策过程。未来工作将探索多LLM后端对比、多机器人协作等方向，进一步提升系统在复杂场景中的适应性。