《Biomimetic Intelligence and Robotics》：ConceptBot: Knowledge-graph-grounded commonsense for task decomposition in LLM robot planning
编辑推荐：
当需要常识推理来消解语言歧义并正确解释对象时，机器人规划会失效。为此，研究人员提出ConceptBot，一种模块化规划框架，将大语言模型（LLMs）与知识图谱（knowledge graphs）集成，以联合消解指令歧义、实现对象语义接地（grounding），
当需要常识推理来消解语言歧义并正确解释对象时，机器人规划会失效。为此，研究人员提出ConceptBot，一种模块化规划框架，将大语言模型（LLMs）与知识图谱（knowledge graphs）集成，以联合消解指令歧义、实现对象语义接地（grounding），并支持风险感知的任务级规划。ConceptBot包括三个组件：（i）对象属性抽取（Object Properties Extraction, OPE）模块，利用ConceptNet中的语义概念增强场景理解；（ii）用户请求处理（User Request Processing, URP）模块，消解歧义并将自由形式指令结构化；（iii）规划器（Planner），将结构化请求接地为顺序的、符合动作模式（action schema）的拾取-放置（pick-and-place）策略。在47条指令的符号规划基准上，ConceptBot在隐式任务上达到87.0%的规划策略正确率（planning-policy correctness），而SayCan为31.0%、ReAct为27.0%、ProgPrompt为13.0%；在风险感知任务上达到76.2%，上述方法分别为15.0%、37.5%和22.5%。这些数值量化的是符号策略正确性，而非端到端机器人成功率。另外，受控的PyBullet与Franka执行展示了所生成策略与仿真及物理操作栈的集成。在SafeAgentBench上，ConceptBot在无领域特定训练条件下获得观测总体BSS（安全任务成功率与不安全任务拒绝率的调和平均）为80%。
研究背景与问题：自主机器人在感知、控制和操作方面进展迅速，规划连接任务目标、机器人感知、动作序列选择与不确定性下的操作约束，是非结构化环境中有效部署的关键。任务分解将复杂目标拆分为可管理动作，大语言模型（Large Language Model, LLM；以大规模文本训练进行语言理解与生成的模型）为自然语言指令理解、语境把握和动态任务分解提供了新途径。但LLM集成到机器人任务规划仍面临挑战：训练数据与机器人应用需求不一致；自然语言指令歧义或隐含会恶化任务分解；幻觉、缺少领域细节或常识知识可产生不可行计划；策略可执行后仍需评估其安全性与可靠性。该研究针对第三类挑战，通过注入常识知识与场景语义，使语言导出的目标保持在与符号场景及机器人拾取-放置动作模式一致的范围内。研究人员提出ConceptBot，将LLM与ConceptNet约束结合以接地对象属性和关系并减少幻觉。系统包括对象属性抽取（Object Properties Extraction, OPE；从ConceptNet检索并过滤对象属性/关系的模块）、用户请求处理（User Request Processing, URP；将自然语言指令消歧并结构化的模块）与规划器（Planner；将结构化请求落地为场景有效动作序列的模块）。OPE以ConceptNet语义概念增强检测场景并在安全敏感模式下加入语义风险注释；URP结合语义上下文产生指定移动对象与目的地的结构化请求A
urp；Planner将A
urp接地为场景有效拾取-放置动作并跟踪执行历史。该设计将常识与风险敏感任务解析置于执行级动作接口上游。作者声明ConceptBot是首个集成ConceptNet以接地对象属性和关系、用于语言条件任务分解与风险感知动作选择的机器人规划器。
研究人员开展的研究与意义：研究构建模块化框架，提出OPE模块检索并过滤ConceptNet关系以推断任务相关属性，配合风险指数（Risk Index；对对象及对象交互进行语义风险评分的机制）降低不安全计划；将URP与执行级LLM Planner配对，在确定性场景有效拾取-放置动作空间内顺序化结构化请求，形成上下文感知且符合动作模式的策略；并开展对SayCan、ReAct?、ProgPrompt?、多个LLM后端及SafeAgentBench的扩展评估，发布代码、提示与任务以支持复现。
关键技术方法：研究人员在PyBullet仿真中采用UR5e机械臂与Robotiq 2F85夹爪，ViLD进行对象检测，CLIPort生成拾取-放置热图并细化末端执行器动作；真实环境采用Franka Emika Panda、Intel RealSense D435 RGB-D相机、YOLOv8微调检测及FrankaPy执行。ConceptBot由OPE（ConceptNet关系检索、语义过滤θ=0.75、Risk Index、可选动态属性归纳（Dynamic Property Induction, DPI）及默认关闭的Wikipedia/OpenIE覆盖扩展）、URP（关键词抽取、ConceptNet关键词与对象关系检索、上下文构建、思维链（Chain-of-Thought, CoT）结构化输出）和Planner（场景有效动作构造、LLM决策与输出验证、最多12个pick-and-place动作）组成。评估使用47条指令符号规划基准、10次策略生成重复、专家验证可接受策略集、SafeAgentBench（GPT-4后端，600项任务）及三个LLM后端。
研究结果：
基准比较（Benchmark comparison）：通过统一符号规划基准、相同GPT-4o-mini配置、动作模式、重复次数和可接受策略评估器比较，所有方法在无歧义指令上均为100.0%；在歧义任务上ConceptBot的URP变体为100.0%，SayCan为84.0%、ReAct?为82.0%、ProgPrompt?为75.0%；在隐式任务上完整ConceptBot为87.0%，上述基线分别为31.0%、27.0%、13.0%；在风险感知任务上完整URP&OPE为76.2%，基线分别为15.0%、37.5%、22.5%；在应用特定任务上ConceptBot在材料分类为70.0%、毒性识别为86.0%，毒性类别基线分别为36.0%、42.0%、20.0%。结论是差异主要出现在歧义消解、隐式意图推断、对象属性推理或安全感知决策场景，完整管线在最具挑战类别取得最高观测均值。
消融研究（Ablation Studies）：通过URP-only、OPE-only、完整URP&OPE与No-KG变体在同一统计约定下比较，URP-only在歧义任务（100.0%对95.0%）和隐式任务（75.0%对60.0%）高于OPE-only；OPE-only在材料（65.7%对45.7%）、毒性（80.0%对64.0%）和风险感知（58.8%对43.8%）高于URP-only；完整URP&OPE在隐式87.0%、风险感知76.2%、材料70.0%、毒性86.0%上为内部变体最高。No-KG相对完整URP&OPE在隐式任务低23.0个百分点、风险感知低17.4、材料低18.6、毒性低30.0，说明外部知识图谱证据对相关类别有贡献。
LLM比较（LLMs Comparison）：通过固定符号输入、URP/OPE结构、Planner协议、提示、动作模式、ConceptNet证据和重复次数，仅更换GPT-4o-mini、DeepSeek-R1与Llama-3.3-70B-Instruct后端，观察到三个测试后端在各类别观测均值相近；研究人员未将其解释为正式等价检验。
定向动态属性归纳诊断（Targeted Dynamic Property Induction diagnostic）：通过10个场景的受控诊断集评估DPI，DPI在全部10个场景提出至少一个来自目标语义族的属性，扩展目标集在7/10场景保留额外ConceptNet关系，且未丢失固定模式已保留关系；在水保护案例中策略正确性由7/10提高到10/10，其他代表案例在无归纳时策略已正确。结论是DPI可显式化固定OPE模式缺失的语义维度并提高表示覆盖，但对最终策略影响任务依赖，保持可选且主基准关闭。
SafeAgentBench：通过将ConceptBot配置为处理17种不同低层动作并在SafeAgentBench上评估，ConceptBot获得观测总体BSS为80%；对比结果中下一最高报告值为ReAct结合ThinkSafe的46%。该结果作为描述性基准比较报告，未附正式显著性声明。
定性失败分析（Qualitative failure analysis）：通过检查代表性任务级规划失败，且不评估感知失败或低层执行失败，发现剩余错误可来自指令/对象歧义、集合扩展不完整、混合材料推理、安全/支撑约束软执行及长尾领域特定知识缺口。
讨论与结论：讨论部分指出ConceptNet在细分或专业领域覆盖不完整且关系可能过于泛化；OPE虽可暴露安全和材料相关信息，但这些语义注释由URP在结构化请求构建中纳入，而非作为硬几何或物理约束执行；DPI诱导属性可能噪声大、过宽或命名不一致，因此限制数量、归一化、去重并在主基准默认关闭，且诱导属性只提供显式推理目标，不保证ConceptNet有足够证据可靠推断。语义过滤阈值仍为全局θ=0.75，虽经检索敏感性扫描支持为实用工作点，但单一阈值不能对所有对象名、关系类型和任务上下文最优。Risk Index是常识知识导出的语义风险估计，不是基于物理的安全证书，不显式建模接触力、几何、支撑多边形、质心、热传递、变形或动态稳定性。未来工作将扩展至导航和细粒度操作，并在移动操作器与人形场景等更多平台评估；改进ConceptNet查询以聚焦领域相关概念，整合互补常识与任务特定知识图谱，研究对象特定阈值、关系类型感知过滤和top-k回退等自适应检索策略，并引入基于属性的候选计划过滤等显式约束执行与验证步骤。
研究结论（翻译）：ConceptBot是一种模块化机器人规划器，利用ConceptNet改进基于LLM的任务分解。通过集成外部常识知识，ConceptBot改善了非结构化环境中复杂、歧义、安全敏感和应用特定请求的解释与任务级策略生成。基准比较中，完整ConceptBot在最具挑战类别取得最高观测规划策略正确率均值：歧义任务100%，SayCan为84%、ReAct?为82%、ProgPrompt?为75%；隐式任务87%，上述分别为31%、27%、13%；风险感知任务76.2%，上述分别为15%、37.5%、22.5%；应用特定任务中材料分类70%、毒性检测86%。在GPT-4o-mini、DeepSeek-R1和Llama-3.3-70B-Instruct三个LLM后端间，测试配置范围内观测类别均值相近。SafeAgentBench上ConceptBot为80%，下一最高报告基线ReAct+ThinkSafe为46%，该结果作为描述性基准比较报告。符号基准百分比不应解释为物理机器人任务成功率。另在五个代表性PyBullet/Franka任务-平台配置上各进行十次受控在线运行，45/50生成策略规划正确，且45/45规划正确策略均由执行栈完成；这些受控部署展示规划到执行集成，但不建立通用感知、抓取、放置稳定性或控制器鲁棒性。尽管有优势，ConceptNet在细分领域覆盖不完整；语义安全和材料注释由URP纳入而非硬物理约束；DPI诱导属性可能噪声、过宽或不一致，故默认关闭并仅作可选覆盖；全局阈值难以对所有对象、关系类型和任务上下文最优；Risk Index不替代低层物理验证，细粒度执行风险仍需几何与物理推理。未来将扩展至导航、细粒度操作、更多机器人平台，改进ConceptNet查询与知识图谱整合，研究自适应检索，并引入显式约束执行与验证。
