弥合语义鸿沟：基于轨迹引导的领域修复技术，以实现可靠的规划

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：Bridging the semantic gap: Trajectory-guided domain repair for reliable planning

　　刘瑞凯|李瑞琦|董清伟|万广西|姜茂伟|王一帆|曾鹏
中国科学院沈阳自动化研究所机器人人与智能系统国家重点实验室，中国

**摘要**
制造机器人领域的符号规划受到不稳定的领域模型的制约。虽然大型语言模型（LLMs）能够从自然语言生成PDDL（规划领域定义语言）领域模型，但它们常常引入一些微妙的缺陷，如不充分的前提条件或不完整的效应。这些缺陷导致了语义上的重大差距，使得在语法上正确的规划在物理执行中失败，从而对机器人可靠性构成了重大挑战。我们提出了一种基于轨迹引导的领域修复框架，该框架能够系统地将符号模型与物理现实对齐。其两阶段反馈循环首先使用迭代束宽度搜索（Iterative Beam Widening）来选择一组紧凑且信息丰富的轨迹，以最小化交互成本（即与环境的互动次数）。其次，它会对执行错误进行故障归因——区分是前提条件有误还是上游效应的问题——并生成结构化的提示来指导LLM的修复工作。我们的框架在包括工业仿真和真实机器人在内的十二个基准测试中得到了验证，实现了71.2%的先进执行成功率，在相同的评估协议下优于所有对比基线。值得注意的是，这一性能是在显著较低的交互成本下取得的，平均每项任务只需要231次与环境互动，与基于探索的方法相比减少了近一个数量级。我们的结果为弥合高级符号推理与稳健物理执行之间的差距提供了实用路径，提升了LLM驱动自动化在复杂制造环境中的可靠性。

**引言**
符号规划是机器人技术和制造业自主性的核心，因为它提供了可解释、可验证且可调度的全局级解决方案。然而，任何规划器的可靠性都取决于其符号领域模型的准确性——这些模型定义了可能的动作及其结果。为复杂的实际工厂环境构建和维护这些模型是一个众所周知的瓶颈：它们既脆弱又耗时且容易出错 [1]、[2]、[3]。看似微小的遗漏，如缺失的前提条件或不完整的效应，可能会导致原本可解决的问题变得无法解决，或者生成一个在验证时通过但在机器人上执行时会灾难性失败的规划。这种规划器的抽象模型与物理世界动态之间的不匹配——通常称为语义差距——直接导致昂贵的专家调试和返工成本。

为了减轻这一建模负担，最近的研究利用大型语言模型（LLMs）从自然语言指令自动合成PDDL领域模型。LLMs能够将高级指令映射到结构化的任务表示，并在工具路径选择和装配等与制造相关的任务上表现出竞争力 [4]、[5]。尽管如此，文献中明确指出一个持续的弱点：LLMs经常生成语法正确但在语义上有缺陷的模型 [2]、[6]。现有的修复策略通常依赖于与环境的广泛且耗费大量的交互来发现这些不准确之处 [7]。这种蛮力探索效率低下，需要数千次随机试验才能找到故障，这对实际机器人硬件来说是不可接受的。依赖完美准确的领域模型不仅是基于LLM的方法的弱点，也是整个机器人符号规划领域的脆弱假设。将PDDL与行为树 [8]、ROS2工具链 [9] 或数字孪生 [10] 集成的既定框架通常假设模型足够准确。当模型不准确时，工程师只能依靠繁琐的手动修补，而这种方法在频繁更换生产线时无法扩展 [11]、[12]。这些挑战凸显了迫切需要一种既具有丰富语义信息又高效交互的反馈机制。我们工作的核心见解是，与其依赖大量的随机交互，不如使用一组精心挑选的轨迹来提供足够的信息，以最小的物理执行次数诊断和修复大多数建模缺陷。

在本文中，我们提出了基于轨迹引导的领域修复框架，这是一个解决这一建模瓶颈的闭环系统。我们的方法将LLM生成的领域模型与工作单元的实际行为对齐，同时保持较低的交互次数。该框架基于两个理念：首先，我们通过迭代束宽度搜索（IBW）选择一组能够覆盖领域抽象动作类型的紧凑轨迹；其次，我们对执行错误进行故障归因，区分动作自身前提条件的缺陷和前一个动作效应的缺陷。然后，这种诊断结果被转化为结构化的提示来指导LLM的修复工作。这一过程得到了覆盖完整性和有限交互成本的理论保证，解释了其在制造单元中的实证效率。

**主要贡献**
1. 我们提出的基于轨迹引导的领域修复框架能够高效地将符号模型与真实世界的执行行为对齐。该框架基于三个关键创新：
a. 一种新颖的语义反馈循环，利用迭代束宽度搜索选择信息丰富的轨迹，并通过故障归因机制为LLM生成的领域模型生成针对性的修复方案。
b. 对框架效率的正式保证。我们证明了轨迹选择的覆盖完整性，并推导出了有限的交互成本上限，理论上解释了环境交互次数的显著减少。
c. 在包括工业仿真和真实机器人在内的十二个多样化基准测试中验证了先进的实证性能，我们的框架实现了71.2%的平均执行成功率，始终优于所有对比基线，同时需要的环境交互次数显著减少。

**LLMs在自动化规划中的地位**
LLMs的吸引力显而易见：它们可以将非正式的任务描述映射为经典规划器可用的结构化PDDL片段 [13]、[14]。早期关于端到端规划生成的工作揭示了逻辑一致性的局限性 [15]，因此采用了更为稳健的混合模式：利用LLMs进行建模，而将最优搜索任务留给规划器。这种方法在制造环境中已被证明很有价值，LLM驱动的符号分解可以稳定长期视角下的装配任务 [5]。然而，即使在...

**问题陈述**
本研究旨在解决自动修复由大型语言模型从自然语言生成的缺陷符号规划领域的挑战，以确保在物理环境中的可靠规划执行。给定一个初始的、可能存在错误的PDDL领域模型D?0和一组问题实例，我们的目标是与目标环境M进行迭代交互，生成一个修正后的领域模型D??。修正后的领域必须解决两个主要故障症状：

**方法**
为了弥合抽象规划与物理执行之间的差距，我们引入了基于轨迹引导的领域修复框架，这是一个将符号领域模型与目标环境语义对齐的闭环系统。该过程从对机器人任务的高级自然语言描述开始，大型语言模型将其转换为初始的、可能存在错误的PDDL领域文件d?0。如图2所示，我们的方法通过循环迭代来逐步优化该领域模型。

**实验设置**
我们的框架在三个不同的任务类别上进行了评估，以确保对其能力的全面评估。所有实验的一个核心假设是问题文件（定义初始状态和目标）是已知且正确的。这种方法使我们能够严格隔离并评估框架在领域语义修复方面的性能，这是我们的主要关注点。我们获取反馈的真实世界状态的方法因任务而异：

**结论**
我们提出了一个基于轨迹引导的领域修复框架，它实现了高级符号规划与现实世界执行之间的闭环。通过利用一组信息丰富的轨迹提供的针对性反馈，我们的方法改进了LLM生成的领域模型，并纠正了在机器人和制造任务中常见的规划-执行不匹配问题。我们的实证结果证明了在执行稳健性和交互效率方面的一致性提升。

**作者贡献声明**
刘瑞凯：撰写——原始草稿、软件实现、方法论研究、概念构建。
李瑞琦：撰写——审稿与编辑、撰写——原始草稿、可视化设计、验证工作、方法论研究、概念构建。
董清伟：软件实现、研究工作。
万广西：撰写——审稿与编辑、项目监管。
姜茂伟：验证工作。
王一帆：撰写——审稿与编辑、方法论研究。
曾鹏：撰写——审稿与编辑、项目监管、概念构建。

**利益冲突声明**
作者声明没有已知的财务利益冲突或个人关系可能影响本文所述的工作。

**致谢**
本研究得到了中国国家重点研发计划 [2024YFB4711103]、国家自然科学基金 [U24A20277, 92267205, 62503466, 92467301, 92367301]、辽宁省自然科学基金 [2024-MSBA-83, 2025-MS-085]、国家博士后科研支持计划 [GZB20230805]、SIA基础研究项目 [2024JC1K10, 2024JC3K03] 以及机器人人与智能系统国家重点实验室的支持。