面向工业装配的LLM驱动任务规划与执行：融合形式化HTN验证与反应式BT的神经符号框架

《AI》：A Neuro-Symbolic Framework for LLM-Driven Task Planning and Execution in Industrial Assembly

　　

本文提出一种神经符号框架，将大语言模型（Large Language Model, LLM）驱动的任务规划与形式化符号验证及反应式行为树（Behavior Tree, BT）执行相结合，以支持工业装配中的高精度操作。尽管LLM在解释自然语言指令方面表现出专长，但其常常难以处理结构化制造数据，并缺乏复杂机器人执行所需的长期规划能力和确定性物理意识。此外，其易生成物理上不可行的序列，且缺乏稳健的错误恢复机制，从而限制自主部署。为应对这些局限，所提出的流水线将装配过程分解为规划、技术落地、自适应执行和恢复等连续阶段。首先，该框架利用LLM将多模态输入——从自然语言指令到形式化的产品和过程规范——合成为形式化分层任务网络（Hierarchical Task Network, HTN）。为确保物理可行性，一个确定性规则编译器依据既定空间和操作约束验证HTN的语法和结构一致性，并拒绝未定义符号与不可分解任务。随后，该经验证逻辑序列被编译为反应式BT，通过固定机器人技能库指导执行。执行期间，实时目标检测系统和原子技能库将BT动态转换为落地动作。该架构面向人机协作环境设计，自主将标准操作分配给机器人代理，同时将需要高灵巧性的任务安全地移交给人类操作员。通过将LLM的语义适应性与确定性规则工具的严格状态验证相结合，该方法旨在减少幻觉驱动故障并支持更安全的制造工作流，并通过系统级可行性研究而非组件级消融进行评估。所提出的架构使用任务特定评价指标，依据物理和逻辑标准进行评估。该框架在四个装配任务（T₁–T₄）上使用两种Gemma模型配置进行评估，每种配置每个任务进行30次试验（每种配置120次试验；总计240次试验），在更高容量配置下实现接近100%的计划有效性和接近零的幻觉率。在BT叶节点层面集成视觉-语言-动作（Vision-Language-Action, VLA）策略的未来方向在“感知与动态适应”部分讨论，作为替代当前固定机器人技能集的一种有前景方向。

论文解读：面向工业装配的LLM驱动任务规划与执行——神经符号框架

研究背景与问题：视觉-语言-动作（Vision-Language-Action, VLA）模型将视觉理解、语言条件和动作生成耦合于单一策略，使机器人更接近通用具身控制。RT-2、OpenVLA等模型可作为物理现实的读写接口，从自然语言命令和实时视觉观察直接输出低层可执行动作，有助减少任务特定工程。然而，将VLA直接移植到工业制造与装配暴露关键架构限制：其概率神经架构与制造过程的严格确定性要求冲突；难以原生处理计算机辅助设计（Computer-Aided Design, CAD）模型、物料清单（Bills of Materials, BOM）和正式工艺计划等结构化工业对象；依赖2D视觉编码器存在空间推理差距，妨碍多道焊接或复杂装配等高精度零公差3D操作；长时程、依赖密集任务中难以维持时间一致性、管理前置任务完成和执行稳健错误恢复。小批量制造环境产品差异高、工作空间非结构化、产量低，难以进行参数微调、大规模数据收集或强化学习。因此，研究人员定义四个研究问题，涉及自然语言指令转化为正式确定性装配规划、长时程状态跟踪与执行精度、外部符号验证以约束生成输出并检测幻觉、以及反应式执行与实时闭环视觉支持预定义故障处理。研究目的即提出一种神经符号架构，面向小批量机器人装配，通过本体驱动的规划层生成分层任务网络（Hierarchical Task Network, HTN）和可执行行为树（Behavior Tree, BT），再由固定机器人技能库执行短时程具身叶节点操作。

研究开展与结论意义：研究人员提出多层神经符号框架，将大语言模型（Large Language Model, LLM）语义适应性与确定性规则工具严格状态验证结合，作为工业装配操作风险的缓解策略而非完全自主架构。框架分三功能层：场景分析知识层、任务推理层、执行编排层；物理部署前必须经人在回路（Human-In-The-Loop, HITL）验证。结论显示，集成形式工程知识是强制缓解步骤但非全面解决方案；通过CAD提取和本体网络语言（Web Ontology Language, OWL）本体限定生成代理，可防止无约束VLA常出现的物理不可能；在较高容量Gemma 4 26b配置下，四个任务近100%计划有效性和近零幻觉率；执行质量直接受接地质量影响。意义在于为高混合低产量（High-Mix Low-Volume, HMLV）机器人装配提供减少标准重编程开销的可行路径，但概率AI仍不足以在安全关键制造中独立部署，持续HITL监督仍是绝对工业必要。

关键技术方法：以标准STEP文件经Open CASCADE提取CAD精确坐标与包围盒，并用OWL本体将几何数据转为机器可解释知识；LLM在严格推理超参下接收本体限制与几何数组，生成分层领域定义语言（Hierarchical Domain Definition Language, HDDL）领域/问题文件；确定性规则编译器执行HDDL语法与结构验证，拒绝未定义符号和不可分解任务，再编译为XML反应式BT；执行层以py_trees按20 Hz运行，通过自定义TCP/IP向OMRON TMflow控制器发送离散机器人命令，YOLOv8n对RGB流进行实时目标检测。实验平台来源于Mind4Lab设施，使用OMRON TM5-900协作机械臂与Robotiq 2F-85夹爪，认知层用Gemma 4 E4B（RTX 4070）和Gemma 4 26b（RTX 5090）本地部署。

研究结果：

4.1 实验设置：在Mind4Lab建立物理测试环境，OMRON TM5-900配Robotiq 2F-85夹爪，与人类操作员在集中工作台交互。评估两种硬件配置：Gemma 4 E4B（RTX 4070）和Gemma 4 26b（RTX 5090）。四任务T₁–T₄使用共同装配套件（一个base、一个矩形板、两个椭圆支架），复杂度通过空间/拓扑依赖和层次分解递增。每配置每任务30次，共240次。人类干预为计划协作动作，即机器人定位并保持后手动紧固，通过BT协作Wait节点表示，不计未计划干预；三个HITL验证门不是实验操作或自动重规划机制。

4.2 实验指标与验证协议：分认知规划质量和系统性能与执行鲁棒性。4.2.1 认知规划质量：计划有效性率验证HDDL语法正确、非原始任务可完全分解、无未定义符号或虚构谓词；幻觉率在规划试次水平计数，定义生成不存在机械对象、物理不可能运动学动作、错误几何配置；规划时间从初始任务查询到最终BT编译，包括LLM推理、确定性工具查询、HDDL序列化。4.2.2 系统性能与执行鲁棒性：失败分为七类F₁–F₇，F₁–F₄为规划错误，F₅为感知失败，F₆–F₇为执行失败（BT死锁、抓取故障等）；任务成功率要求所有零件装配正确、无不可恢复死锁、除明确HITL协作紧固外无需人类干预；计划-执行一致性验证HDDL到BT编译，要求每个BT叶节点对应HDDL动作、无意外操作、执行顺序保持逻辑依赖，按试次定性评估。

4.3 认知规划性能：E4B基线中，T₁计划有效性93.33%，规划时间39.10 s；T₂因复杂平面约束降至66.67%，幻觉率峰值30.00%。26b配置在120次试验中，任务级幻觉率T₁ 0.00%、T₂ 3.33%、T₃ 0.00%、T₄ 6.67%，保持高计划有效性。因两配置在不同GPU评估，规划延迟降低不能单独归因模型容量，应解释为硬件特定。

4.4 系统级执行与可靠性：E4B下总执行成功与规划质量一致，T₂成功率66.67%。失败分类显示F₄几何/拓扑推理错误约占全部失败近半，F₂任务分解失败高频。BT执行子系统在评估任务中稳定，120试次中未记录F₆相关BT转换死锁或无效状态传播。成功率对应T₁–T₄分别4、10、7、5次不成功试次（每任务30次），共29次失败事件；失败列表示事件而非不成功试次数。

讨论总结：

5.1 算法与生成局限：LLM仍是架构主要脆弱点。E4B的F₄几何失败表明，即使工具提供精确位置坐标，LLM仍难处理相对拓扑排序和推断隐含机械优先关系；本体定义物理分类但缺乏显式运动学约束，LLM被迫统计推断空间关系。因此管道需高容量模型处理层次依赖；HDDL解析依赖正则表达式提取，在复杂嵌套或部分有序子任务中脆弱。26b近完美表现与实验任务相对简单有关，更复杂真实装配会产生更高失败率，需扩展更强模型和硬件；失败无法完全消除，HITL监督必要。

5.2 感知与执行边界：BT编译策略在评估任务中可靠，支持静态符号规划与连续时间执行解耦；异步TCP/IP结构和带记忆序列节点使机器人安全处理感知延迟和人同步而不停滞控制循环。然而系统适应性受封闭感知词汇限制；YOLOv8视觉服务器和TMflow接口需为每个独特组件类手动预校准，无法动态适应零样本产品变化。

5.3 工业意义：框架通过大幅减少标准重编程开销，为HMLV机器人装配提供可行路径；但结果明确表明，概率AI推理即使重度增强，也不足以在安全关键制造中孤立部署。在生成系统能直接处理原生CAD对齐约束并自主再生恢复HTN前，持续HITL监督是绝对工业必要。

结论翻译：向灵活人机协作（Human–Robot Collaboration, HRC）转型暴露传统刚性工业编程的固有限制。虽然视觉语言模型（Vision-Language Model, VLM）和LLM为解释非结构化指令提供出色语义适应性，但其概率推断机制引入不良操作风险，常合成物理不可能或结构无效动作。本文提出多层神经符号框架，通过将生成AI限定在确定性工程约束内主动缓解风险。通过从CAD模型提取精确几何坐标并从形式OWL本体查询操作限制，架构将LLM推理锚定在物理现实，这一设计选择得到主要实验和初步观察支持。将HDDL模式确定性编译为XML反应式BT，有效弥合抽象认知规划与稳健机器人执行之间差距。使用OMRON TM5-900机械臂的经验验证表明，接地质量直接决定执行质量；提供验证的语义和空间参数时，BT执行子系统高度稳定可预测。然而该架构不是完整完全自主方案，严格是缓解策略，用于最小化当前生成模型固有幻觉现象和空间推理差距。因为概率AI尚不能在无约束机电环境中保证绝对确定性安全，持续HITL验证仍是绝对工业必要；从语义解析到最终机器人执行的每一层都必须在工厂部署前经人类监督。未来研究需在认知、感知和执行边界解决当前约束：本体扩展至动态物理属性，原生CAD集成，领域特定小语言模型（Small Language Models, SLMs）；开放词汇感知和主动动态重规划；实时中间件如机器人操作系统2（ROS2）与EtherCAT集成，以及BT叶节点层面的学习优化。