ProcessLLM-R1：一种超图检索增强型且基于强化学习的商用飞机装配过程规划技术

《JOURNAL OF MANUFACTURING SYSTEMS》：ProcessLLM-R1: A hypergraph retrieval-augmented and reinforcement learning-driven assembly process planning for commercial aircraft

　　•提出了一种名为ProcessLLM-R1的框架，用于飞机装配过程规划。•过程知识超图和多轮智能检索机制实现了渐进式的知识获取。•GRPO优化了检索决策过程，ProcessLLM-R1在过程数据集上的表现优于基线方法。

**引言**
作为设计与制造之间的关键桥梁，过程规划不仅在确保设计概念的准确实现方面发挥着重要作用，还能显著提升制造效率和产品质量[1]、[2]。在商用飞机工艺技术中，过程操作是工艺的基本执行单元[3]。其重要性在于确保每个飞机部件能够按照规定的要求进行机械加工、装配、检验和调试，从而实现设计目标和质量标准。然而，目前商用飞机制造中的大多数过程规划任务仍依赖人工操作。同时，需要查阅的过程文件、技术规范和标准内容复杂，关键信息（如参数和型号规格）分散在不同的来源中。过程规划人员通常需要查阅大量文件和结构化数据库以获取所需信息。这一过程不仅耗时，还需要大量的人力和物力来进行信息检索和维护。引入智能过程规划技术可以降低劳动力成本，减少人为因素导致的错误，并提高过程规划的准确性和一致性。此外，它还能优化与过程相关的文档管理和检索，使过程规划人员更便捷地获取最新的规格和参数信息，从而进一步提高商用飞机过程规划的效率和质量。因此，过程知识的结构化组织和精确检索已成为提升商用飞机过程规划效率和质量的关键问题。

**知识图谱（KG）**
作为人工智能的一个重要分支，知识图谱（KG）是一种高效的知识管理工具。通过对知识进行结构化的语义表示，KG能够有效整合、组织、管理和处理大规模复杂的数据集。KG可以为过程对象、过程元素及其之间的关系提供结构化建模，同时统一分散在过程文件、技术规范、标准和数据库中的知识表示和关系组织，从而支持复杂过程知识的管理、检索和推理。因此，知识图谱在过程规划任务中的应用日益增多。然而，知识图谱更适合明确的知识表示和关系建模，在复杂语义理解、跨文档知识整合以及长过程生成方面仍存在一定的局限性，这使得它们难以直接满足高质量商用飞机过程规划的需求。特别是在现有的过程规划应用中，知识图谱通常基于二元关系以三元组的形式对知识进行建模。这种表示方法虽然便于存储和查询，但容易割裂过程知识的整体语义结构，削弱不同过程元素之间的协作关系。例如，在机身面板连接步骤中，部件PAT001和主要结构ARE001的对接面使用工具TOO001进行清洁，遵循工程图纸DRA001、过程标准CPS001和通用文档ECS001的规定，之后参照操作规程CD001涂抹密封剂CMS001。在这个操作描述中，图纸、标准、工具、部件、结构区域、材料和操作规程都集中在一个工作步骤任务中，这些实体并不简单地形成一组相互独立的二元关系。例如，定义工具TOO001与过程标准CPS001之间的语义关系既困难又不必要；相反，这些实体共同构成了一个完整的操作上下文。将这样的操作描述分解为一系列独立的三元组会损害过程文本的整体语义完整性，难以捕捉过程资源、过程约束和操作任务之间的复杂多对一或多对多依赖关系。因此，知识超图更适合建模商用飞机过程知识，因为超边可以同时连接同一操作中的多个实体，同时保持它们统一的工程背景。

**生成式人工智能（Generative AI）**
随着生成式人工智能的兴起，大型语言模型（LLM）在复杂问题解决和知识密集型应用中显示出巨大潜力，这得益于它们在语义理解、上下文建模和文本生成方面的强大能力[4]。LLM还为智能过程规划提供了新的技术途径。特别是检索增强生成技术的发展，使LLM能够通过整合外部知识来源来更准确地生成内容，从而缓解了LLM参数记忆的限制和领域知识不足的问题，为基于LLM的智能过程规划奠定了基础。在涉及复杂知识关系的场景中，现有方法通常在标准RAG框架的基础上加入优化模块（如查询重写、基于图的检索和重新排序）来提高检索知识的相关性。尽管这些方法可以提高检索性能，但它们通常将每个组件视为顺序且相互独立的模块，并需要多次调用LLM，导致系统架构复杂且推理延迟较长。更重要的是，检索增强生成通常采用单一的静态查询机制，其重新排序模块仅从固定的文档集中被动选择信息，这阻碍了LLM主动判断检索到的知识是否充分，从而难以有效应对商用飞机过程规划中知识碎片化和复杂层次依赖关系等挑战。

**ProcessLLM-R1**
为解决这一挑战，受到近期智能RAG和GraphRAG进展的启发，我们提出了ProcessLLM-R1，这是一种基于知识超图的商用飞机过程生成方法。与主要从平面知识结构中检索信息的通用GraphRAG方法不同，ProcessLLM-R1考虑了商用飞机过程规划的层次结构，将过程知识建模为包含“总体过程规划、工作站/站点、操作、工作步骤”四个层次的知识超图。在此基础上，我们引入了一种适配过程层次结构的层次搜索机制，使模型不仅能够进行实体和超边级别的检索，还能沿着层次化过程路径进行跨层次检索和推理。此外，ProcessLLM-R1将检索过程视为多轮智能交互过程，允许LLM根据当前知识的充分性动态选择生成答案或启动知识超图检索，并通过迭代的“思考–检索–重新思考–生成”循环逐步获取生成过程指令所需的关键信息。此外，我们结合了GRPO优化策略和特定于任务的奖励函数来改进模型的检索决策能力以及过程知识超图环境中生成的过程指令质量。总之，本研究的主要贡献如下：
(1) 我们构建了一个四级商用飞机过程知识超图，并使用真实的商用飞机过程数据开发了两个数据集CAMP-174和CAAP-78。该结构将总体过程规划、工作站/站点、操作和工作步骤映射到层次化超图节点类型上，从而反映了过程文本中的多实体耦合和层次化组织关系。
(2) 我们提出了ProcessLLM-R1智能体。该智能体受到智能RAG的启发，能够自主评估当前过程知识的充分性，并动态决定是否生成答案或调用知识超图检索工具。据我们所知，这项工作是系统地将智能RAG应用于商用飞机过程指令生成的初步尝试之一。
(3) 我们引入了一种适配过程层次结构的层次搜索机制，并在GRPO优化框架下重新设计了奖励函数。作为实体和超边级别检索的补充，该机制使模型能够沿着“总体过程规划、工作站/站点、操作、工作步骤”的层次路径检索信息和进行推理。

**实验结果**
实验结果表明，ProcessLLM-R1在性能上优于评估过的基于LLM的生成方法和RAG基线方法。

**论文结构**
本文的其余部分安排如下：第2节讨论相关方法，第3节介绍方法论框架，第4节详细阐述案例研究以证明所提方法的有效性，第5节进行讨论，第6节总结研究成果及未来工作方向。

**总结**
我们的方法为商用飞机过程规划的智能发展提供了一条实用且可行的技术途径。我们希望这项研究能为飞机制造领域中基于LLM的解决方案的应用提供有价值的见解和支持。

**相关研究**
本节回顾了与本研究相关的研究，包括LLM在知识系统中的应用、LLM的强化学习、过程规划知识服务和智能决策制定，以及当前的研究空白和本研究的动机。

**方法论**
如图1所示，我们提出了ProcessLLM-R1，它将检索过程建模为多轮智能交互过程，使LLM能够在过程知识超图环境中执行“思考–检索–重新思考–生成”的推理循环，从而提高生成过程的质量。需要指出的是，本研究使用的过程知识超图是基于我们之前提出的KE-LSM知识提取流程构建的。

**案例研究**
本节分析了所提方法的实验设置和结果，其应用实例展示了该方法的实际可行性。

**讨论**
ProcessLLM-R1本质上是标准图检索增强范式的系统性扩展。传统的GraphRAG通常将查询重写、图检索、重新排序和答案生成分为相互独立的顺序模块，这些阶段往往需要多次调用大型语言模型或依赖不同类型模型的协作来完成，从而导致系统架构复杂、推理链过长。

**结论与未来工作**
在本文中，我们提出了ProcessLLM-R1，这是一种基于知识超图和强化学习的商用飞机装配过程智能生成方法。鉴于商用飞机装配过程数据中的多元素交织和复杂关系依赖性，我们构建了一个过程知识超图，以n元组的形式对过程对象、过程元素及其关系进行结构化组织。此外，与CRediT作者贡献声明不同...

**作者贡献声明**
Yunfei Ma：撰写–审阅与编辑、撰写–初稿、方法论、形式分析、数据整理、概念化。
Shuai Zheng：撰写–审阅与编辑、撰写–初稿、可视化、验证、监督、方法论、调查、数据整理。
Haokang Tian：可视化、验证、监督、数据整理、概念化。
Maohui Qin：撰写–审阅与编辑、可视化、验证、方法论、数据整理。
Pai Zheng：撰写–审阅与编辑。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。