基于大规模语言模型（MLLM）和模型知识图谱（MKG）的飞机部件MBD语义注释及闭环回写技术

《JOURNAL OF MANUFACTURING SYSTEMS》：MBD semantic annotation and closed-loop back-writing for aircraft components based on MLLM and MKG

该研究提出融合多模态大语言模型（MLLM）与制造知识图谱（MKG）的MBD语义标注框架，解决航空部件设计中的数据异构、人工标注依赖及跨模态映射难题，通过参数高效微调（LoRA）和双层级混合推理策略，实现自动语义生成与回溯，案例验证标注效率提升44%，信息完整性达95.2%，有效闭合数字闭环。

　　

钱兆|钟江|向龙李|郭鑫|李军|李旭瑞|赵武|张凯

四川大学机械工程学院，中国成都610065

摘要

从“图纸驱动”制造向“模型驱动”制造的转变在很大程度上依赖于基于模型的定义（MBD）。然而，目前民用飞机机头部件的MBD设计过程面临一些挑战，如异构数据难以整合、语义注释高度依赖人工经验，以及缺乏设计意图的跨模态映射。为了解决这些问题，本文提出了一个集成框架，用于自动生成和回写MBD语义注释，该框架结合了多模态大型语言模型（MLLM）和制造知识图谱（MKG）。首先，为了解决MBD模型数据的深度封装问题，开发了一种异构数据解析算法，将复杂的模型特征树分解为结构化的JSON序列。随后，通过多视图联合表示策略构建了一个高质量的多模态指令微调数据集。其次，基于Qwen2-VL-7B-Instruct架构，使用LoRA技术实现了参数高效的领域自适应微调，构建了一个能够理解3D制造语义的领域特定大型模型，从而实现从几何视图到FBS逻辑的智能推理。为了降低LLM生成中的随机性风险，建立了一种“知识图谱硬约束+大型模型软完成”的双层混合推理策略。最后，开发了一个交互式语义回写模块，实现了设计意图回写到3D模型中的映射和显式存储。针对大型民用飞机机头部件的典型组件的案例验证结果表明，与手动注释相比，该框架将注释时间减少了约44%，与仅使用MLLM的方法相比减少了24.8%，实现了95.4%的规范合规率和95.2%的信息完整性。在制造领域，与手动方法相比，它将手动信息检索时间提高了约94%，与仅使用MLLM的方法相比提高了67.2%。意图理解得分达到了9.33分，显著减少了初级工程师对隐性经验的依赖。研究表明，该框架有效地闭合了“视觉感知-逻辑推理-语义回写”的数字循环，为复杂航空产品的智能制造提供了创新的技术解决方案。

引言

在工业5.0和智能制造的推动下，全球航空制造业正在经历深刻的数字范式转变[1]，[2]。作为这一转型的核心驱动力，基于模型的定义（MBD）技术正在加速产品开发模式从传统的“2D图纸驱动”方法向“3D模型驱动”范式的转变[3]，[4]。在MBD框架中，3D数字模型不再仅仅是几何形状的载体；相反，它被赋予了“单一真实来源”的战略地位，涵盖了整个产品生命周期中的几何定义、产品制造信息（PMI）和过程语义[5]，[6]。目前，MBD更新的数据结构标准与3D功能公差和注释（FT&A）相关：ASME Y14.41-2019 [7]和ISO 16792:2021 [8]。MBD技术的推广和应用旨在彻底消除设计、制造和检验阶段之间的长期数据障碍，建立整个生命周期中的无缝“数字线程”。这对于提高开发效率、缩短交付周期和确保复杂航空设备的制造质量具有里程碑意义。

然而，尽管MBD技术在构建完全数字化的连续流程方面具有显著的理论优势，但在实际工程实施过程中，深度语义的自动化生成和传播仍然面临一个关键的“最后一公里”瓶颈。现有的主流计算机辅助设计（CAD）平台（例如CATIA）的核心通常将显式的几何拓扑和隐式的非几何制造属性封装在复杂的特征树结构中。这种高度封闭的数据架构导致了严重的“语义孤岛”现象[9]。因此，自动化系统难以在直观的几何特征和抽象的制造意图之间建立映射机制，使数字线程在数据定义的源头就面临断开的风险。

受到上述技术障碍的限制，航空部件的MBD模型的语义注释目前仍然严重依赖于设计师的手动输入。这一过程不仅是一项极其劳动密集型的任务，还对设计师的隐性知识储备提出了严格的要求。面对航空领域中大量的材料等级、部件类型和工艺标准代码，手动操作不可避免地存在解释偏差和遗漏，直接导致源数据的标准化和一致性不足[10]。同时，尽管人工智能在工程图纸识别领域取得了显著进展，但现有解决方案在两个方面存在明显局限性：首先，缺乏深度逻辑推理；纯基于计算机视觉的模型难以理解几何特征背后的功能-行为-结构（FBS）逻辑。其次，数据回写机制不足；学术界目前迫切需要一种能够在不破坏原始几何拓扑的情况下，将AI生成的智能语义“回写”到源MBD模型中的机制。由于缺乏这种闭环反馈，智能生成的数据仍然局限于“辅助参考”的层面，无法真正流入CAD系统核心，从而严重限制了MBD技术的智能发展。为了解决上述挑战，本文提出了一个集成的MBD语义增强和回写框架，将多模态大型语言模型（MLLM）与制造知识图谱（MKG）融合在一起。在这个框架中，MLLM被定义为视觉感知引擎，可以通过提示和飞机部件模型的视图生成结构化语义；MKG被定义为逻辑推理核心，包括飞机部件的工程注释。它与MLLM的输出一起决定了飞机部件模型的语义信息。该框架旨在构建“视觉感知-逻辑推理-语义回写”的闭环操作模式。主要贡献总结如下：

(1)

提出了一种用于复杂航空部件的多模态指令微调数据集构建方法。为了解决MBD模型数据的封装和异构性问题，实现了一种自动化解析和建模方法，将复杂的模型特征树分解为结构化的JSON语义，并将其与多视图投影对齐。通过人机协作机制，原始制造记录被标准化和重构，构建了一个高质量的多模态微调数据集，为将知识注入航空制造领域的大型语言模型（LLMs）奠定了数据基础。

(2)

构建了一种新的“视觉感知与逻辑推理”之间的语义生成范式。基于开发的多模态数据集，使用低秩适应（LoRA）策略对Qwen2-VL-7B-Instruct模型进行了微调，以实现几何特征（例如“孔”、“加强肋”）的视觉感知和FBS逻辑的语义推理。同时，引入了MKG作为确定性的逻辑约束。通过置信度门控机制，补偿了生成模型在严格工程规范下的“幻觉”缺陷，确保了生成工程注释的准确性和合规性。

(3)

克服了将异构语义映射到MBD模型中的关键“语义回写”技术。为了解决CATIA内核的封闭性问题，提出了创新的“分层映射”和“拓扑写入”策略。在严格确保几何拓扑安全的前提下，通过Python和COM接口实现了语义数据到CATIA参数对象的实例化注入。

本文的其余部分组织如下：第2节系统回顾了与MBD语义提取相关的研究、大型语言模型（LLMs）在工程领域的应用以及整合知识图谱和LLMs的协同方法。第3节详细阐述了所提出的整体框架，特别关注异构数据解析、MLLM微调、知识图谱推理机制和交互式回写接口的实现。第4节通过涉及民用飞机机头典型组件的详细案例研究，展示了数据集构建和模型训练细节，并验证了该方法在设计和制造场景中的有效性。第5节从三个维度深入讨论了实验结果：技术协同机制、工程应用价值和当前局限性。最后，第6节总结了本文并概述了未来的研究方向。

章节片段

相关工作

本节概述了本文的研究背景，主要涵盖了MBD知识提取和管理的现状、LLMs在工程语义理解中的应用进展，以及整合知识图谱和LLMs的协同方法。通过回顾这些领域的现有文献，突出了当前研究的局限性，并阐明了本文的研究动机。

整体框架

本文提出了一个集成的MBD语义注释生成和回写框架，将MLLM和MKG相结合，专门针对民用飞机机头部件进行了定制。该框架旨在解决MBD数据分析中目前存在的关键挑战，包括异构格式的不兼容性和跨模态语义对齐的困难。如图1所示，整体方法工作流程包括四个核心阶段：

MBD数据提取和建模

MBD模型的数据异构性和语义封闭性很高。在CATIA内核中，几何结构和非几何属性（如基本信息、材料和相关工程注释）被封装在复杂的模型特征树中。解耦过程的关键在于克服CATIA系统的限制，将耦合的树层次结构信息转换为机器可读的结构化数据，同时建立

案例研究

为了验证本文提出的基于MLLM和知识图的MBD语义增强框架的有效性和工程适用性，本研究选择了与大型民用飞机机头部分相关的部件的设计和制造作为验证对象。作为飞机的“大脑”，机头部分的特点是具有复杂的几何拓扑、严格的制造过程和高度的MBD语义相关性。

结论

为了解决民用飞机机头部件的MBD设计和制造过程中常见的问题，如高数据异构性、难以进行语义映射和缺失的跨模态对齐，本文提出了一个集成的语义增强和回写框架，该框架融合了MLLM和MKG。通过涵盖理论构建、算法实现和工程验证的全面研究，主要结论如下：

首先，提出了一种构建范式

CRediT作者贡献声明

郭鑫：监督、资源获取。李军：监督、方法论。李旭瑞：方法论、形式分析。赵武：监督、资源、形式分析。张凯：写作——审阅与编辑、资源。钱兆：写作——初稿、方法论、概念化。钟江：方法论、形式分析。向龙李：监督、方法论。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本研究部分得到了国家科技重大项目 [2025ZD1603000]、国家自然科学基金 [52405285]、四川省科技计划 [2021ZDZX0005]和宜宾市科技计划 [2024YG06]的支持。