一种改进的大型语言模型与知识图谱集成方法,用于自动化机械加工过程基础构建
《JOURNAL OF MANUFACTURING SYSTEMS》:An improved large language model and knowledge graph integration method for automated machining process base construction
【字体:
大
中
小
】
时间:2026年01月29日
来源:JOURNAL OF MANUFACTURING SYSTEMS 14.2
编辑推荐:
耿向宇|刘杰|郭亮|刘莉|刘洋
南开大学人工智能学院,天津,中国
摘要
机械加工过程知识库(MPKB)是智能过程决策的基础,直接影响制造效率和和质量。虽然大型语言模型(LLMs)在自动构建MPKB方面显示出潜力,但它们在制造领域面临一个关键挑战:工业知识图谱(KG)的架构通常超
耿向宇|刘杰|郭亮|刘莉|刘洋
南开大学人工智能学院,天津,中国
摘要
机械加工过程知识库(MPKB)是智能过程决策的基础,直接影响制造效率和和质量。虽然大型语言模型(LLMs)在自动构建MPKB方面显示出潜力,但它们在制造领域面临一个关键挑战:工业知识图谱(KG)的架构通常超出了中小型企业(SMEs)可部署的轻量级LLMs的上下文窗口。这一限制迫使构建过程在信息不完整的情况下进行操作,导致MPKB中实体关系的缺失、语义异质性和概念模糊。本研究提出了一种改进的LLM-KG协作框架,通过以下方式克服了这些限制:(1)采用分阶段的、与架构解耦的提取策略,能够在不注入完整架构的情况下收集开放三元组;(2)引入一种Code-Style知识表示方法,该方法能够高效编码复杂的机械加工架构,减少语义负荷同时保持结构完整性;(3)构建一个以检索为驱动的流程来实现语义标准化,该流程整合了动态架构分割和双向验证,利用LLMs实现可解释的同义词合并并消除异质性。本研究使用一家航空企业提供的机械加工过程数据对所提出的方法进行了实证验证。实验结果表明,与其它基线模型相比,我们的框架在MPKB构建质量上至少提高了3.3%,在机械加工过程质量指标上提高了25%。实现的代码和数据已在GitHub上公开,以便于重现性和进一步研究。
引言
现代制造面临着缩短交货周期和提高产品质量的双重压力[1],[2]。市场要求公司在更短的时间内开发出越来越复杂的产品[3],[4],[5]。在这种情况下,机械加工过程知识库(MPKB)作为设计与制造之间的桥梁[6],[7],通过系统地整合专家经验和企业知识,为智能决策提供了关键支持[8],[9]。它将隐性的过程知识转化为可计算、可重用的显式资产,打破了传统“师徒”模型的传输瓶颈,显著提升了设计和制造效率[10],[11]。实证研究表明,高质量的MPKB可以将产品开发周期缩短30%以上,并将制造成本降低15-20%[12]。因此,高效构建高质量的知识库已成为现代制造范式中实现复杂产品快速开发的关键挑战,吸引了许多学者的广泛探索。
近年来,知识图谱(KG)已成为构建MPKB的主流范式,并已在制造领域的知识管理中得到广泛应用[13]。KG的图形结构与制造过程的程序性和网络化特征非常契合,能够精确表示过程规划、操作工作流和决策逻辑中的复杂关系。因此,KG在下游应用中展示了显著的价值,包括设计决策[14]、制造资源优化[15]以及过程知识匹配和重用[16]。
KG的快速发展补充了人工智能(AI)领域的突破。特别是大型语言模型(LLMs)的出现,凭借其强大的自然语言理解和知识提取能力,为自动化知识图谱构建(KGC)提供了新的技术方法,并成为工业KG发展的重要推动力。然而,尽管LLMs在知识提取领域展示了强大的语义理解能力,但在构建复杂制造系统的KG时仍面临重大挑战。由于计算成本和部署限制,中小型制造企业(SMMEs)往往无法承受大规模模型的推理开销。根据模型参数数量与GPU内存需求之间的关系(BF16/FP16模型大约需要2×参数数量GB的GPU内存),并且考虑到推理期间的激活值和键值(KV)缓存,参数数量达到70B或更多的全尺寸模型需要超过980GB的GPU内存,这对大多数公司来说是极其昂贵的。因此,7B-14B参数范围的轻量级模型已成为工业应用的主流选择。具体的工业部署成本如表1所示。
尽管这些轻量级模型声称支持128K甚至更长的上下文窗口,但最近的研究表明,这些模型的实际有效上下文长度显著短于其所声称的长度[17]。在NOLIMA基准测试中,即使是像Claude4.0/Chatgpt4.5这样的顶级模型,在需要复杂推理而不是简单的字面匹配时,其有效上下文长度也只有8K个标记,远低于其声称的128K。更严重的是,像Llama 3.1 8B这样的轻量级模型在这个基准测试中的有效长度仅为1K个标记,这对于实际需要的机械加工KGC来说远远不够。为了确保生成三元组的有效性,提示必须包含模式信息(例如可能的实体和关系类型)以及要提取的文本。对于像机械加工过程系统这样的复杂系统,KG架构通常包含数百甚至数千个概念和关系定义。再加上提取文本和消除复杂工业术语异质性的需求(例如,消除和整合多个语义等效的关系短语,如“进给速度”、“进给率”和“进给量”),这种情况更类似于NOLIMA中测试的复杂构建任务,而不仅仅是简单的字面匹配。当模型需要理解架构中概念之间的潜在关系并在文本中识别隐含的语义关系时,随着上下文长度的增加,它们的性能往往会下降[18],[19]。这导致需要提取的大型制造架构和信息超出了LLM的有效上下文窗口长度,或者被LLM忽略甚至截断,从而导致语义不一致性、概念异质性和其他问题,进一步加剧了机械加工过程KGC的挑战[20]。具体来说,这些挑战体现在三个关键方面:
1. 架构复杂性与时态约束之间的冲突:制造领域有许多高度专业的技术术语,过程知识中固有的因果关系、参数依赖性和条件约束通常需要大量的架构定义来描述。传统的LLM方法受到实际上下文窗口大小的限制,无法有效地理解和处理如此庞大的架构结构。
2. 知识表示中灵活性不足和LLM兼容性:传统的KGC依赖于预定义的本体模型和固定的知识框架[21],[22],[23]。这种相对僵化的结构设计难以适应制造过程中快速迭代、材料更新和设备升级。当新的加工方法或优化过程策略出现时,现有的KG通常需要大量的人力来进行重构或扩展[24],[25],[26]。虽然像ISO 14649(STEP-NC)和ISO 10303(STEP)这样的既定行业标准为制造系统之间的数据交换和互操作性提供了强大的框架,但它们本质上是面向机器的结构化描述[27],[28],[29]。这样的长而复杂的架构定义不适合直接转换为“LLM友好”的提示架构。
3. 缺乏多层次知识整合机制:制造知识本质上是多粒度和多层次的,从微级别的工具参数到宏观级别的过程规划,涉及设备层、操作层和过程层等多个维度的知识表示[30]。现有的方法在处理这些层次化的知识结构时仍处于词汇匹配的表层,缺乏有效消除异质性的策略。
因此,为了应对这些挑战,本工作的重点是基于LLM和KG的协作提出一种改进的智能信息提取框架。每个阶段都利用LLM在语义理解和知识推理方面的优势,突破传统过程知识自动化构建的技术瓶颈,实现从非结构化过程文档到高质量KG的端到端转换[31]。本研究的主要贡献包括:(1)提出了一种新的架构处理机制,以有效管理超出LLM上下文限制的大规模制造本体,自动执行知识验证和冲突解决机制,确保高质量的自动化知识库构建;(2)将称为Code-Style的LLM友好表示方法引入过程知识领域,以突破传统僵化本体结构的限制;(3)开发了一个专门用于消除过程异质性的标准化模块。基于LLM的语言优势,该模块定义并解释了异构词汇,并能在知识融合阶段实现动态语义对齐(非表面词汇相似性搜索),有效解决系统集成和跨车间及企业异构知识源的智能协作中的挑战。值得注意的是,本文描述的核心方法的代码已开源——据我们所知,这是首次利用LLM进行机械加工领域自动化KG构建的开源尝试。
本文的结构如下:第2节回顾了知识库自动构建的相关工作。第3节介绍了机械加工领域知识库的总体构建方法和框架。第4节重点介绍了特定于机械加工领域的知识提取框架。第5节关注知识融合阶段的异质性问题。第6节展示了原型系统并讨论了系统的应用和提取效果。最后,第7节提供了结论性意见。
制造知识图的构建
制造KG的发展遵循了一条独特的技术轨迹,从原始的手动本体工程发展到当代的智能自动提取方法,标志着知识工程中的一个根本性范式转变[32]。在KG的早期阶段,制造领域的知识库主要依赖于专家启发式的方法和劳动密集型的人工本体工程。这一时期的开创性贡献集中在构建...
方法论框架
图1展示了基于LLM和KG协作的智能信息提取框架的整个过程,包括四个核心步骤:数据预处理、Code-style知识表示、基于LLM的知识提取和知识融合。其中,知识融合模块是突破LLM有效上下文限制和消除异质性的关键模块。
步骤1:数据预处理:为了解决...
知识融合
尽管基于MPKG的知识提取可以构建初步的KG,但由于知识来源的多样性以及缺乏架构限制,生成的三元组常常存在冗余、歧义或语义不一致的问题。因此,知识融合的目标是将从前一步识别和解析中获得的异构过程知识转换为符合领域规范的统一表示格式。
尽管基于MPKG的知识提取可以构建初步的KG,但由于知识来源的多样性和缺乏架构限制,生成的三元组往往存在冗余、歧义或语义不一致的问题。因此,知识融合的目标是通过上下文语义将先前识别和解析获得的异构过程知识转换为统一的表示格式。
机械加工过程的KGC
作为航空发动机的核心部件,前轴承外壳位于发动机前端的进气外壳内。由于其复杂的结构和对尺寸精度和技术规范的高要求,它在保证发动机质量和延长发动机整体寿命方面起着重要作用。为了说明这一点,本文引用了某家企业生产的航空发动机外壳的加工技术来验证...
结论与未来工作
本文提出了一种改进的协作框架,整合了LLM和KG以实现自动MPKB构建。所提出的框架不仅克服了LLM在处理复杂机械加工过程架构时的上下文窗口限制,还建立了一个灵活且适应性的知识表示机制。通过实验验证,该方法将KGC的质量提高了至少3.3%,机械加工过程质量指标也有显著提升。
作者贡献声明
耿向宇:可视化、软件、数据策划、概念化。
刘杰:资源获取、资金筹集、概念化。
傅燕:写作——审稿与编辑、写作——初稿、可视化、验证、软件、资源、方法论、形式分析、数据策划、概念化。
刘莉:验证、软件、资源、数据策划、概念化。梁国:撰写 – 审稿与编辑、验证、软件、方法论、形式分析、数据管理、利益冲突声明
我们声明,我们在与所提交的工作相关的任何商业或关联利益方面不存在冲突利益。
致谢
我们感谢审稿人和编辑对本文提出的建设性意见和建议。本研究得到了国家自然科学基金(项目编号:62376129)、国家重点研发计划(项目编号:2023YFF0725003)、天津市科技创新重大项目(项目编号:24ZXZSSS00420)以及天津市科技计划项目(项目编号:25ZGZNGX00100)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号