利用大型语言模型与物体检测技术，从工业示意图自动生成知识图谱

《Big Data and Cognitive Computing》：Leveraging Large Language Models and Object Detection for Automated Knowledge Graph Generation from Industrial Schematics

　　

摘要

工业数字化越来越需要能够从复杂的工程文档中提取结构化知识的自动化工具，比如管道和仪表图。本研究提出了一种集成框架，结合对象检测与大型语言模型，用于自动生成知识图谱。该方法可将非结构化的管道和仪表图转换为机器可理解的表示形式，从而支持数据驱动的分析与决策制定。所开发的模块化流程包括图像预处理、基于YOLO模型的符号检测，以及利用大型语言模型识别图表元素之间的语义关系。该方案还定义了参考本体，用于构建知识图谱，同时还设计了用于测试对象检测模型性能的图表数据集。在多种工业图表中，该知识图谱生成方法在图像重建方面取得了优异成果，同时保持了原始图表的语义完整性和完整性。所提出的方法为工业知识的数字化迈出了重要一步，实现了传统工程文档与基于语义的技术之间的衔接。