《Computers & Chemical Engineering》:Hybrid approach for comprehensive recognition of line objects contained in high-density piping and instrumentation diagrams using deep learning and rules
编辑推荐:
本研究提出一种结合深度学习和规则方法的混合技术,用于自动识别和分类管道与仪表图(P&ID)中的线对象,支持化学过程设计的数字化转型。方法分为两阶段:第一阶段通过DL模型检测并分类线条为带特殊符号和连续线;第二阶段利用规则算法进一步将连续线分为尺寸线、延伸线和领导线。实验表明,该方法在项目A数据集上精度达95.02%,在项目B数据集上经迁移学习优化后性能仍保持高位,验证了其在结构化P&ID转换中的有效性和可扩展性。
作者:Yoochan Moon、Seung-Tae Han、Ji-Beob Kim、Choongsub Yeom、Duhwan Mun
韩国大学机械工程学院,韩国首尔城北区Anam-ro 145号,邮编02841
摘要
本研究提出了一种混合方法,用于自动化识别和分类管道和仪表图(P&IDs)中的管线对象,旨在支持化学过程设计和操作的数字化转型。通过将深度学习(DL)技术与基于规则的方法相结合,该方法可以从传统的P&ID图像中提取流路和信号路径,从而应用于过程模拟、安全验证和控制逻辑验证等场景。该方法分为两个阶段:第一阶段,检测P&ID中的所有管线对象,并将其分为带有特殊标志的管线和连续管线;第二阶段,利用基于规则的算法根据功能特征将连续管线进一步分类为尺寸线、延伸线和引线。该方法在项目A的30张P&ID图纸和项目B的2张图纸上进行了测试。最初,基于项目A数据的模型准确率和召回率分别为95.02%和93.09%;由于领域差异,项目B的性能下降到88.92%和84.76%。在应用了项目B的另外4张图纸进行迁移学习后,性能提升至95.32%的准确率和91.55%的召回率。这些结果表明,该方法能够准确且可扩展地将P&ID数据转换为结构化格式,有助于智能工厂设计和工程数据集成。
引言
现代工程、采购和建造(EPC)公司越来越多地依赖数字管道和仪表图(P&ID)平台来支持化学过程设计、监控和控制。这些系统管理对工厂运营至关重要的流路、设备和互连。与传统纸质格式相比,数字P&ID具有诸如通过预测模拟提高安全性、加快设计验证速度以及更好的工程团队间数据共享和版本控制等优点。
然而,在实际应用中,尤其是跨组织协作或处理传统系统时,基于图像和PDF的P&ID仍然很常见。由于保密限制,这些非结构化格式经常被共享,因此需要能够将其转换为结构化数字表示的技术。这种数字化过程通常包括三个步骤:(1)检测符号、管线和文本等对象;(2)识别逻辑连接;(3)分配工程属性,以创建可用于模拟、验证和智能工厂应用的数字图表。
P&ID主要由三种类型的图形元素组成:符号、文本和管线。如图1所示,代表过程连接性和流体流动的管道通常用粗连续线表示。细连续线也很常见,用于注释、标注和参考等工程目的,并被分类为引线、尺寸线和延伸线。其他类型的管线包括点线、虚线或斜线,表示信号传输(例如电气或气动),以及指示流动方向或突出关键组件的箭头。
在这些元素中,管线对象最难准确解读,因为它们在视觉上相似且经常与其他对象重叠。首先,管线段经常与符号或文本相交,使得分割变得困难。此外,一些管线具有相似的几何属性但功能不同,这增加了功能分类的复杂性。例如,管道和引线可能都表现为连续的直线段,但在过程中的作用却有很大差异。
为了解决这些挑战,本研究提出了一种用于基于图像的P&ID中管线对象全面识别和功能分类的混合方法。该方法包括两个主要阶段:(1)利用深度学习(DL)模型识别所有管线段,并将其分类为连续管线和带有特殊标志的管线;(2)应用基于规则的逻辑进一步将连续管线分类为尺寸线、延伸线和引线类型。
DL模型结合了箭头检测功能,以推断信号或流体流动方向,从而支持流路和控制路径的重建。本研究在过程图数字化和设计自动化领域做出了几项贡献:首先,它提出了一种能够识别和分类高密度P&ID中几乎所有类型管线对象的方法;其次,它提供了一种高精度识别方法,结合了DL、基于规则的技术和经典图像处理;第三,它定义了一个完整的标记方案,用于训练专门用于管线识别的深度神经网络;第四,它建立了一种适用于下游数字工厂系统的中性结构化输出格式,包括过程模拟、控制回路验证和安全分析。
本文的其余部分安排如下:第2节回顾相关工作;第3节描述P&ID中的管线对象类型并介绍所提出的方法;第4节详细说明管线分类的技术实现;第5节报告实验结果和分析;第6节总结本文。
章节片段
管线检测技术
管线检测是计算机视觉中的一个基本课题,其应用范围涵盖多个领域,包括自动驾驶车辆的车道检测(Tabelini等人,2021年)、材料中的裂纹检测(Liu等人,2023年)、机器人臂的姿态估计(Chen等人,2024年)、医学成像中的血管或神经结构检测(Joshi等人,2024年;Ryu等人,2024年;Karageorgos等人,2024年)以及文档中的表格结构识别(Lee等人,2022年)。传统技术包括……
P&ID中的管线对象
根据形状,P&ID中的管线对象可以分为两种类型:连续管线和带有特殊标志的管线(如表2所示)。
在P&ID中,连续管线主要表示管道,用于指示流体流动和过程连接性。主要管道通常用粗连续线表示。根据工程背景,连续管线还可以进一步分类为引线、尺寸线和延伸线。尺寸线提供诸如管道尺寸等信息
基于图像处理的
本节详细解释了本研究中应用的图像处理技术(图4(a-1)用于连续管线检测,图4(g)用于短虚线识别,图5(a)用于管线厚度计算。
实验环境和参数设置
基于所提出的方法,实现了一个用于图像格式P&ID中管线识别的原型系统。该原型系统使用Python 3.9在Windows 11操作系统上开发。原型系统运行在配备Intel Core i9-10900 K CPU和128 GB RAM的计算环境中。在原型系统中,识别特殊管线标志和箭头以及基于LETR的连续管线检测需要训练深度学习模型。所使用的硬件和软件包括……
结论
本研究提出了一种混合方法,用于自动化识别和分类图像格式管道和仪表图(P&IDs)中的管线对象,该方法结合了深度学习和基于规则的技术。所提出的方法可以识别连续管线以及带有特殊标志(如箭头和点线)的管线,并进一步将连续管线分类为尺寸线、引线和延伸线等类别。
为了进行训练和……
资金支持
本研究得到了韩国国家研究基金会(NRF)基础科学研究计划(项目编号NRF-2022R1A2C2005879)的支持,该计划由韩国政府(MSIT)资助;同时得到了韩国贸易、工业与能源部(MOTIE)资助的工业技术炼金术项目计划(项目编号RS-2024–00419010)和韩国贸易、工业与能源部(MOTIE)资助的设计产业技术开发计划(项目编号RS-2025–04752997)的支持。
CRediT作者贡献声明
Yoochan Moon:撰写——原始草案、验证、软件开发、方法论、数据管理。Seung-Tae Han:软件开发、方法论、数据管理。Ji-Beob Kim:软件开发、数据管理。Choongsub Yeom:验证、资源协调。Duhwan Mun:撰写——审稿与编辑、监督、方法论制定、资金筹集、概念构思。