基于混合计算机视觉与视觉语言模型流程的无训练P&ID信息提取，用于数字孪生技术

《ADVANCED ENGINEERING INFORMATICS》：Training-free P&ID information extraction through a hybrid computer vision and vision language model pipeline for digital twins

　　摘要：从管道仪表图（P&IDs）中提取结构化信息是构建数字孪生的基础需求，但这一领域目前面临困境：监督式深度学习方法依赖于大规模的标注数据集，而为现有传统资产生成此类数据集的成本极高。尽管视觉语言模型（VLMs）提供了一种无需训练的替代方案，但其在高熵工程图纸上的可靠性仍需验证。本文提出了一种无需训练的框架，通过结合基于计算机视觉的预处理与VLM的少样本学习能力来克服这些问题。为应对工程图纸中信息密度高的问题，该方法采用基于密度的分割策略，将图纸划分为复杂度可控的单元，再通过几何线条重建及少样本VLM提示来提取设备及其连接关系。在真实的工业数据集上测试表明，该框架在符号关联任务中的准确率为83%，在线路关联任务中的准确率为82%，在无需任何训练数据的情况下，其性能显著优于现有的监督式方法（少样本场景下准确率为73%）。更重要的是，本研究通过实验证明了基础模型在该领域的应用极限，发现总熵大于2×106且边缘复杂度大于0.5时，模型推理会出现故障。这项工作不仅为传统资产的数字化提供了实用解决方案，还为生成式AI在工程信息学领域的有效应用明确了边界条件。

引言：在大型项目及资产运营中，工程图纸仍以文档形式存在，以扫描后的PDF格式存档，而非结构化数据。这使得依赖这些信息的其他系统无法获取关键数据，迫使项目团队反复从静态图纸中重建拓扑结构，并手动输入标识信息[1][2]。随着人们对数字孪生技术的日益关注，要实现成功应用，就需要将这类文档转化为结构化且可互操作的资产数据[3]。这样的基础能够实现系统集成、变更追踪以及数据分析功能。在各类工程图纸中，管道仪表图（P&IDs）对工艺设施尤为重要，因为它包含了设备标签、管线编号、仪表功能以及定义工艺拓扑的连接关系等核心资产信息[4][5]。在传统工厂中，P&IDs仍只是文档，而非可查询的数据。诸如定位组件、验证连接关系以及识别关键安全节点等日常任务，都需工程师手动解读图纸，这不仅耗费大量时间，还容易引发数据录入错误[1]。这种以文档为中心的处理方式会削弱审计轨迹，降低跨学科协作效率，同时也成为实现数字孪生以及开展智能制造、运营和维护所需信息整合的障碍[6]。

现有方法可分为三类，每类都有明显的局限性。基于连通分量标记和边界追踪的确定性方法在输入数据干净的情况下表现良好，但在传统工业设施常见的杂乱扫描图像和高密度布局面前则失效[7][8]。近期出现的规则基系统在真实图纸上的表现也同样不稳定[9][10]。深度学习方法则利用卷积网络检测符号和线条，再通过图神经网络推断连接关系。虽然Transformer模型在经过精心筛选的数据集上取得了优异效果[11]，但所有这类方法都依赖于大规模的标注数据集，而这类数据集对于传统工厂的专用图纸来说极为稀缺。一些代表性方法[2][12][13]都体现了这种对数据依赖的局限性。即便是一些半监督策略[14]也无法完全消除对标注数据的依赖。更为关键的是，这些方法在不同图纸之间的迁移能力较差，因为在开放数据集上训练的模型在真实工业图纸上的性能会大幅下降。开放数据集上的学术测试案例与实际工厂的P&IDs之间存在很大的复杂性差异，这表明现有方法无法应对真实设施所具有的高语义密度和复杂拓扑结构[11]。

视觉语言模型（VLMs）作为一种视觉智能体，已展现出识别工程符号并提取其中关系的能力[15][16]。同样，大型语言模型（LLMs）也证明了其能够从非结构化的工艺数据中构建出完整的知识图谱，这体现了它们理解领域特定数据的能力[17]。然而，最新分析表明，当问题复杂度超过一定阈值时，模型的准确率会急剧下降，这说明推理的可靠性更多取决于问题的复杂度而非提示设计的合理性[18]。在真实的P&IDs中，这一问题尤为突出，因为过高的视觉复杂度会导致注意力分散，使得市面上的VLMs无法捕捉到关键信息。这既带来了机遇，也带来了限制：VLMs只有在视觉复杂度低于特定阈值时才能有效解读P&IDs。因此，就有必要将P&IDs分解为VLMs能够理解的较小单元，并量化各单元的复杂度，以此预测VLMs的性能稳定性。这一思路也与近期的一些研究结果一致，即基于计算机视觉的预处理对于帮助深度生成模型准确解读原始建筑蓝图至关重要[19]。

为弥补这些缺陷，我们提出、开发并测试了一种无需训练的框架，该框架利用VLM的少样本学习能力，同时通过预处理来控制图纸的复杂度。该方法首先根据设备符号的密度对图纸进行分割，以降低局部信息量，随后通过结合轮廓分析、图像修复以及基于共线性的合并等几何推理方法来重建工艺线条。彩色编码的线条叠加能为VLM提供有力的视觉辅助。之后，VLM作为视觉推理智能体，负责识别符号、提取代码，并通过连接关系将设备对应起来，最终生成可用于工程领域互操作的结构化JSON格式数据。最后，还会对各个分割单元的复杂度进行评估，以此分析VLM在面对不同视觉信息密度和杂乱程度时的性能，为未来的相关研究提供参考。因此，本文的主要贡献如下：
1. 一种无需训练的计算机视觉框架，无需对模型进行微调即可实现P&ID识别，该方法通过基于符号密度的分割来克服信息复杂性带来的难题，同时通过彩色编码的几何线条检测为VLM提供更强的视觉辅助。
2. 一种创新的少样本提示方法，在真实的工业P&IDs上，该方法的符号关联准确率为83%，线路关联准确率为82%，这一性能优于Relationformer在相同任务上的73.14%的符号关联mAP值和75.46%的线路关联mAP值[11]。
3. 对VLM在复杂工程图纸上应用局限性的实证研究，确定了2×106的熵阈值和0.5的边缘复杂度阈值，这些阈值可为未来基础模型的应用提供指导。

相关研究：工程图纸的自动识别技术经历了三种主要的发展路径：确定性算法方法、监督式深度学习方法，以及新兴的视觉语言模型。每种方法都是在关于数据可用性、图纸质量以及任务范围的不同假设基础上来解决P&ID数字化问题的。我们将按照方法复杂度和泛化能力的递增顺序对这些方法进行介绍，并对其在实际应用中的适用性进行深入评估。

方法论：图1展示了一个三阶段框架，该框架可将扫描后的P&IDs转换为结构化的JSON格式数据。第一阶段是通过基于符号密度的分割来降低局部复杂度，具体包括带有文本抑制功能的自适应二值化处理、在曲率较高的特征点周围进行稀疏重建、迭代优化边界框、空间聚类以及超区域提取。第二阶段则是通过提取线条坐标来分离和重建工艺线条，具体方法是先对符号进行图像修复，生成仅包含线条的掩膜，然后再通过特定模型来追踪线条路径。

模型性能：表1展示了所提模型在两个数据集上的性能表现。该模型在符号关联任务上表现出强劲且稳定的性能，在石化行业数据集上的整体SAA值为83.42%，在Open100数据集上的该值为83.41%。如此高的稳定性，其性能波动幅度还不到0.01%，充分体现了该模型具备强大的泛化能力，能够将不同工业标准下的符号表示形式统一理解。

与现有先进方法的对比：为了更好地体现本研究的结果，我们将该模型在Open100数据集上的表现与现有的先进模型——基于Transformer架构的Relationformer[11]的结果进行了对比。Relationformer在符号关联任务上的平均精度均值（mAP）为73.14%，在线路关联任务上的该值为75.46%，而基于VLM的本方法在相同任务上的符号关联准确率和线路关联准确率分别高达83.41%和82.61%。Relationformer是在公开数据集上训练的，并在Open100数据集上进行测试，而本研究的方法则有所不同。

结论：本研究提出了一种端到端的框架，该框架可将传统的P&IDs从静态图像转换为结构化的资产和连接关系数据，以便在工艺设施的全生命周期中使用。该系统通过有针对性的分割来降低局部视觉复杂度，再通过几何推理方法提取工艺线条，最后借助视觉语言模型来读取标签、解读线路代码，并将设备与对应的线条建立关联。最终，这些信息会被整合为机器可读的JSON格式数据以及可导出的文件。

CRediT作者贡献说明：Rafay Hayat Ali：撰写原文初稿、可视化处理、验证工作、软件开发、方法设计、研究实施、形式化分析、概念构思。Chan Young Park：验证工作、软件开发、方法设计、数据整理。Ashrant Aryal：撰写原文的审阅与编辑工作、验证工作、数据整理。H. David Jeong：撰写原文的审阅与编辑工作、项目监督、资源协调、项目管理、资金筹措。Ghang Lee：撰写原文的审阅与编辑工作、项目监督、资源协调、资金筹措。

关于写作过程中生成式AI及AI辅助技术的声明：在撰写本文的过程中，作者们使用了ChatGPT来提升语言表达的流畅度以及文章的可读性。在使用该工具后，作者们对内容进行了必要的审阅和修改，并对最终发表的文章内容承担全部责任。

利益冲突声明：作者们声明自己不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本研究得到了韩国基础设施技术发展机构（KAIA）的资助，该资助由韩国国土交通部提供（资助编号为RS-2024-00407028）。

Rafay Hayat Ali|Chan Young Park|Ashrant Aryal|H. David Jeong|Ghang Lee