受动态图论启发的数字孪生制造单元渐进式扰动检测模型

《Journal of Industrial Information Integration》：Gradual disturbance detection model inspired by dynamic graph theory for digital twin manufacturing cell

　　

摘要
多品种、小批量生产模式现已主导数字孪生车间，增加了渐变扰动的频率，这些不确定性会导致生产过程中操作时间波动。作为模块化的数字孪生车间，数字孪生制造单元专注于在单元层面减轻扰动，从而增强生产稳定性和效率。虽然现有研究可以通过区分异常值与正常数据来识别由不确定性引起的异常离群点，但对渐变扰动的全面有效检测仍然是一个持久挑战。为此，受动态图理论启发，提出了一种用于数字孪生制造单元的渐变扰动检测模型。首先，基于动态图理论构建模拟数据集，将原始数据转换为时空张量，为渐变扰动检测奠定基础。其次，根据扰动数据的特性提出五种特征提取方法，提高渐变扰动的检测性能。此外，采用时空注意力机制和焦点损失函数以增强渐变扰动检测的有效性。最后，通过评估指标（包括超过 90% 的准确率、曲线下面积（AUC）、理想位置距离（DIP）、精确率和召回率）以及可解释性分析，验证了本研究在检测数字孪生制造单元生产过程中渐变扰动方面的有效性和实用性。

引言
工业 4.0[1] 以智能制造为核心，旨在通过整合物联网（IoT）、大数据分析、云计算、人工智能（AI）和信息物理系统（CPS）构建智能、数字化和高效的制造系统。数字孪生车间（DTS）[2] 作为 CPS 的典型应用，依赖于物理车间和虚拟车间之间的虚实同步机制，实现从同步机制 [3]、建模方法 [4]、生产状态感知方法 [5]、优化方法 [6] 到生产计划 [7] 的全生命周期管理。毋庸置疑，这些探索为 DTS 的发展做出了贡献，并激励了后续研究者。

如图 1 所示，数字孪生制造单元（DTMC）是 DTS 的模块化制造单元 [8]，继承了五维架构：物理空间、虚拟空间、数据空间、模型空间以及空间交互机制。从图 1 可以明显看出，DTS 五维框架整合了装配单元和制造单元框架，其中装配单元和制造单元是车间中的两个核心生产实体。与 DTS 联合优化两个单元五维框架的目标相比，DTMC 利用其自身的五维框架以及物理制造单元（PMC）与虚拟制造单元（VMC）之间的实时同步机制，通过分析、感知、预测和优化模型的自适应学习迭代提升应用性能。在 DTMC 五维框架中，物理空间通过 OPC UA[9] 实现，实例化机器和操作数据节点，并使用 RESTful API[10] 构建所有数据节点接口，使物理空间能够向其他空间实时广播数据。其虚拟空间包括 PMC 的高保真 3 维（3-D）模型，通过 Unity[11]、Blender[12] 等软件嵌入事件驱动器和与 PMC 对应的数据接口，在实时数据馈送下实现 PMC 与 VMC 之间的实时同步。其数据空间存储实时和历史数据库：Redis 实例的实时数据库将每个数据节点的传入数据存储为键值对，用于更新 VMC，而 MySQL 实例的关系数据库将带有时间戳的历史数据存储到指定表中，供模型空间的分析、检测、预测和优化任务使用。其模型空间部署基于有限的 PMC 历史数据训练的分析、检测、预测和优化模型。一旦训练完成，这些模型在实时输入上持续运行，以增量方式提升制造单元的性能。

多品种、小批量生产模式已成为离散车间的一种普遍模式，其特征是订单类型丰富多样、定制化程度高、制造需求波动以及生产场景动态变化。在这种生产模式下，车间必须处理变化订单类型的并行或交替制造，适应具有不确定制造需求的订单，并频繁重新配置车间机器和工艺参数以满足多样化的制造需求。然而，这种生产模式要求制造单元频繁响应作业、操作和机器之间的更新和调整，制造单元需要迅速响应动态变化的资源需求。例如，在机加工操作中，这种生产模式通常需要在给定机床上频繁更换作业。这些重复的设置可能会修改关键机器参数，包括刚性、热变形、主轴振动（偏心）和刀柄同轴度。因此，即使在同一批次中名义上相同的切削条件下，给定操作的实际加工时间仍可能出现变化。此外，随着刀具使用过程的进行，磨损会增加切削力，如果不通过调整切削速度和进给率进行补偿，可能会导致操作时间进一步波动。此外，非切削因素，如工件和夹具的夹紧或定位方向变化以及毛坯的几何偏差，也会导致操作时间波动发挥作用。这些不确定性当注入生产过程时，如图 2 所示，很容易导致操作时间波动，从而导致生产效率稳定性中断。这些由动态生产需求触发并导致此类波动的不确定性，被称为渐变扰动 [13]。渐变扰动导致操作的实际加工时间提前或延迟，导致其实际生产计划与理想生产计划错位。渐变扰动对制造单元生产过程产生负面影响，增加了不必要的时间成本。因此，必须采取必要措施检测受渐变扰动影响的操作。检测到的操作使现场管理人员能够采取纠正措施，以确保制造单元生产的稳定性。

制造单元中生产状态的感知依赖于形式化建模方法来预先表征生产过程，随后应用特定的异常检测方法检测异常生产状态。代表性的形式化建模方法包括最大最小代数 [14]、静态网络 [15]、马尔可夫链 [16]、自动机 [17]、排队网络 [18]、动态图 [19] 和 Petri 网 [20]。这些建模方法提升制造单元生产透明度以及生产模型表达能力的能力如图 3 所示。显然，大多数方法在提高生产透明度方面能力有限，这导致应用于异常生产状态检测时可解释性较差。与大多数方法有限的可解释性相比，动态图可以通过时间节点和时间边直观地表示制造单元的动态生产过程。它展示了强大的建模能力，弥补了其他方法在表示动态生产过程方面的局限性。然而，动态图理论主要在理论层面提高生产透明度，尚未克服物理约束从根本上转变生产状态的可视化。数字孪生通过构建物理实体的虚拟对应物并同步物理车间和虚拟车间的操作来可视化生产过程。这种动态生产行为的直观表示超出了任何形式化建模方法的能力范围。虽然数字孪生在提高生产透明度方面提供了无与伦比的优势，但其表达能力依赖于虚拟模型与其他形式化建模方法的集成，因为单独的虚拟模型表达能力有限。因此，将动态图的时间建模优势与数字孪生的透明度增强能力相结合，不仅弥补了各自的局限性，还符合数字孪生的多尺度模型融合特征。这种集成显著增强了生产过程中的表达力和透明度。

基于这些形式化建模方法，随后可以应用特定的异常生产状态感知方法来跟踪和检测制造单元的运行状态。现有的异常生产状态检测方法可分为四类：统计启用方法、机器学习启用方法、深度学习启用方法和混合方法。统计启用方法利用控制图，如 Shewhart 控制图 [21]、指数加权移动平均（EWMA）控制图 [22] 和累积和（CUSUM）控制图 [23]，在数据区间上建立上下控制限，从而监测和检测超出这些限制的值。机器学习启用方法使用支持向量机（SVM）[24]、随机森林 [25] 和贝叶斯网络 [26] 等算法构建分类器或聚类，以识别异常数据。深度学习启用方法通过将结构化特征提取模块 [27] 或图特征提取模块 [28] 与时间聚合模块集成，构建更强大的分类器，擅长在大规模数据集上进行异常检测。混合方法结合上述三种方法以弥补任何单一技术的局限性 [29]。此外，数字孪生驱动的异常生产状态检测为解决这些问题提供了一种替代视角。例如，数字孪生与有限元分析相结合，有效感知故障部件 [30]，为异常状态感知训练的深度学习分类器 [31]，用于异常数据识别的数据分析方法 [32]，通过理论模型和分析软件进行生产状态可视化 [33]，通过数字孪生模型进行信息集成 [34]，以及通过视觉检查方法检测异常工作状态 [35]。尽管这些方法从各个方面解决了异常检测问题，但它们通常使用单一指标如准确率和曲线下面积（AUC）来评估模型，这不能完全捕捉低发生率、受扰动样本的性能。此外，数字孪生驱动的方法尚未纳入渐变扰动检测，使 DTS 容易受到此类不确定性的影响。

表 1
数字孪生驱动的异常检测包括四个主要研究方向：面向设备的异常检测、全生产流程异常检测、质量缺陷检测和面向安全的异常检测。面向设备的异常检测将数字孪生与诊断模型相结合，对正常设备行为进行建模，并通过虚拟模型预测的信号与从物理设备测量的信号之间的差异来检测异常 [36]。全生产流程异常检测将数字孪生与动态调度相结合，检测异常状况并重新组织生产计划 [37]。质量缺陷检测通过数字孪生整合几何、视觉、物理和语义信息，支持多模态异常检测 [38]。面向安全的异常检测在数字孪生中整合历史和实时状态数据，学习正常系统行为和异常模式 [39]。数字孪生驱动的异常检测中时间数据处理方法的选择取决于检测场景中数据的时间特征。例如，在全生产流程异常检测中，相关研究使用滚动时间窗口处理异常相关的时间数据，这一选择源于其对需要高速时间数据处理的动态调度的强调。根据给定检测场景中数据的时间特征，时间处理方法可分为滑动时间窗口 [37]、事件模型 [40]、动态图表示 [41]、长短期记忆（LSTM）网络 [42] 和定时 Petri 网 [43]。滑动时间窗口支持时间数据的批处理和在线计算，但过短的窗口会丢弃长期上下文，而过长的窗口可能会稀释瞬态异常信号。事件模型从建模异常事件中导出其检测机制，其对时间异常数据的处理受这些模型描述事件的全面性限制。动态图表示保留了时间信息、操作顺序和资源关联，使检测结果能够定位异常操作。LSTM 网络适合从时间数据中提取局部特征，其时间特征提取受其感受野跨度的限制。定时 Petri 网对时间数据中的过程、时间约束和状态转换进行编码，但复杂的检测工作流程导致模型高度复杂，容易对未知异常类型产生误报和漏报。与用于连续时间数据建模的滑动时间窗口和 LSTM 网络相比，动态图表示可以保留局部和跨时间上下文，以及生产数据中操作路径与多维特征之间的关联。与用于离散时间数据建模的事件模型和定时 Petri 网相比，动态图可以编码超出复杂规则表达能力的高维状态数据，并通过与分类模型集成扩大异常检测覆盖率。

然而，直接在数字孪生驱动的异常检测中使用动态图仍然导致性能不足，主要原因是基线卷积神经网络（CNN）未能充分提取和利用图中编码的时空特征，因此需要整合能更好提取这些特征的方法以提高检测性能。表2 为解决渐进性干扰检测的充分性和有效性不足的问题，本研究从模块化离散车间——即制造单元——的角度出发，基于数字孪生驱动的视角构建了一个五维空间，以增强渐进性干扰检测性能，如图4所示。首先，VMC作为PMC的高保真虚拟模型被构建在虚拟空间中，其中PMC与VMC之间的实时数据驱动同步增强了原始制造单元的生产检测水平。此外，我们在数据空间中使用动态图来表示PMC实际生产过程与VMC理想生产过程之间的差异，提取受干扰实际运行时间与理想运行时间的离群特征。随后，在模型空间中，配备时空注意力机制的CNN进一步提取实际和理想运行时间中固有的时空特征，以提高渐进性干扰检测的充分性和有效性。最后，DTMC的五维框架被应用于应用空间中，以实现干扰检测的性能分析、受干扰数据的可视化以及可解释性分析。在构建DTMC五维空间的过程中，以下三个模块深入展示了数字孪生对渐进性干扰检测的促进作用：实时数据驱动的PMC与VMC同步生产过程：VMC作为PMC实时生产的高保真表示，由事件驱动的数据流驱动，实时同步PMC和VMC的活动，实现数字孪生的双向数据流原则。此外，这种同步为后续的渐进性干扰检测建立了必要的软硬件基础设施。PMC生产过程与VMC生产过程之间的动态图表示：通过构建实际动态图来表示PMC的实际生产过程（包含渐进性干扰）和理想动态图来描述VMC的理想生产过程（不包含渐进性干扰），这些图不仅表征了两个制造单元的行为，还量化了受渐进性干扰影响的差异，形成了后续渐进性干扰检测的理论基础。PMC实际运行时间与VMC理想运行时间之间的特征提取：基于PMC-VMC同步和动态图表征，特征提取方法从多个角度利用离群特性来捕获受渐进性干扰影响的实际运行时间相对于理想运行时间的特征，从而增强DTMC检测受渐进性干扰影响的运行能力。本文的主要贡献总结如下：（1）采用两个动态图来描述DTMC中虚实同步和分叉的生产过程，它们可以量化PMC和VMC受渐进性干扰影响的程度，从而为数字孪生环境下的渐进性干扰检测建立理论基础。（2）将五种特征提取方法与具有时空注意力机制的CNN模块相结合，增强了DTMC在渐进性干扰下对理论时间和实际时间的判别能力，捕获渐进性干扰的多角度退化模式，从而提高干扰检测的充分性和有效性。（3）提出的模型性能通过仿真数据集和实际数据集上的五项评估指标、t-SNE图、比较分析和可解释性分析进行了验证，展示了其高检测性能以及在真实DTS环境中部署的价值和潜力。本文其余部分组织如下。第2节回顾了DTS、DTMC和生产状态感知方法的相关工作。然后，第3节给出了所提模型的初步知识和实现框架。在此基础上，第4节介绍了MK-Grad数据集构建、特征提取方法和检测模型构建。第5节验证了所提模型的性能和有效性。第6节给出了结论和未来工作。相关工作总结本节分析并讨论了DTS与DTMC之间的关系与发展，以及生产状态感知的研究进展。然后给出了这些研究的不足之处。基础知识本节讨论了DTMC生产过程中渐进性干扰检测问题是如何产生的。同时解释了为渐进性干扰检测选择合适模型的动机。最后提出了一个解决DTMC生产过程中渐进性干扰检测问题的总体框架。方法论本节介绍了DTMC检测其动态生产过程中渐进性干扰的方法。首先详细说明了如何构建仿真数据集以支持检测模型的训练。其次提出了五种特征提取方法以更有效提取受干扰的张量特征。最后采用了时空注意力机制来捕获这些多维张量的变化，从而实现更有效的检测。参数设置在利用渐进性干扰检测模型处理仿真数据集之前，表3展示了检测模型的参数设置。此外，由于渐进性干扰检测被转化为二分类任务，检测性能使用五项分类指标进行评估，即准确率、AUC、DIP[72]、精确率和召回率，其定义为：准确率=(TP+TN)/(TP+TN+FP+FN) AUC=∑(i=1到n-1)|FPRi+1-FPRi|·(TPRi+1+TPRi)/2 DIP=1-(1-Precision)2+(1-Recall)2 结论与未来工作本研究通过引入数字孪生驱动的五维框架，解决了制造单元中检测渐进性干扰的充分性和有效性不足的问题。在该框架的指导下，VMC已在物理空间中构建以镜像PMC的生产活动。在数据空间中，受动态图理论启发，仿真数据集已构建以支持后续的干扰检测任务。在模型空间中，利益冲突声明作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所报告的工作。数据可用性作者没有权限共享数据。CRediT作者贡献声明周亚光：撰写初稿、验证、软件、方法论、调查、形式分析、数据管理、概念化。周光辉：监督、资源。张超：撰写审阅与编辑、调查。王增辉：撰写审阅与编辑、调查。刘建聪：撰写审阅与编辑、调查。Asoke K. Nandi：撰写审阅与编辑、监督、调查。竞争利益声明作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所报告的工作。致谢本研究得到国家重点研发计划（2021YFB3301700）、国家自然科学基金（52105530和52475534）以及英国皇家学会资助（IEC\NSFC\223294）的支持。感谢伦敦布鲁内尔大学为本文提供计算服务器集群的宝贵支持。周亚光|周光辉|张超|王增辉|刘建聪|Asoke K. Nandi