一种基于可逆注意力增强条件可逆神经网络的数据驱动型数字孪生更新技术

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：A data-driven digital twin update technology based on an invertible attention-enhanced conditional invertible neural network

　　

程倩|魏胜行|任毅|夏权|杨德镇|王志丽|C.格德斯·索亚雷斯

摘要

数字孪生的精确性是通过用实时传感器数据不断更新其虚拟实体中的模型来维持的。条件可逆神经网络为无似然度模型更新提供了一种有前景的数据驱动方法。然而，这类网络难以捕捉模型参数之间的强耦合关系，且常常无法有效利用次优或有限的传感器测量数据。此外，标准条件可逆神经网络无法严格量化认知不确定性。为解决这些问题，本文提出了一种可逆注意力增强型条件可逆神经网络（IA-cINN）。该架构中引入了一种新的可逆注意力层，通过自注意力与交叉注意力机制，明确建模模型参数间的内在相关性以及参数与测量值之间的交叉依赖关系，同时严格保持模型的可逆性。此外，IA-cINN还加入了蒙特卡洛dropout机制以量化认知不确定性。该方法在两个工程案例中得到了验证：在一个物料搬运设备的模拟案例中，仅通过应变和变形测量数据就更新了结构部件的三个材料参数；在另一个轴承的实验案例中，则通过振动特征更新了接触刚度、缺陷长度和径向间隙等参数。在两个案例中，IA-cINN的表现均优于传统的条件可逆神经网络以及基于马尔可夫链蒙特卡洛采样的贝叶斯更新方法。尤其是对于那些与其他参数存在复杂耦合关系的参数，IA-cINN实现了更高的更新精度，同时生成的不确定性区间更为可靠，其区间评分更低。这些区间对认知不确定性的关键来源十分敏感，包括数据不足和模型学习不充分等问题。

引言

数字孪生技术已成为从工业4.0迈向工业5.0的关键支撑技术。它为工业设备的整个生命周期内的各类应用提供支持，包括设计优化、虚拟验证、智能制造以及预测性维护[1]。而这些功能的核心是虚拟实体，它作为工业设备的数字对应物——即物理实体，需要能够准确反映物理实体的当前状态与运行行为。

由于环境条件与运行负荷的不断变化，物理实体不可避免地会出现材料退化、部件磨损、裂纹扩展等意外变化。因此，如果不持续利用来自物理实体的实时传感器数据对其进行校准，虚拟实体的预测精度会逐渐下降，从而无法为设备维护决策提供有效支持[2]、[3]。这就要求不断更新虚拟实体中的模型，以在整个设备使用周期内保持其精确性。

为应对这一挑战，人们开发出了两类传统的模型更新方法：基于启发式优化的方法与贝叶斯更新方法。遗传算法和粒子群优化等启发式优化算法非常适合用于校准那些缺乏梯度信息、采用不可微仿真方法的黑箱模型，这类模型在工业数字孪生系统中较为常见[4]、[5]。不过，当模型参数之间存在强耦合关系时，这类算法往往容易陷入局部最优解，而无法找到全局最优解[6]，而且也无法提供能够体现参数不确定性的概率估计值。

为进一步量化参数不确定性并提升参数估计的可靠性，贝叶斯更新方法越来越多地被应用于对安全性要求较高的领域。这类方法通过结合先验知识与传感器测量数据，来推断模型参数的后验分布[7]。但它们也存在两大局限：首先，在处理随时间变化的参数时，如果采用顺序更新方式，由于每次更新得到的后验分布会成为下一次更新的先验，估计误差会逐渐累积[8]；其次，后验分布的近似计算通常依赖于马尔可夫链蒙特卡洛等采样技术，而这需要大量模型评估才能确定潜在的参数值[9]。这意味着，在处理复杂设备的数字孪生系统时，贝叶斯更新方法往往需要耗费大量计算资源，因为每一次模型评估的成本都相当高。

近期，基于生成模型的方法逐渐成为一种有望同时降低更新误差并提升计算效率的解决方案。与需要显式似然函数且必须反复进行计算的贝叶斯更新方法不同，这类方法可以直接从传感器测量数据中推断出模型参数，无需进行迭代计算。条件可逆神经网络因其具有严格的可逆性以及易于实现的推理机制，已被广泛用作此类模型[10]。例如，王等人[11]提出了一种基于条件可逆神经网络的随机模型更新技术，他们建立了结构刚度与模态频率之间的双向映射关系，从而实现了无需似然度校准的功能；曾等人[12]则开发了一种递归推理框架，利用条件可逆神经网络来更新斜接闸门裂纹扩展模型中的关键参数；钱等人[13]将条件可逆神经网络融入贝叶斯更新方法中，从而可以直接根据图像观测结果来近似估算腐蚀模型中关键材料参数的后验分布；埃尼尤等人[14]提出了DECI-Net，这是一种将条件可逆神经网络与去噪自编码器相结合的新型参数更新框架，该框架能够实现智能建筑数字孪生系统中动态输入的精准且连续校准。

然而，当需要更新存在强相互作用关系的模型参数时，传统条件可逆神经网络的表现较差[15]。出现这一问题的原因在于，这类网络仅依靠仿射耦合层之间的简单随机排列来捕捉参数间的内部耦合关系，而这种排列的能力本质上受到仿射耦合层数量的限制。虽然增加网络深度可以在一定程度上提升其学习参数间相互依赖关系的能力，但也会大幅增加过拟合的风险，这就形成了一种根本性的权衡，限制了随机排列方法的有效性[16]。

此外，在传感器感知能力有限的场景下，条件可逆神经网络的性能还会进一步下降，因为此时只能获得次优的传感器测量数据[17]。例如，虽然模态频率和模态形状是用于更新刚度或弹性模量参数的理想观测量，但在实际运行的机械设备中，很难准确获取这些数值[18]。实际上，往往只能从有限的位置获取应变或位移测量数据。条件可逆神经网络会在仿射耦合层中使用非自适应的仿射变换来处理这些次优测量数据，而这类变换无法根据测量数据与待更新参数的实际关联程度来对数据的重要性进行排序或加权，因此网络无法充分利用这些测量数据中的信息，从而导致在这种条件下更新精度下降。

另外，尽管条件可逆神经网络可以通过在反演过程中从潜在空间中采样来生成参数分布，但这些分布并不构成认知不确定性的正式度量标准[11]、[20]，它们仅仅反映了网络从训练数据中学习到的多重特性。在实际应用中，用户只能依靠这些分布的统计摘要（如后验估计的平均值或最大值）作为模型参数更新的点估计值，而无法通过分析每个分布的离散程度或形态来判断其对应的置信度或认知不确定性水平。

鉴于上述三重挑战，本文提出了一种全新的可逆注意力增强型条件可逆神经网络（IA-cINN），用于在数字孪生系统中实现基于物理原理的模型更新。在传统条件可逆神经网络架构的基础上，IA-cINN引入了一种经过特殊设计的可逆注意力层，该层通过保持体积不变的变换方式，能够明确建模两种类型的依赖关系：一是待更新模型参数之间的内在相关性，二是这些参数与传感器测量数据之间的交叉依赖关系。该注意力层在严格保持模型可逆性的同时，显著提升了网络捕捉复杂参数耦合关系以及更好地利用次优测量数据的能力。此外，IA-cINN还整合了蒙特卡洛dropout机制，用于量化认知不确定性，从而使数字孪生系统能够根据参数对应的不确定性水平来评估参数估计的可靠性。

本文的其余部分结构如下：第2节介绍了用于实现IA-cINN数字孪生系统更新的具体流程，并详细描述了其架构；第3节通过一个物料搬运设备的模拟案例，对比分析了IA-cINN、传统条件可逆神经网络以及基于马尔可夫链蒙特卡洛采样的贝叶斯更新方法的效果；第4节介绍了一个滚动轴承的实验案例；最后，第5节总结了本文的主要研究结果，并提出了未来工作的方向。

章节要点

用于数字孪生系统更新的IA-cINN方案

用于数字孪生系统更新的所提出的IA-cINN分为两个阶段运行，即离线训练与在线更新，具体流程如图1所示。

在离线训练阶段，会利用初始校准后得到的高精度虚拟实体模型来生成IA-cINN的训练数据。更具体地说，待更新的模型参数以及相关的环境变量会分别在其合理的退化范围和实际运行范围内被抽取出来，之后再运行高精度模型

仿真分析

物料搬运设备是核设施自动化生产线中的核心组件，负责按照预定路径运输各种物料。在处理放射性材料的过程中，这些设备往往需要在充满辐射且承受周期性载荷的恶劣环境中运行[24]。长期暴露在辐射环境下，再加上机械疲劳和蠕变作用，会导致设备材料的微观结构出现损伤，最终引发

实验配置

滚动元件轴承是旋转机械中的关键部件，其逐渐老化是导致工业系统出现非计划停机现象的主要原因之一。通过振动测量来实时监测轴承物理状态的数字孪生系统，为基于设备状态的维护提供了可能。不过，这类数字孪生系统中所使用的轴承动力学模型包含的参数会随着磨损和损坏而发生变化，因此必须利用实际测量数据对这些参数进行更新。这与之前的模拟案例有所不同

结论

本文提出了一种基于IA-cINN的数据驱动型数字孪生系统更新技术。其核心创新在于所设计的可逆注意力层，该层通过明确建模两种类型的依赖关系——模型参数之间的内在相关性以及这些参数与条件数据之间的交叉依赖关系，提升了传统条件可逆神经网络的功能。通过在可逆仿射耦合结构中运用自注意力与交叉注意力机制，该注意力层使网络能够更有效地捕捉复杂的参数交互关系

CRediT作者贡献说明

程倩：论文撰写——审阅与编辑、论文撰写——初稿、方法论设计、概念构思。魏胜行：论文撰写——初稿、方法论设计、形式化分析、概念构思。任毅：论文撰写——审阅与编辑、方法论设计、数据整理。夏权：可视化处理、结果验证、资金筹集。杨德镇：可视化处理、结果验证、数据整理。王志丽：项目监督、资源协调、资金筹集。C.格德斯·索亚雷斯：论文撰写——审阅与编辑、项目监督。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。