基于物理信息神经网络的数据-模型交互式剩余使用寿命预测

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Data-Model Interactive Remaining Useful Life Prediction with Physics-Informed Neural Network

　　

• 提出了一种用于剩余使用寿命（RUL）预测的基于PINN的数据-模型交互框架。
• 应用自注意力机制提取隐藏状态。
• 利用自编码器构建一维退化指标（CHI）。
• 构建了具有物理驱动损失项的预测精度引导损失函数。
• 同时实现了预测精度、不确定性和可解释性。

## 引言

随着关键系统的安全性和可靠性不断提高，故障诊断与健康管理（PHM）技术在过去几十年中成为研究热点 [1,2,3]。具体而言，PHM的任务是基于多传感器数据预测系统的剩余使用寿命（RUL），并根据预测信息做出最佳的健康维护决策，以实现最小故障风险或最低经济成本。因此，RUL预测是PHM框架中不可或缺的基石。在过去几十年中，RUL预测已在各个领域获得了广泛关注 [4,5,6]。图1总结了现有研究中RUL预测方法的三大类，包括基于物理模型的方法 [7]、基于数据驱动的方法 [8] 和基于物理信息的数据驱动方法 [9]。

基于物理模型的方法主要是根据系统的退化机制建立描述退化过程的参数化数学模型，然后结合实验数据或经验知识识别和更新模型参数，从而实现RUL预测。常见的物理模型包括裂纹扩展模型 [10]、轴承动力学模型 [11]、电化学模型 [12] 等。虽然这类方法可以获得准确且具有可解释性的RUL预测结果，但预测精度严重依赖于准确可靠的物理模型。然而，鉴于现代系统的复杂性、高维性和非线性特征，获取可靠准确的物理模型的成本过高。在这种情况下，此类物理模型稀缺的可获得性阻碍了它们在RUL任务中的广泛应用。

传感技术的蓬勃发展使得获取反映系统健康状态的监测数据成为可能。在此背景下，基于数据驱动的方法因其无需先验知识或物理机制即可进行RUL预测而变得更加流行。目前，用于RUL预测的数据驱动方法大致分为三类 [13]，如图1所示。统计数据驱动方法包括三个步骤：退化过程建模、模型参数估计和RUL分布求解。常见的随机退化过程包括Wiener过程 [14]、Gamma过程 [15]、逆高斯过程 [16]、Markov过程 [17] 等。此类方法的主要优点是在概率统计框架下对RUL预测的不确定性进行定量表征。随着无线传感、物联网等技术的快速兴起和普及，RUL预测进入了大数据时代，以深度学习（DL）为代表的机器学习（ML）方法应运而生。典型方法包括随机森林 [18]、支持向量机 [19]、深度神经网络（DNN）[20] 等。然而，该方法的主要不足是缺乏量化预测不确定性的能力。总之，统计数据驱动方法可以量化不确定性，但处理大数据的能力明显不足。DL方法在大数据分析和预测方面功能强大，但在大多数情况下缺乏量化预测不确定性的能力。

在数据处理能力和不确定性量化能力的双重需求下，如何融合统计数据驱动和DL以实现优势互补已成为该领域的前沿课题。沿着这一思路，一些学者开始在这方面进行探索性研究。例如，Yang等人 [21] 使用CNN-CBAM-BiLSTM网络为轴承构建CHI，并应用Wiener过程对该CHI进行建模以实现可靠性评估。Guo等人 [22] 采用CEEMDAN-KPCA和DCTN-CBAM有效地表征不同退化阶段的退化速率，并借助具有随机效应的非线性Wiener过程获得滚动轴承RUL的概率密度函数（PDF）。Zhu等人 [23] 开发了基于卷积堆叠BiLSTM的CHI来表征轴承的健康状态，并构建了三相Wiener过程来表征轴承全生命周期退化过程的随机性以及RUL预测中的不确定性。然而，上述方法将CHI构建和随机退化建模视为孤立的开环过程。因此，特征提取与退化建模之间的匹配问题出现，因为特征提取过程与下游建模任务无关。为了解决这一问题，近年来提出了数据-模型交互的概念用于预测 [24,25,26]。数据-模型交互的基本思想如下：首先，在数据层进行多传感器融合以构建CHI来表征系统退化特征。其次，采用随机过程模型对该CHI的时变演化趋势进行建模，并在首次到达时间下实现RUL预测。最后，构建以预测性能为导向的优化目标函数，反向优化失效阈值和多传感器融合系数。这在CHI提取和随机退化建模之间形成了反馈回路，使这两个过程实现交互联动和交叉融合。因此，提取的CHI直接服务于随机退化建模，实现了数据层面特征提取与模型层面退化建模之间的自动匹配。同时，该方法克服了CHI物理含义不明确的问题，否则将难以确定其对应的失效阈值。总之，"交互"一词意味着基于数据的CHI构建和基于模型的RUL预测被联合且交互地处理，使得构建的CHI能够精确针对最终的预测目标。

尽管基于数据驱动的方法在RUL预测领域占据主导地位，且关于数据-模型交互预测方法的新概念已被报道，但预测结果的可解释性仍未得到解决。在建模过程中未考虑物理知识的情况下，传统ML方法的预测结果缺乏透明度和可解释性。为解决这些问题，物理信息机器学习（PIML）方法应运而生并受到越来越多的关注。以神经网络（NN）为代表的ML方法已被广泛应用于RUL预测领域 [27,28,29]。根据NN预测建模的全过程，当前基于PIML的RUL预测方法可以将物理信息整合到数据处理 [30]、架构设计 [31] 和损失函数 [32] 中。其中，基于物理信息损失函数的PIML方法被理解为最近提出的流行物理信息神经网络（PINN）[33]。当复杂系统的物理模型未知时，PINN可以基于数据而非先验知识恢复或创建偏微分方程（PDE）。例如，Cofre-Martel等人 [34] 通过将多传感器数据和监测时间映射到隐藏空间并构建以RUL对隐藏空间导数形式的PDE来发现未知的PDE。这样，该PDE可以被视为物理损失项来训练DNN。然而，该模型忽略了多传感器数据的不同重要性，导致其有效融合特征的能力不理想。基于 [34]，Liao等人 [35] 通过引入深度隐藏物理模型（DeepHPM）学习隐藏PDE，并通过自注意力机制捕获特征之间的依赖关系。尽管该方法在RUL预测精度方面表现出明显优势，但忽略了多传感器数据的时间维度。此外，Jiang等人 [36] 提出了基于时空注意力的PINN，有效地从传感器维度和时间维度提取退化信息，使RUL预测结果具有高度可解释性。关于基于物理信息的数据驱动RUL预测方法的更多进展已在 [9] 中进行了全面讨论。

结合与本文相关的现有RUL预测方法的讨论，本文的主要动机总结如下：

(1) 大多数基于DL的RUL预测方法仅将退化数据作为网络输入，而忽略了时间变量。然而，系统的退化指标应随时间逐渐增加或减少。因此，在不含时间变量的深度学习模型训练中，关于系统的退化信息可能会丢失。

(2) 尽管数据-模型交互的思想已被成功应用于RUL预测 [24,25,26,37,38]，但相关方法纯粹基于数据驱动，并未引入具有退化机制的数学模型。因此，RUL预测结果可能在物理上不一致，且此类方法的可解释性有待提高。

(3) 大多数基于物理信息的数据驱动RUL预测方法在量化结果不确定性方面能力有限。尽管PIML方法，尤其是PINN，已被广泛应用于RUL预测并产生可解释的预测结果，但由于NN模型的确定性结构，其量化结果不确定性的能力有限。

为解决上述问题，本文提出了一种基于PINN的数据-模型交互RUL预测方法（PINN-DMI）。本文的独特之处在于，所提出的PINN-DMI方法能够交互地处理基于数据的CHI构建和基于模型的随机退化建模，从而增强预测精度、不确定性量化能力和可解释性。据我们所知，PINN尚未被应用于该数据-模型交互预测问题中以改善建模和预测过程的可解释性。PINN-DMI通过C-MAPSS数据集、XJTU-SY轴承数据集和铣刀数据集进行了验证。具体而言，本文的主要贡献总结如下：

(1) 本文明确将时间作为输入特征之一，以更好地挖掘输入特征与退化趋势之间的相关性，并引入基于自注意力的特征提取网络和DeepHPM以获得隐藏状态，从而保留更多有用的退化信息并去除冗余特征。

(2) 考虑到系统的物理模型难以获取，所提出的方法引入PINN仅从多传感器数据而非物理知识中恢复PDE。这样，所获得的PDE通过使用时间导数和隐藏状态导数包含了关于退化速率的信息。通过隐藏状态探索系统的物理退化特性，增强了模型的可解释性。

(3) 利用自编码器构建一维CHI，并采用Wiener过程对所构建CHI的退化过程进行建模以进行预测。本文的独特之处在于，建立了由数据驱动损失项（实际RUL与预测RUL之间的均方误差）和物理驱动损失项（PDE的惩罚项）驱动的损失函数，以反向优化和调整自编码器参数和失效阈值。这样，在CHI构建和随机退化建模之间建立了一个可解释的数据-模型交互框架，实现了CHI与随机模型之间的自动匹配，并由于引入PDF惩罚项赋予了CHI明确的物理意义。PINN与数据-模型交互方法的有效结合不仅能量化RUL预测结果的不确定性，还能提高可解释性。这与现有研究形成了鲜明对比，后者将CHI构建和退化建模分开处理 [[21], [22], [23]]，以纯数据驱动流程 [[27], [28], [29]] 或PINN [[34], [35], [36]] 执行预测任务，或在没有物理损失的情况下进行数据-模型交互预测（见例如 [[24], [25], [26],37,38]）。

(4) 通过C-MAPSS数据集、XJTU-SY轴承数据集和定制铣刀数据集的三项案例研究，验证了所提出PINN-DMI方法的有效性和通用性，显示其优于最先进的方法，并展示了其推广和实际应用的优势与潜力。

本文的其余部分结构如下。第2节提供预备知识。第3节详细介绍了本文的原始预测框架和方法。第4节通过航空燃气轮机发动机数据集、XJTU-SY轴承数据集和铣刀数据集验证了所提出的方法。最后，第5节对本文进行了总结。

## 多传感器数据预处理

假设存在N个在相同操作模式下运行的随机退化系统，其中每个系统由S个传感器监控。S个传感器同步监控随机退化系统，具有相等的监控时间间隔。设第i个（1≤i≤N）系统的实际RUL和监测时间分别为 $\tilde{L}_{i,k}$ 和 $t_i=[t_{i,0}, t_{i,1}, \cdots, t_{i,K_i}]$，其中 $K_i$ 是第i个随机退化系统的监测时间点数量。

假设监控时间为整体框架。针对1.2节中讨论的上述三个问题，我们提出了一种基于PINN的数据-模型交互式RUL预测方法。图2展示了该方法的整体框架，该框架由数据采集、特征提取、CHI构建、DeepHPM、目标损失函数设计与优化以及用于 prognostics 的随机过程建模组成。

具体而言，可以获取多传感器数据，并采用基于自注意力的特征提取网络将数据进行映射。

案例研究：本节基于NASA的C-MAPSS数据集[47]、西安交通大学XJTU-SY轴承数据集[48]和铣刀数据集[49]验证了PINN-DMI方法。

结论：本文提出了一种基于PINN的数据-模型交互式RUL预测方法。在数据层面，通过自注意力机制从多传感器数据中提取低维隐状态，并将其与监控时间一起输入自编码器以构建CHI。在建模层面，采用维纳过程对CHI的随机退化过程进行建模以预测RUL。在数据-模型交互层面，一种具有DeepHPM的特殊PINN被设计用于……

CRediT作者贡献声明：李慧琴：原稿撰写、可视化、验证、软件、资源、方法论、调查研究、形式化分析、数据整理。张正鑫：原稿撰写、可视化、验证、资源、调查研究、形式化分析。司晓生：审阅与编辑、监督、项目管理、方法论、资金获取、概念化。

李慧琴 | 张正鑫 | 司晓生