一种用于轴承剩余使用寿命预测的可解释动态物理增强Transformer方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：A Dynamic Physics-Augmented Transformer for Interpretable Bearing Remaining Useful Life Prediction

　　

• •
  提出了一种动态物理增强的Transformer模型用于轴承剩余使用寿命（RUL）预测。
• •
  一种动态头维度分配机制改善了注意力分配。
• •
  一种物理一致性引导的多约束损失确保了合理的RUL轨迹。
• •
  基于SHAP的解释方法揭示了长时间序列输入中各特征的贡献。

引言

作为工业旋转机械的核心部件，滚动轴承的健康状态直接影响着复杂系统的可靠性和运行安全。因此，准确预测剩余使用寿命（RUL）已成为预测性维护中的关键任务[1]。近年来，基于Transformer架构的深度学习方法因其能够有效捕捉长程依赖关系，在建模复杂退化信号方面展现出强大能力[2]。然而，现有模型在实际工程应用中仍面临重大挑战。除了实现高预测精度之外，这些模型还必须保持物理一致性并提供可解释的输出，以支持安全关键环境中的决策制定。

为应对这些挑战，先前的研究主要聚焦于改进Transformer架构的核心组件，即注意力机制。Aguilera Martos等人[3]引入了一种局部注意力机制，在增强时序连续性的同时降低了计算复杂度。Li等人[4]提出了一种结合时序注意力与特征注意力的双注意力机制，以改善与退化相关的信息提取，用于RUL预测。Wang等人[5]提出了一种时序增强型多头自注意力模型，该模型融合了缩放点积注意力和时序特征增强技术，以捕捉航空发动机时序数据中的依赖关系。此外，Zhou等人[6]开发了一种自引导注意力卷积神经网络（SGACNN），并耦合了记忆意识调整（MCA）机制，以通过捕捉跨通道的退化信息来促进连续RUL预测。尽管取得了这些进展，但大多数现有方法主要侧重于计算效率或关系建模[7]，并隐含地假设各注意力头之间具有固定的表示能力分配[8]。这种"均匀分配"范式忽视了退化过程中不同传感器通道的异质贡献，可能会稀释关键信息，限制模型自适应提取显著特征的能力[9]。

为缓解这些局限性，近期的研究将物理知识融入数据驱动模型，以提高可解释性、预测精度和收敛稳定性[10]。Xiong等人[11]提出了一种受控物理信息数据生成框架，将物理约束作为正则化项引入，以确保与退化规律的

一致性。Lu等人[12]开发了一种物理引导神经网络，通过自适应加权将退化过程知识动态融入基于LSTM的框架中。Sánchez等人[13]提出了一种物理信息学习框架，将不确定的物理退化约束纳入系统健康建模中。尽管这些方法提高了预测精度和收敛行为，但它们仍然保留了传统数据驱动模型的"黑箱"特性[14]。因此，其预测结果可能仍然缺乏足够的透明度来支持可靠的工程决策。

为进一步提高预测透明度，可解释人工智能（XAI）技术已广泛应用于故障预测与健康管理（PHM）领域[15]。根据解释生成时机的不同，现有方法一般可分为事后归因方法和内在可解释方法[16]两类。对于事后归因方法，Youness和Aalah[17]应用了基于SHAP的可解释人工智能技术来解释RUL预测结果，并量化退化相关特征对模型决策的贡献。Hung和Lee[18]提出了BMB-LIME方法，该方法通过建模局部非线性和不确定性来改进局部可解释模型不可知解释（LIME），从而提供更忠实的解释。关于内在可解释架构，Kraus和Feuerriegel[19]提出了一种基于变分贝叶斯推断的可解释深度学习方法，通过结构化效应神经网络实现透明的RUL预测，该方法将可解释性与非线性退化建模相结合。类似地，Mao等人[20]提出了一种用于RUL预测的可解释深度迁移学习框架，该框架集成了选择性退化知识融合与基于注意力的特征表示，以提高退化演化的可解释性。

尽管做出了这些努力，现有方法仍然难以在异质退化表示、轨迹合理性和透明的事后分析之间取得平衡。本研究提出了一种面向轴承RUL的框架，集成了动态注意力分配、轨迹正则化和事后解释。本文的主要贡献总结如下：

• (1)
  我们为轴承RUL预测设计了一种动态头维度分配（DHDA）机制。DHDA将注意力头的表示能力视为一个可微分的资源分配问题，并使用可学习的分配比率和软掩码在各注意力头之间重新分配固定的特征空间预算。
• (2)
  我们将DHDA与多约束轨迹正则化目标相结合。单调性、平滑性、边界和退化模式项作为弱物理先验被使用，以抑制物理上不合理的RUL轨迹，而非作为独立的新退化规律。
• (3)
  我们采用SHAP结合K-means压缩完整时间窗口，对长时间序列的多变量轴承退化序列进行事后解释。这种针对特定任务的集成方法在保持时序结构和主要特征归因模式的同时，降低了SHAP的计算成本。
• (4)
  我们在XJTU-SY和PHM2012轴承数据集上评估了该集成框架在预测精度、物理合理性、不确定性表征和特征归因一致性方面的表现。

本文其余部分组织如下。第2节介绍核心方法论。第3节提出所设计的网络架构。第4节报告了模型性能和可靠性的实验评估结果。第5节对全文进行总结。

章节摘要

预备知识：自注意力与多头注意力

Transformer架构从根本上建立在自注意力机制之上[22]，该机制通过计算查询、键和值之间的相似度来捕捉序列内的长程依赖关系。图1展示了自注意力机制的基本原理。标准的单头缩放点积注意力定义为：

其中$Q,K,V$分别表示查询、键和值的线性投影矩阵，$d_k$表示

RUL预测方法论

基于第2节中介绍的理论组件，特别是DHDA注意力机制和多物理一致性约束，第3节系统地描述了所提出的RUL预测框架的实际实现。为避免冗余，重点放在DPA-Transformer骨干网络、DHDA机制和物理一致性约束如何集成到统一的预测流程中，特别强调

实验验证

实验在PHM2012[27]和XJTU-SY[28]轴承退化数据集上进行。所提出的模型使用Python 3.6在Windows 11上实现，并在配备Intel Core i7-12700H CPU、NVIDIA RTX 4090 GPU和24 GB内存的工作站上进行了端到端训练。采用了每层包含DHDA的多层Transformer编码器。输入序列长度通过滑动窗口策略确定[29]，而嵌入维度、注意力头数量和层数

结论

本研究提出了一种动态物理增强的Transformer（DPA-Transformer）用于轴承剩余使用寿命预测。该框架解决了数据驱动预测模型中存在的固定注意力分配、有限的轨迹合理性和不足的事后透明度问题。具体而言，本研究将可微分的头容量分配机制与软物理轨迹正则化和基于SHAP的事后特征归因相结合。DHDA用于重新分配

未引用参考文献

[21]

CRediT作者贡献声明

Jian Zuo（左剑）：写作——审阅与编辑，写作——原稿撰写，方法论。Zhengchang Lu（卢正昌）：写作——审阅与编辑，可视化，软件，形式化分析。Zhiwen Liu（刘智文）：监督指导，资源，项目管理，资金获取。

Jian Zuo|Zhengchang Lu|Zhiwen Liu