基于变压器的运行寿命（RUL）预测器的构建，并结合可解释性技术：在真实工业数据集上的应用

《Information Fusion》：Building of transformer-based RUL predictors supported by explainability techniques: application on real industrial datasets

本文提出了一种基于Transformer的混合架构用于剩余使用寿命（RUL）预测，并在三个工业数据集（C-MAPSS、Metro-PT、Scania Component X）上进行了验证。研究显示，Transformer模型在C-MAPSS数据集上表现优于传统RNN，但受限于数据稀缺和类别不平衡，在真实数据集上需结合数据增强和损失函数优化。同时，采用LIME和SHAP进行可解释性分析，揭示了关键特征（如Oil_temperature）对预测的影响，并验证了模型可简化为仅用少数特征仍保持性能。

　　在工业4.0背景下，智能系统被广泛应用于优化制造流程，以提高生产效率并降低成本。这些系统对多个领域产生了深远影响，包括需求预测和质量评估。然而，工业设备的预测性维护（PdM）和健康状况管理（PHM）是具有最大潜力的领域之一。本文通过对比分析，探讨了深度学习架构在真实工业数据集上对剩余使用寿命（RUL）预测的性能，包括一些常用的循环神经网络（RNN）变体和一种基于Transformer的混合架构。此外，我们应用了可解释性技术，以提供对模型决策过程的全面见解。本文的贡献包括：（1）一种基于Transformer的新型RUL预测架构，其性能优于传统的RNN；（2）对两个较少被研究的数据集进行建模的详细设计策略；（3）使用可解释性技术来理解特征重要性并解释模型预测；（4）将构建的模型提供给其他研究人员以实现可重复性。

预测性维护（PdM）是工业4.0的重要组成部分，其核心在于利用实时数据和先进算法来预测设备故障，从而减少停机时间和维护成本。PHM技术则通过分析设备的性能和状态，提供关于设备剩余寿命的预估。在PdM中，RUL估计是核心任务之一，它有助于优化维护计划，提高运营效率，并确保关键设备的可靠性和安全性。因此，准确的RUL估计不仅有助于最大化工业4.0的潜力，也为工业5.0的发展铺平道路，工业5.0强调人机协作和个性化制造。

近年来，数据融合和机器学习在工业预测中得到了广泛应用，以提高对设备剩余寿命的预测精度。数据融合涉及从不同来源（如传感器和历史数据）整合信息，以全面了解系统状态。机器学习模型，尤其是深度学习技术，如长短期记忆网络（LSTM）、循环神经网络（RNN）或门控循环单元（GRU）神经网络，被用于这些融合数据，以识别复杂模式和趋势，预测设备的故障。尽管仍较为有限，但有证据表明，基于Transformer的网络在RUL预测任务中优于RNN，这主要是因为它们在建模长期依赖关系方面更为有效。此外，最近的研究表明，混合深度学习架构，即结合不同类型神经网络组件，可以为复杂的时序任务（如RUL预测）提供增强的建模能力。特别是那些将循环层与基于注意力的机制相结合的模型，已被证明在处理多变量时间序列数据时，能够有效捕捉短期和长期依赖关系。

本文研究了基于Transformer的混合架构在真实工业数据集上的应用潜力，作为对传统RNN方法的替代。挑战不仅在于构建这些回归器，还在于开发完整的数据准备和结果可解释性流程，同时在实际案例研究中进行验证。工业资产通常在动态变化的条件下运行，这使得开发能够良好泛化的模型变得困难。此外，标记数据的稀缺性也是一个重大障碍：故障是罕见事件，运行设备直到其故障以收集代表性退化数据通常不现实或成本过高。同时，可用数据集往往高度不平衡，大部分序列对应正常运行，而只有小部分与故障发展相关。这种不平衡可能导致模型训练偏倚，因此需要创新的策略来缓解其影响。

本文探讨了三种数据集：i）NASA Turbofan Jet Engine，这是一个非常著名的公开模拟数据集，用于发动机退化建模，目标是预测测试数据集中最后一个数据点之后的剩余飞行次数；ii）Metro do Porto，这是一个来自Air Production Unit（APU）的真实数据集，该APU在白天被频繁使用，由于缺乏冗余，任何故障都会导致列车立即移除以进行维修。虽然该数据集不是专门用于RUL预测，但我们在其中生成了Run-to-Failure数据以应对这一挑战；iii）第三种是来自SCANIA的一组近期和真实、多变量时间序列数据，该数据集来自一辆卡车车队的匿名发动机部件（称为Component X）。该数据集被提供给研究社区作为预测性维护的新标准参考。

为了确保构建的模型可靠，即AI基于事实做出正确且无偏的决策，我们采用了后置可解释性技术。这些技术可以帮助回答诸如“哪些变量对模型决策影响最大？”或“模型预测背后的原因是什么？”等问题。本文的结构如下：第二部分简要介绍了PdM问题和RUL的概念，同时描述了可解释性技术及其在实现模型可信度、透明度和可用性方面的价值。第三部分详细介绍了解决研究问题的方法论，包括所采用的模型设计和论证。第四部分详细描述了在每个数据集上的实验，包括预处理步骤、训练和验证集的准备、模型配置、性能和成本指标的定义以及结果的分析和讨论。此外，我们使用XAI技术对在真实数据集上训练的模型进行了解释。第五部分总结了研究的关键结果，并指出了进一步的研究方向。

在工业预测领域，RUL预测已成为一个重要的研究方向，特别是在2019年以来的文献中。用于RUL估计的方法多种多样，包括统计模型、机器学习算法和结合多种技术的混合方法。本文采用深度学习模型，因为它们已成为估计工业资产RUL的强大工具，能够建模大型数据集中的复杂关系。不同的深度学习方法被用于提高RUL预测的准确性，包括卷积神经网络（CNN）、LSTM网络和自编码器。CNN通常用于从时间序列数据中提取空间特征，因此在识别传感器信号中的退化模式方面非常有效。LSTM网络能够捕捉长期依赖关系，适合建模时间序列并预测机器的未来状态。自编码器，尤其是与LSTM结合使用时，有助于学习压缩的退化数据表示，从而促进异常检测和RUL预测。

混合模型，即结合不同深度学习技术或深度学习与传统机器学习方法（如支持向量机（SVM））的模型，也被证明在提高RUL估计方面具有潜力。例如，有研究结合SVM与遗忘的在线序列极端学习机（OLSELM）来提高锂离子电池RUL预测的准确性。Xue等人使用粒子滤波器（PF）和LSTM网络的混合方法进行增强的RUL预测，其在相同数据集上的结果优于传统的机器学习方法如径向基函数网络（RBFN）。此外，Akkad等人结合LSTM和CNN形成混合方法进行涡扇发动机的RUL预测，其结果优于独立的深度学习模型。

最近，基于Transformer的模型在RUL预测中得到了测试，取得了更好的结果。例如，有研究提出了基于Transformer的双方面自注意力（DAST）模型，这是一种仅基于自注意力机制的编码器-解码器结构，不包含任何RNN或CNN模块，能够更有效地处理长数据序列，并能自适应地关注输入中更重要的部分。他们在C-MAPSS（涡扇）数据集上测试了该模型，结果优于之前的研究。后来，有研究提出了使用多头自注意力机制的模型，用于学习传感器特征之间的相互作用以及序列之间的权重。首先，他们使用特征自注意力机制学习模型中的特征相互作用，然后使用序列自注意力机制学习不同时间步的影响力。接着，设置一个LSTM网络来学习时间序列特征，最后使用多层感知机（MLP）获得最终的RUL估计。其在相同数据集上的测试结果更具竞争力，因此我们将其作为基准。

在本文中，我们构建并测试了三种不同的混合网络配置，使用Transformer和讨论它们在第四部分的行为。我们采用了一种基于Transformer的混合架构，结合循环神经网络（RNN）来捕捉特征之间的复杂关系和时间序列中的时间关系。具体来说，第一种模型架构中，输入数据首先由Transformer编码器处理，提取特征图，然后传递给LSTM网络，该网络负责建模特征的时间依赖性。LSTM网络的输出通过一个带有ReLU激活函数的全连接前馈网络，输出预测的RUL值。这种结构在原始特征高维和噪声较大的情况下特别有用。在我们的基准中，使用这种架构构建的模型被称为版本1。

第二种模型架构中，输入数据在特征轴和时间轴上并行处理，Transformer编码器处理特征轴，LSTM处理时间轴，从而增强了模型对数据模式变化的鲁棒性。两个网络的输出被连接并传递给带有ReLU激活函数的全连接前馈回归器，输出预测的RUL值。使用这种架构构建的模型被称为版本2。

第三种模型架构是第一种的变种，但Transformer编码器和LSTM网络的顺序被颠倒，以观察连接顺序对模型性能的影响。使用这种架构构建的模型被称为版本3。为了更好地理解每个子模块（前馈、LSTM和多头注意力）的组成，我们详细描述了它们的内部结构。

本文的实验部分分为三个子部分，分别描述了三种模型在C-MAPSS数据集上的表现、在MetroPT数据集上的RUL预测以及在Scania Component X数据集上的RUL预测。在C-MAPSS数据集上，我们测试了三种模型（版本1、版本2和版本3）与LSTM（基准）和MHA-LSTM模型（文献中最好的模型）的性能。结果显示，我们的模型在C-MAPSS的四个子数据集中均优于LSTM基准模型。虽然我们的模型在RUL的RMSE上未优于MHA-LSTM模型，但在更复杂的子数据集FD002和FD004上，我们的模型在评分上表现更好，这表明我们的模型在预测涡扇发动机的RUL时，更不容易高估，从而减少故障的发生。然而，在FD001和FD003上，我们的模型表现不如MHA-LSTM模型，这可能是因为这些子数据集虽然较简单，但训练样本较少，导致我们的模型难以捕捉复杂模式。

在MetroPT数据集上，我们测试了三种模型（版本1、版本2和版本3）与LSTM（基准）的性能。为了确保公平比较，我们应用了与文献中提到的相同预处理步骤。预处理包括三个步骤：（1）应用分段RUL函数，将RUL值限制在130以内；（2）基于操作特征的6聚类k-means进行特征归一化；（3）生成每个发动机的序列。我们采用了一种随机搜索方法来优化超参数，这在搜索空间较大时更为高效。由于训练集只有三个Run-to-Failure实验，导致生成的样本数量有限，这使得模型的泛化能力受限。因此，我们尝试使用生成对抗网络（GAN）来人工增强数据，但这一策略效果有限。

在Scania Component X数据集上，我们采用了一种基于成本的自定义损失函数，以处理数据集的高度不平衡性。Scania数据集被设计为一个五类分类问题，其中RUL被作为离散的类别变量处理，范围从0（远离故障）到4（即将故障）。我们采用了一种基于成本的损失函数，以处理不同类别的预测误差。此外，我们还应用了三种不同的数据平衡策略：（1）对过表示类别进行下采样；（2）使用加权的类别交叉熵损失函数；（3）基于该问题的成本函数实现的自定义损失函数。经过多次尝试，我们发现结合下采样和自定义损失函数的方法效果最好，这一方法保留了更多的数据，同时平衡了各类别的表示。

在Scania Component X数据集上，我们构建了一个基于Transformer的混合模型，并采用不同的超参数配置进行训练。我们使用了三种不同的评估指标：准确率、宏F1分数和总成本。结果显示，我们的模型在多类分类任务中实现了当前最好的成本表现，而在二分类任务中，其表现与文献中的图神经网络（GNN）模型相似，但成本改善幅度较小。在序数回归任务中，我们的模型未能超越基准，这可能是因为自定义损失函数未能充分考虑过估计的强惩罚。此外，由于类别不平衡和过估计惩罚，我们观察到某些类别（如类别4）存在过度自信的预测趋势。为了解决这一问题，我们计划在未来的实验中引入基于熵的正则化项，以促进更校准的预测，减少模型对主导类别的偏倚。

在本文的研究中，我们发现Transformer架构在处理大规模数据集时表现更好，但在数据量较小的情况下，其性能受到限制。此外，可解释性技术（如LIME和SHAP）在理解模型的决策过程和提取全面见解方面发挥了重要作用。在MetroPT数据集上，我们发现仅使用两个最重要的特征（油温与TP3）即可实现类似的结果，这表明模型可以有效捕捉关键特征，而无需使用所有输入变量。在Scania数据集上，我们通过LIME分析发现，某些特征（如特征397和459）在预测故障时具有较高的重要性，而特征158则可能导致误报。这表明，可解释性技术在模型优化和故障诊断方面具有重要价值。

综上所述，本文通过对比分析，展示了基于Transformer的混合架构在预测性维护任务中的潜力。然而，这些架构在实际应用中也面临一定的挑战，如数据不平衡、数据稀缺性和动态条件下的建模难度。通过应用可解释性技术，我们能够更好地理解模型的决策过程，并提取关键特征，从而优化模型性能。未来的工作将进一步探索如何将可解释性技术集成到数据挖掘过程中，包括预处理阶段，以提高模型的透明度、可用性和可信度。