通过迭代扩散细化方法实现零样本跨域传输，以预测航空发动机的剩余使用寿命

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Zero-Shot Cross-Domain Transfer for Remaining Useful Life Prediction of Aero-Engines via Iterative Diffusion Refinement

准确预测涡轮风扇发动机剩余使用寿命（RUL）对预测性维护至关重要。本文提出RUL-DiT模型，融合扩散变换器和LSTM条件网络，通过迭代去噪逐步优化RUL估计，支持零样本跨域迁移且无需目标域标签，显著降低数据采集成本。

　　

Ka-Chun Fung|Tsun-Hin Cheung|Songjiang Lai|Kaiwen Xue|Kin-Man Lam

中国香港特别行政区香港理工大学电气与电子工程系

摘要

准确预测涡轮风扇发动机的剩余使用寿命（RUL）对于有效的预测性维护至关重要。然而，当由于运行参数、环境条件或系统配置的变化导致传感器数据分布发生变化时，传统模型往往难以泛化。现有的无监督领域适应方法通过利用未标记的目标领域数据来缓解这一问题，但它们仍然需要额外的数据采样。在本文中，我们提出了RUL-DiT，这是一种结合了去噪扩散概率模型（DDPM）与Transformer主干网络以及基于LSTM的条件网络的Diffusion Transformer架构，通过基于扩散的后验去噪迭代改进RUL预测。在每个反向扩散步骤中，RUL-DiT会细化一个高斯潜后验，其均值和按计划定义的方差逐渐集中RUL估计值，从而比传统模型更准确地模拟渐进式退化过程。关键的是，当在两个公认的飞机发动机预测基准数据集CMAPSS和N-CMAPSS上训练时，RUL-DiT在两个数据集上都取得了优于以往报告的基线的性能。此外，RUL-DiT实现了零样本跨领域迁移，并在多个源目标对上的迁移任务中表现出竞争力，而无需任何目标领域标签或微调。这种仅依赖源数据的能力使其可以直接应用于未见过的子集和发动机运行条件，大大减少了RUL预测的数据收集开销。

引言

确保机械的可靠性和安全性对于防止意外故障、运营中断和潜在的安全隐患至关重要。在航空航天工业中，预测性维护对于维持航空推进系统的连续运行非常重要[1]。通过减少计划外停机时间和提高运营安全性，预测性维护策略优化了系统的可靠性和成本效益。预测性维护的核心是剩余使用寿命（RUL）的估计，即发动机需要维修或更换之前的预测时间[2]。准确的RUL估计能够实现有效的维护调度，从而降低飞行中故障的可能性，提高航空推进系统的可靠性和安全性。

传统的RUL预测方法分为基于模型的预测和数据驱动的预测。基于模型的预测依赖于精确的发动机退化数学或物理模型，需要深入了解故障机制[3]。另一方面，数据驱动的预测直接利用传感器数据，无需详细了解物理系统动态[2]。基于机器学习的方法已成为这一领域的强大工具，揭示了传统方法常常忽略的复杂模式。然而，传感器数据的复杂性和退化模式的动态演变特性要求采用能够捕捉长期依赖关系并适应现实世界场景的先进技术。尽管深度学习模型（如循环神经网络（RNN）[4,5]和卷积神经网络（CNN）[6]显示出潜力，但它们往往难以捕捉长期依赖关系。例如，RNN面临梯度消失问题，而CNN的接收域有限，可能会忽略关键的时间模式。一种有前景的解决方案是采用基于Transformer的架构[[7], [8], [9]]，这些架构可以应用于RUL预测，利用自注意力机制强调关键时间步骤并缓解梯度消失和接收域有限等问题。

尽管在独立基准测试中取得了令人印象深刻的结果，但最先进的（SOTA）预测模型[7,10,11]在现实世界的发动机维护中仍面临三个主要挑战。首先，从业者很少能提前知道他们的模型将遇到哪种发动机工况，而且通常无法获取目标领域数据，更不用说目标领域标签了，这使得针对目标领域的训练既不切实际又成本高昂。其次，操作模式之间的分布变化（例如，在N-CMAPSS中的高压涡轮（HPT）或低压涡轮（LPT）退化）会逐渐降低预测准确性，但大多数回归器缺乏领域无关的推理机制[8]。第三，传统模型通常通过单次前向传递处理每个输入序列，产生一次性确定性预测。因此，它们可能会忽略只有通过逐步不确定性细化才能显现的细微线索，即通过扩散过程的迭代去噪步骤，该过程通过多次推理阶段逐步采样和减少不确定性来细化预测。

为了解决这些挑战，我们提出了RUL-DiT，这是一种结合了去噪扩散概率模型（DDPM）[12]与基于LSTM的条件网络的Diffusion Transformer（DiT）架构。我们的主要贡献总结如下：?

用于RUL的迭代扩散后验细化：我们将RUL估计表述为随机退化轨迹的迭代去噪，并推导出一个反向扩散推理过程，该过程在扩散步骤中逐步细化潜在的RUL估计。

?

使用扩散先验的零样本RUL公式：我们为航空发动机RUL建立了一种仅依赖源数据的训练范式，其中学习到的扩散先验实现了对未见子集的零样本迁移，在多个迁移目标上表现出强大的性能，而无需任何目标领域标签。

?

用于时间序列的扩散条件网络：我们设计了一个基于LSTM的条件网络，专门用于多变量传感器数据序列，以有效指导去噪过程。

?

迭代RUL重建损失 $\left(L_{IRR}\right)$

: 我们提出了一种新的训练目标，通过实时采样同时优化重建保真度和随机预测一致性，提高了训练稳定性，同时支持随机预测摘要。

此外，在标准的领域内评估中，RUL-DiT在比较方法中实现了最佳的RMSE，并在零样本跨领域迁移中表现出有竞争力的平均性能，尽管在不同源目标对之间存在差异。这些结果突显了其预测有效性和实际相关性。通过将这些进步统一在一个框架中，RUL-DiT为未见过的领域的零样本RUL预测提供了一种易于维护的解决方案。

部分摘录

RUL预测算法

深度学习的最新进展显著提高了RUL预测模型的性能。CNN及其变体在从时间序列数据中提取特征方面表现出色，有助于准确的RUL预测[6,13]。同样，长短期记忆（LSTM）网络在处理序列数据方面表现出色，这对于RUL任务至关重要[5,14]。混合架构（如LSTM-CNN）结合了两种模型的优势，进一步提高了RUL预测的准确性[[15], [16], [17]]。Guo等人[

流程概述

RUL-DiT使用扩散来学习退化轨迹的生成先验。在传感器历史的条件下，我们的扩散模型通过逐步从随机初始化的信号中去除噪声来迭代细化其预测。每个去噪步骤都会纠正前一步的残差差异，有效地围绕潜在的RUL估计值收紧后验。这一过程利用传感器历史来指导重建，并系统地减少潜在的不确定性。

实验

我们在两个广泛使用的涡轮风扇发动机退化数据集上评估了我们的方法：模拟的CMAPSS [1]数据集及其新发布的更具挑战性的变体N-CMAPSS [40]。这两个数据集都是为RUL预测设计的，但它们的来源和复杂性不同。

未来工作

我们的实验结果表明，扩散的迭代细化有助于模型在领域无关的退化空间中运行，这解释了其零样本行为。虽然RUL-DiT在多个领域转换中表现良好，但从多故障领域到单故障领域的泛化仍然具有挑战性，需要进一步研究。这一限制表明，模型学习到的退化先验可能依赖于训练期间的故障模式多样性。

一个值得注意的

结论

本文介绍了RUL-DiT，这是一种结合了去噪扩散概率模型（DDPM）的迭代细化与新型扩散条件网络和Transformer架构的Diffusion Transformer框架，用于提供RUL预测。迭代RUL重建损失的使用实现了完整RUL轨迹的端到端恢复，而每步噪声预测损失则确保了高保真的局部去噪。利用CMAPSS和N-CMAPSS子集，RUL-DiT

科学写作中的生成式AI声明

在准备这项工作时，作者使用了Grammarly Go来检查语法。使用该工具/服务后，作者根据需要审查和编辑了内容，并对已发表文章的内容承担全部责任。

CRediT作者贡献声明

Ka-Chun Fung：撰写——原始草稿、软件、方法论。Tsun-Hin Cheung：调查、概念化。Songjiang Lai：方法论、概念化。Kaiwen Xue：方法论、概念化。Kin-Man Lam：撰写——原始草稿、监督、方法论、概念化。