降阶状态空间变换器：一种物理一致的自监督模型，用于在领域偏移情况下实现可靠的剩余使用寿命预测

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Degradation state-space transformer: Physics-consistent self-supervised model for robust remaining useful life prediction under domain shift

　　• 提出了一种基于退化优先的Transformer模型，用于进行鲁棒的剩余使用寿命（RUL）预测。• 在架构上强制实现了单调的潜在损伤演化。• 随机退化动态支持概率性的RUL推理。• C-MAPSS实验研究了运行条件和故障的变异性。• 电池评估在四个NASA Ames电池上进行了单元内部预测。

引言
可靠性是现代生活中最不显眼但最重要的促成因素之一[1]。当关键资产在没有及时干预的情况下退化时，其后果远远超出了机器本身：飞机延误会破坏运输网络，电池故障会危及能源供应和安全性，制造停机会增加成本和供应波动，而计划外的维护则会分散已经稀缺的劳动力和物质资源[2][3]。在这种情况下，剩余使用寿命（RUL）预测不仅仅是一项预测任务；它是工业系统将退化信息转化为更安全运行、更好资源分配、更低生命周期成本和更高服务连续性的关键机制[4][5]。随着信息物理系统变得更加异构化、传感器化，并与实时运营决策更加紧密耦合，其重要性 only 增加了[6]。

在预测和健康管理（PHM）领域，RUL预测是预测性维护、备件规划、任务调度和风险意识干预的基础，并且与以可靠性为中心的工业系统中的更换时间优化、磨合设计和维护成本控制密切相关[7][8]。尽管实际目标看起来很简单——根据历史数据估算资产在故障或性能下降到不可接受程度之前还能继续运行的时间——但这个问题本质上非常困难。退化只是部分可观察的，具有随机性，取决于运行条件，并且在接近使用寿命末期时通常会加速非线性发展[9][10][11]。在实际应用中，这些挑战由于标签稀缺、任务剖面变化、维护干预、环境条件变化以及同一机队中存在多种资产变体而变得更加复杂[12][13]。因此，实际的RUL预测必须同时处理不确定性和分布偏移[14][15]。

大量文献从两个主要方向研究了RUL预测[16][17]。第一个方向基于统计退化建模、可靠性理论和状态估计[18]。经典的基于过程的模型，包括Wiener、gamma和逆高斯公式，提供了可解释性和原则性的不确定性量化，特别是在退化遵循单调且物理上具有意义的轨迹时[19]。然而，这些方法通常依赖于强假设、精心设计的健康指标或简化的运行机制，这可能限制它们在高维传感器流和异构实际资产中的可扩展性[20]。第二个方向是数据驱动的深度学习[21]。卷积模型、循环模型、时间卷积模型和基于Transformer的模型通过直接从原始或轻度处理的时间序列中学习退化特征，显示出强大的预测性能[22]。然而，高基准准确性并不一定能转化为在变化运行条件、传感器配置或资产群体下的鲁棒部署性能[23]。

最近关于NASA C-MAPSS基准的深度学习研究已经超越了简单的序列到RUL回归，解决了多传感器融合、运行条件变异性、长期时间依赖性和变化下的不确定性量化等问题[24]。Xu等人提出了一种改进的时空Transformer，结合了基于注意力的多传感器融合、运行条件聚类和标准化，以减少由条件引起的变异，同时保留了长期时间依赖性[25]。Zhang等人通过趋势增强和序列时间特征注意力改进了Transformer建模，更明确地捕捉多传感器序列中的退化规律[26]。Cheng等人使用贝叶斯对抗性ProbSparse Transformer解决了在分布差异下的长期预测问题，其中对抗性学习减轻了累积的机制依赖性错误，贝叶斯推理提供了预测不确定性估计[27]。更多最新的研究在序列建模中引入了更强的结构先验。Qin等人引入了一种多传感器时空Transformer，该模型由频率域注意力引导，以利用航空发动机退化信号中的谱低秩结构[28]。Ren等人开发了一种时空图混合网络，结合了图卷积和图Transformer模块，以捕捉结构传感器关系和时间依赖性[29]，而Wang等人提出了DVGTformer，这是一种双视图图Transformer，通过级联时间视图和空间视图图注意力来更全面地融合多传感器信息[30]。其他研究侧重于实际相关的预测行为。Zhou等人引入了一种特征融合门控Transformer，并通过最小化预测向量角度来鼓励准确且操作上有用的早期预测[31]，随后Zhou等人结合了可变形卷积残差注意力和Kolmogorov-Arnold网络以及形状约束损失，以提高趋势一致性、可解释性和早期预警相关性[32]。

并行工作强调，鲁棒的预测不能仅依赖表示学习，特别是在目标标签不可用、退化轨迹不完整或需要在整个资产生命周期内进行连续健康评估的情况下。Hou等人提出了一个无源域适应框架CURA，该框架在传输过程中校准证据不确定性，并明确处理目标域中的不完整退化[33]。Ramírez等人开发了一个基于互信息驱动的概念漂移检测的信息论故障检测框架，表明可靠的监控可以被视为检测输入-输出依赖性的变化，而无需提前提供故障示例[34]。Luan等人提出了一种基于孪生模型不匹配的生命周期状态评估框架，从自适应数字孪生和测量的发动机行为之间的差异中得出健康分数[35]。Xu等人进一步提出了一种无监督的健康状态评估方法，结合了自回归信息神经网络和频率域因果网络，证明了未标记的高维和非平稳航空发动机数据仍然可以支持信息丰富的健康指标和早期异常检测[36]。Faizanbasha等人随后结合了动态传感器图、SCM驱动的退化编码器、Mamba骨干网络和基于动作条件的概率RUL预测，以支持在部分可观测性下的透明场景化维护和任务风险分析[37]。总体而言，这些研究表明，C-MAPSS研究已经发展出结合了传感器结构、不确定性意识、适应性、因果或基于图的依赖性建模、生命周期健康评估和决策支持的风险预测框架。

在锂离子电池预测领域也发生了类似的丰富演变。最近的工作已经从单一输出点预测转向了更广泛的框架，这些框架共同解决了状态健康（SOH）估计、RUL预测、不确定性量化、可转移性和部署现实性等问题。在这一文献中，循环和混合深度架构仍然很突出，因为电池退化具有很强的顺序性、非线性和对局部运行变化的敏感性[38]。Guo等人结合了自适应模式分解和长短期记忆（LSTM）网络，从电池退化信号中提取潜在的老化模式[39]。Xia等人通过强大的局部平滑融合了电化学和热特征，并用双向门控循环单元网络对它们进行建模，以实现联合SOH和RUL预测[40]。Yao等人提出了一个CNN-WNN-WLSTM架构用于SOH估计，反映了从卷积、去噪和循环模块组成的多阶段特征提取管道的更广泛趋势[41]。Meng等人通过使用部分增量容量分析和贝叶斯优化的LSTM建模，解决了需要完整和稳定充电数据的实际限制，表明可以从短充电段而不是完整周期中获得有用的健康预测[42]。Li等人后来提出了一个MC-CNN-TimesNet模型，以捕获跨多个电池数据集的尺度内和尺度间时间依赖性，实现同时的SOH评估和RUL估计[43]。在一个相关的应用导向方向上，Sun和Liu开发了一种基于自适应深度信念网络的间接RUL预测策略，而Chen等人提出了一种基于多斜率特征的电池健康评估和RUL预测方法，两者都强调了在实际运行变异性下退化敏感指标的价值[44][45]。

电池文献中的另一个主要趋势是针对数据稀缺、异质性和不确定性下的泛化、早期预测和鲁棒性。Zhang等人提出了一种针对单个电池的适应性RUL预测方法，该方法适用于未标记的小样本数据和参数不确定性[46]。Song等人通过多源迁移学习框架将这一观点扩展到多配方电池，该框架能够自动选择可转移样本并分配个性化源权重，从而减少了跨异构电池化学成分和运行条件的负迁移和不足的迁移[47]。Mishra等人强调了使用自动化机器学习和创新的多健康指标进行电动车辆电池管理的早期预测[48]。同时，不确定性意识和概率建模变得越来越重要，因为单独的点预测往往不足以进行关键的安全电池管理。Zhang等人提出了一种深度SOH评估模型，该模型输出深度特征的分位数分布及其相关置信区间[49]。Fernández等人通过使用ABC-SS训练的物理信息驱动的贝叶斯神经网络推进了这一概率方向，表明域知识和贝叶斯不确定性可以在锂离子电池的原理性预测框架中集成[50]。Li等人进一步提出了一个分层贝叶斯学习方法，用于第二寿命锂离子电池的早期寿命预测，明确地对电池组和单个电池的退化异质性进行建模[51]。除了预测建模本身，Wu等人还探索了利用电化学阻抗光谱、域对抗神经网络和高斯过程回归的增强型SOH估计，强调了在全频测量成本高昂或难以获得时特征高效和可转移健康估计的重要性[52]。总体而言，电池预测研究已经从简单的容量曲线拟合发展到包括多特征融合、部分曲线学习、迁移学习、贝叶斯推断、不确定性感知的SOH评估和早期寿命预测的更广泛方法论景观。

除了这些特定领域的进展外，最近的预测研究越来越多地探索了迁移学习、域适应、自我监督表示学习和物理信息建模。自我监督学习（SSL）作为通过掩码重建、对比学习和相关 pretext目标利用大量未标记工业时间序列来进行高效标记预测的有希望的途径而出现。同时，物理信息神经网络和混合预测模型试图通过结合退化先验、单调性约束或与机械模型的残差耦合来改进外推。这些发展很重要，但它们也揭示了一个持续存在的限制：在大多数现有方法中，物理知识是通过预处理、辅助损失、校准或事后正则化引入的，而不是作为预测架构本身的结构属性。因此，单调性可能被弱化，退化轨迹可能仍然在物理上不可信，且在域变化下不确定性估计可能仍然缺乏机械依据。

许多现代RUL预测器的核心弱点在于，它们在分布式数据上表现良好，但在域变化下仍然很脆弱。在实践中，源环境和目标环境很少一致：负载剖面会变化，环境条件在不同地点有所不同，传感器会被升级或重新配置，资产家族会在代际间演变，维护政策也会改变观察到的退化历史。即使有可用的运行变量，从测量轨迹到未来使用寿命的映射在开发和部署环境之间也可能存在很大差异。这样的变化破坏了传统的监督学习假设，通常会导致在最需要可靠决策支持的场合产生过度自信的预测。这一限制在安全关键和高价值系统中尤为严重，因为在接近使用寿命末期的小错误可能会导致不必要的维护或延迟的干预，从而带来严重的运营后果。尽管最近的深度模型变得更加条件感知、不确定性感知和结构感知，但大多数仍然将RUL或SOH视为主要的监督输出。物理知识通常通过手工制作的指标、趋势塑造损失、迁移启发式方法、贝叶斯正则化或事后校准来施加。因此，退化往往没有被建模为推理的中心对象；相反，它仍然隐含在以标签为中心的流程中。

我们的工作受到不同观点的启发：鲁棒的RUL预测应该不是从直接回归到寿命标签开始，而是从对潜在退化状态的推理开始。因此，关键问题不仅是什么寿命剩余，而是资产当前所处的退化状态，该状态在运行条件下如何演变，以及它预计何时会超过故障边界。这种观点与可靠性理论高度一致，其中故障是通过首次通过事件来定义的，也与物理直觉一致，即损伤积累在感兴趣的时间尺度上通常是几乎不可逆的。如果能够在保持单调性、条件感知和随机性的同时学习到这样的退化表示，那么RUL可以作为潜在状态演变的结果来推断，而不是作为一个不受限制的黑盒输出。

第二个动机是基础风格训练在工业时间序列中的日益重要性。在许多应用中，在收集到足够的故障到失效注释之前，就有大量未标记的传感器数据可用。这尤其适用于飞机机队、储能系统和工业生产线，因为在这些系统中，故障很少见、代价高昂或有意避免。因此，一个有用的预测模型不仅应在监督下准确，还应该能够以自我监督的方式预训练，并且在标签较少的情况下进行适应。这些考虑因素促使我们提出了一个模型，该模型结合了可转移的序列表示学习、显式的退化状态推理以及分布式的故障时间预测。基于这一动机，我们提出了退化状态空间变换器（Degradation State-Space Transformer，简称DSST）。DSST的创新之处需要被准确理解：我们并不主张对变压器编码器的单独使用、单调退化先验、随机退化模型、首次通过时间可靠性理论或自监督时间序列预训练这些技术的创新性，因为它们在预测、可靠性和时间序列学习领域早已以相关形式出现。主要的贡献在于将这些元素构建为一个统一的退化优先推理路径，在该路径中，剩余使用寿命（RUL）并非作为无约束的输出进行预测，而是通过学习到的单调随机损伤过程和可微的分次通过时间映射来确定的。这一区别很重要，因为许多现有的深度RUL模型使用物理信息作为辅助校正，例如通过单调性惩罚、趋势塑造损失、手工制作的健康指标、对抗对齐或事后校准。尽管这些机制可以提高性能，但当标签稀缺或目标领域与源领域不同时，学习到的表示可能仍然会违反退化一致性。在DSST中，单调损伤积累被嵌入到潜在状态转换中，随机性在退化动态层面引入，而RUL分布则是从潜在状态跨越故障边界所需的时间中导出的。因此，我们提出的贡献不是一个新的变压器模块或一个新的自监督学习（SSL）目标，而是对基于变压器的RUL预测进行的一次物理一致的概率重构。

自监督学习（SSL）的作用是特定的：掩码重建和对比学习被用作成熟的预训练工具，它们并不是作为新的SSL损失来介绍的。它们的目的是用可转移的时间和状态依赖表示来初始化条件感知的编码器，以便后续的单调状态空间和首次通过时间（FPT）模块能够在较少的故障标签情况下进行适应。图1展示了所提出的框架如何在领域转换条件下，将知识从标签丰富的源领域转移到标签较少或没有标签的目标领域，最终生成校准的RUL区间和故障风险估计。为了明确这种表述与现有RUL模型家族的不同之处，表1将DSST与代表性的直接回归、基于变压器的、随机退化的、物理规制的、自监督的和领域适应方法进行了对比。

如表1所总结的，我们的贡献不是对变压器编码器、自监督预训练或概率预测的单独使用。相反，DSST将条件感知的序列编码与单调潜在损伤演化、随机状态空间退化动态以及基于首次通过时间的RUL推理结合在一个统一的退化优先架构中。该框架的实用性通过本研究中考虑的两个基准测试家族得到了说明：在NASA C-MAPSS中，模型必须在多种操作模式和故障模式下推断退化，这些模式具有高度耦合的传感器特征和变化的任务条件；在NASA Ames电池数据集中，模型必须捕捉多阶段电化学老化过程，包括逐渐衰减、加速退化以及电池单元间的差异。这些设置是互补的：前者强调高维工程系统中条件依赖的系统级磨损，而后者强调具有局部转换行为的强非线性老化轨迹。一个稳健的预测模型应该能够同时处理这两种情况，并在各个领域保持一致的退化解释。

本工作的主要贡献可以更具体和明确地表述如下：
1. 我们将RUL预测表述为退化状态推理后接首次通过时间预测，而不是直接的序列到RUL的回归。这为预测的RUL分布提供了可靠性理论的解释。
2. 我们设计了一个由变压器驱动的单调随机状态空间架构，在该架构中，非负损伤增量是通过构造来强制实现的，这与仅通过辅助损失或事后约束来施加单调性的方法不同。
3. 我们将学习到的潜在损伤过程与基于可微分的首次通过时间的概率RUL头部连接起来，使得可以从同一退化过程中获得预测均值、分位数、生存概率和特定范围的故障风险。
4. 我们使用标准的掩码和对比自监督目标作为在标签有限情况下进行退化状态推理的表示初始化机制，而不是将SSL本身作为主要创新点。
5. 我们在NASA C-MAPSS上评估了DSST，并使用四个NASA Ames电池单元进行电池预测，评估了电池的后期观测数据；这并未建立单元间的数据转移。我们还包括了一个紧凑的DPM/DMAP示例，以说明DSST派生的风险估计如何为下游决策提供信息。

本文的其余部分安排如下：第2节阐述了所提出框架的理论和多领域预测基础，包括随机退化、首次通过时间RUL推理以及本研究中采用的弱退化先验。这部分还介绍了退化状态空间变换器（DSST）及其自监督预训练策略、监督适应程序以及在领域转换下的事后不确定性校准。第3节将DSST的概率输出扩展到涡轮风扇发动机和锂离子电池系统的动态预测维护和动态任务中止策略。第4节报告了实验协议、数据集准备、定量比较、消融研究、敏感性分析、校准结果以及在NASA C-MAPSS和NASA Ames电池数据集上的决策级案例研究。最后，第5节总结了本文的主要发现、领域转换下可靠PHM的实际意义以及未来研究的方向。

### 方法论
本节详细介绍了所提出的DSST的方法论框架，涵盖了潜在的退化理论、模型构建、学习策略、不确定性校准以及下游维护和任务决策策略。

### 动态预测维护和动态任务中止策略
除了准确和校准的RUL预测之外，安全关键资产还需要将预测不确定性转化为及时干预的决策策略。因此，我们将DSST的输出扩展到了动态预测维护（DPM）和动态任务中止策略（DMAP）层，这些策略支持在领域转换下的阶段依赖性和风险敏感型行动。关键的前提是DSST提供了一个校准的条件分布p?cal(RULt∣y1:t,u1:t)和一个物理上合理的潜在损伤过程。

### 实验分析
本节在两个互补的基准测试上评估了DSST：NASA C-MAPSS用于在不同操作条件和故障结构下的涡轮风扇退化预测，以及NASA Ames电池数据集用于电池单元的后期预测。电池研究使用了B0005、B0006、B0007和B0018电池，每个电池的早期和晚期数据分别用于训练和测试。这些测试针对不同的问题：C-MAPSS关注操作条件和故障相关的变异性，而后者关注具有局部转换行为的强非线性老化轨迹。

### 结论
本文提出了退化状态空间变换器（DSST），这是一个在基准级别领域转换下进行RUL预测的概率框架。DSST不是直接从序列嵌入中进行RUL回归，而是学习了一个潜在的单调损伤过程，对其随机演化进行建模，并通过可微分的首次通过时间机制来推导RUL。其主要创新之处不在于变压器、自监督学习、单调性或随机退化的单独使用。

### 作者贡献声明
Faizanbasha A.：撰写——审稿与编辑、撰写——原始草稿、可视化、软件、方法论、调查、形式分析、数据策展、概念化。
Naif Almakayeel：撰写——审稿与编辑、可视化、验证、资源、方法论、资金获取、概念化。
Syed Tahir Hussainy：资源、调查、形式分析、概念化。
U. Rizwan：撰写——审稿与编辑、验证、监督、资源、方法论。
Fazilath Basha

### 竞争利益声明
作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。

### 致谢
作者感谢King Khalid大学研究及研究生院通过RGP2/513/46号大型研究项目的支持。同时，作者也感谢Aksamatrix（https://aksamatrix.com/）在此项工作中提供的技术支持。

### 作者列表
Faizanbasha A.
Naif Almakayeel
Syed Tahir Hussainy
U. Rizwan
Fazilath Basha
Asif
MD Aksam V.K.