深度信念驱动的耦合高阶隐藏状态转换退化模型

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Deep belief enabled coupled high-order hidden state transition degradation model

　　• 提出了一种基于深度信念（DBE）的模型，该模型统一了耦合动态和高阶动态。• 通过用神经网络替代转移动态来避免状态空间爆炸问题。• 直接从历史的第一阶段信念估计出未来状态的概率。• 使得复杂的多组分退化建模能够进行可扩展的状态过滤。

引言
在序列数据中建模复杂的时间依赖性是包括可靠性[1]、流行病学[2]和活动识别[3]在内的多个领域的基本挑战。这类系统中的时间动态既包括耦合效应——其中一个组件的状态或演化取决于其他组件——也包括长期依赖性，即组件的未来状态受其自身的历史轨迹和过去交互的影响。例如，在估计喷气发动机的剩余使用寿命（RUL）[4] [5]时，互连组件的退化路径不仅相互依赖，还可能依赖于每个组件自身的退化历史。同样，在监测电动汽车中的电池组[6]时，电池单元的退化轨迹既受到单元先前行为的影响，也受到其在电池组内的热耦合和电耦合的影响。准确捕捉这些复杂的依赖性需要能够表示组件间耦合和历史依赖时间动态的模型。

时间动态建模的一个重要应用是从复杂且噪声较大的观测数据中揭示系统的运行状态。实际上，状态过滤是指从噪声观测数据中估计动态系统的隐藏（潜在）状态，这一技术已应用于多种实时场景，包括早期故障诊断[7]、管道损伤和泄漏检测[8]、制药热熔挤出过程中的质量控制[9]以及医院中的住院患者轨迹建模[10]等。隐马尔可夫模型（HMMs）[11]及相关状态空间方法[12] [13] [14]已成为工业环境中状态识别和过滤的强大工具。这些模型中的潜在状态通常代表不同的运行条件、退化程度[15]或故障模式[16]，这些都是无法直接观测到的。例如，在机械加工过程中，HMMs将传感器测量值映射到离散的健康状态，从而实现实时状态监控和剩余使用寿命的准确预测[17]。同样，在生产线监控中，这些模型可以区分正常运行、设备退化的早期迹象以及关键故障条件[18]。此外，过滤后的状态估计可以用于基于机器健康状况安排维护或根据不断变化的条件调整生产率[19] [20] [21] [22] [23] [24]。

传统HMM的一个关键限制是它仅依赖于当前状态来预测下一个状态，无法捕捉对以往状态的长期依赖性或多个组件之间的交互作用。因此，重要的历史信息和并行过程之间的耦合可能会被忽略，导致状态估计不准确。扩展到高阶模型可以在预测下一个状态时依赖于一系列过去的状态[25]。高阶隐马尔可夫模型（HOHMMs）扩展了标准的一阶马尔可夫假设，允许下一个状态由两个或更多个过去的状态决定，而不仅仅是由当前状态决定。HOHMMs已应用于工业过程监控中，以捕捉更长时间依赖性[26]。这种对过去状态的依赖也使得半马尔可夫行为的表示成为可能[27]。通过将每个状态扩展为其过去的??次访问的历史，半马尔可夫模型可以被重新构建为??阶马尔可夫链。因此，将历史长度设置为最大逗留时间的更高阶模型自然地近似了半马尔可夫动态。然而，引入更高阶依赖性会增加计算复杂性，因为转移参数的数量随着链的阶数呈指数级增长[28]。

除了基于HMM的方法来捕捉对历史的依赖性外，还有人使用RNNs[29]或LSTMs[30]等模型进行直接拟合，这些模型忽略了潜在状态。然而，这些方法是黑盒方法，不具备状态过滤能力，即它们不能提供观测数据与系统潜在状态之间的映射。

先前的工作可以分为三个主要类别。第一类包括捕捉并行过程间耦合的模型，如CHMMs[31] [32] [33]。虽然这些模型在表示链间交互方面有效，但它们需要一个大小为????的联合状态空间，其中??个链共同作用。随着耦合过程数量的增加，推理变得极其困难，严重限制了它们在具有多个交互组件的系统中的应用。第二类包括捕捉高阶时间依赖性的模型，如HOHMMs、半马尔可夫模型以及基于HMM的RNN扩展[5] [26] [28]。这些模型通过条件化于??个过去的状态来扩展标准马尔可夫假设。然而，转移参数的数量随历史长度呈指数级增长，对于具有??个状态的链来说，其数量为????+1，这使得任何实际意义上的估计都变得不可行。第三类包括基于神经网络的序列模型，如LSTMs、RNNs、深度状态空间模型和时间融合变换器[29] [30] [34]。这些模型在捕捉非线性时间动态方面具有可扩展性和灵活性。然而，它们本质上都是黑盒方法，缺乏明确的状态过滤能力。

为了解决多个交互过程间的耦合问题，文献中使用了耦合隐马尔可夫模型（CHMMs）来表示相互影响的多个并行链[31]。例如，CHMMs已应用于多传感器融合在轴承故障诊断中，其中明确建模了来自不同传感器位置的振动信号之间的交互，以提高检测准确性和鲁棒性[32]。尽管现有的耦合模型能够捕捉这种动态，但它们需要的转移结构会随过程数量呈指数级增长，使得多条耦合链的推理变得不可行[35]。

将高阶效应和耦合效应结合起来将创建一个比任何单一扩展都更具灵活性和表达力的建模框架。不幸的是，在传统的隐马尔可夫框架中表示所有这些效应需要一个指数级庞大的转移结构，这取决于链的数量和历史长度。例如，假设我们有??个??阶链，每个链有??个不同的状态，那么转移概率参数的数量将是????3(??+1)×????3(??+1)。因此，在传统的HMM框架下估计每个转移概率对于大多数实际问题来说都是不可行的。

为了解决这一研究空白，我们提出了一种基于深度信念的模型，该模型在单一的可扩展和灵活框架内统一了耦合和高阶马尔可夫时间动态的优点。所提方法的核心思想是不像现有的HMM、HOHMM和CHMM框架那样显式估计转移矩阵参数。相反，我们使用精心设计的深度神经网络来替代显式的转移矩阵。众所周知，深度神经网络具有可扩展性、灵活性和表达能力。尽管我们提出的方法不提供显式的转移概率矩阵，但我们能够实现可扩展性和更准确的状态过滤能力，并且能够基于多个链的历史来预测下一个状态。据我们所知，这是首个提出具有此类能力的可扩展方法。更详细地说，我们在提出的深度信念启用（DBE）模型中定义了两种概率：第一阶段信念和第二阶段信念概率。第一阶段信念概率是指仅基于当前观测结果系统处于某种状态的可能性，而不考虑以前观测结果的影响。第二阶段信念概率是指在给定时间实例下基于观测历史处于给定状态的概率。我们发现第二阶段信念概率可以表示为历史第一阶段信念概率的函数。我们将这一属性作为我们深度信念启用模型的基本设计概念。利用基于神经网络的架构，我们使用这些第一阶段信念来计算每个链的第二阶段信念（即未来状态概率），然后使用这些第二阶段概率来确定观测序列的可能性。这项工作的关键贡献是开发了一个可扩展的框架，能够有效地捕捉和结合链间的耦合和高阶时间依赖性效应——所有这些都在一个统一的模型中完成。这种方法允许灵活地表示以前用现有方法无法建模或估计的复杂时间动态。

本文的结构如下：第2节详细介绍了DBE隐状态转移模型。第3节进行了数值研究。第4节提供了该模型在喷气发动机退化数据上的拟合能力的案例研究。第4.2节讨论了使用所提模型进行生产线监测的案例研究。第5节提供了结论性意见和对未来工作的展望。

符号和公式
设??是一个系统的观测序列，即??={??1,??2,…,????}，序列长度为??。为了方便表示，我们将数据定义为一个单元的单一观测序列。然而，该公式可以轻松扩展到处理从同一单元或多个具有相同转移动态的相同单元收集多个数据序列的情况。观测值之间间隔相等的时间间隔，??对应于序列的终止时间。

数值研究
在本节中，我们进行数值研究以证明所提出的DBE方法的有效性。我们将我们的模型与五种替代方法进行比较：并行HMM（PaHMM），它为每个链使用独立的HMM，它们之间没有任何耦合或交互；并行隐半马尔可夫模型（PaHSMM），它为每个链使用独立的HSMM，允许状态持续时间不同但没有链间耦合；并行高阶HMM；并行深度状态空间模型[34]。

CMAPSS喷气发动机数据集
我们比较了我们的模型在CMAPSS喷气发动机数据上的拟合行为。CMAPSS数据集（商用模块化航空推进系统模拟）[46]用于预测性维护，包括多个喷气发动机的故障情景。数据包含了喷气发动机各组件的随时间变化的传感器读数。对于这个案例研究，我们使用了两种特定故障模式FD001和FD003的数据。

故障FD001：这种故障模式模拟了高压压缩机的故障。

结论和未来工作
在这项工作中，我们提出了基于深度信念的（DBE）模型，以解决建模复杂耦合和高阶转移动态的挑战。我们的DBE模型的关键创新在于它能够通过直接估计基于历史观测的下一阶段/第二阶段概率来高效地建模这些复杂的转移动态，这些概率反映了在每个时间步骤处于给定状态的可能性。这种方法显著减少了计算负担。

CRediT作者贡献声明
Vipul Bansal：撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据管理、概念化。
Shiyu Zhou：撰写——审阅与编辑、监督、项目管理、方法论、概念化。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文中报告的工作。

致谢
本工作的部分资金支持来自国家科学基金会（National Science Foundation）的资助#2323082。
Vipul Bansal | Shiyu Zhou