通过超图拓扑感知的知识保留和重放技术，实现机器的持续健康状态预测

《ADVANCED ENGINEERING INFORMATICS》：Continual health prognosis of machines via hypergraph topology-aware knowledge preserving and replay

本文提出一种基于超图拓扑感知的知识保留与回放方法（HGTKPR），用于解决旋转机械持续学习中的 catastrophic forgetting 问题。通过参数解耦的超图拓扑网络捕捉时间节点间的高阶关联关系，利用注意力机制编码拓扑信息，设计拓扑感知的权重保留模块，并引入结合重要性、新颖性和拓扑熵的关联采样策略进行记忆回放。实验表明该方法能有效缓解知识遗忘，在时变工况下滚动轴承剩余寿命预测中展现出渐进提升的预测精度和长期记忆能力。

　　

张玉茹|苏春|夏敏

东南大学机械工程学院，南京，211189，中国

摘要

如今，持续学习（CL）在机器健康预测领域引起了广泛关注，这得益于其能够处理逐渐收集的运行数据，从而在不需要耗时重新训练的情况下提升预测性能。然而，大多数现有模型未能考虑超图拓扑信息，而这些信息有助于记忆复杂的更高阶关系知识。我们提出了一种持续健康预测方法，利用逐步获取的数据来预测机器的剩余使用寿命（RUL）。首先，设计了一个参数解耦的超图拓扑网络来捕捉更高阶的依赖关系，并将拓扑信息嵌入到CL记忆中。在此基础上，利用超图拓扑注意力将拓扑信息保留在重要权重中。此外，引入了一个知识缓冲区来重放之前的学习内容，其中采用了结合重要性、新颖性和拓扑熵的关联采样策略。在变化的工作条件下，对滚动轴承的失效数据集进行了多阶段CL实验。结果表明，所提出的方法能够随着增量数据逐步提高RUL预测的准确性，同时显著减轻了对先前退化趋势的遗忘，实现了预测性能和记忆能力之间的相对平衡。

引言

旋转机器的预测与健康管理（PHM）支持工业智能制造[1]、[2]。随着工业物联网（IIoT）、多传感器系统和人工智能（AI）等先进技术的发展，智能维护技术正在迅速发展，旨在更准确和适应性地估计设备健康状态[3]、[4]。因此，可以及时有效地安排维护和备件等预防措施。设备的剩余使用寿命（RUL）表示从出现退化到发生故障的可用时间[5]、[6]。通常，RUL被视为健康状态的明确定量指标，准确的RUL预测可以为设备健康管理提供指导信息。

随着工业大数据的出现，数据驱动方法在RUL预测中变得越来越流行[7]、[8]。从数学统计模型到机器学习方法，机器健康预测随着数据驱动方法的进步而得到增强。特别是，快速发展的深度学习（DL）方法开始被广泛用于故障诊断和预测[9]、[10]。由于DL方法具有强大的非线性特征提取能力，它们可以从运行数据直接映射到RUL或故障类型，而无需耗时的特征筛选和物理知识库。到目前为止，卷积神经网络（CNN）[11]、循环神经网络（RNN）[12]、图神经网络（GNN）[13]、Transformer[14]和注意力机制[15]在RUL预测中取得了显著的性能。

值得注意的是，上述DL方法的一个共同特点是通过设计具有不同结构的深度神经网络来提高单一任务的预测性能，并假设表征设备健康状态的运行数据是一次性获取的。然而，在工业场景中，能够代表长期失效过程和多种故障模式的数据集往往难以一次性收集[16]、[17]。换句话说，数据是逐个/逐个条件收集的，这使得训练有素的深度模型难以表示整个数据分布。此外，以往的研究通常仅考虑静态工作条件，而实际机器的工作条件会随时间逐渐变化[18]、[19]。变化的工作条件使退化模式更加复杂，进一步增加了从单次收集数据中表示整个分布的难度。受此限制，机器的运行数据通常分多个阶段逐步收集[20]、[21]。在这种情况下，一种直观有效的方法是将新数据添加到之前的数据集中进行重新训练，但这将显著增加时间消耗和资源使用。另一种直接的方法是用新获取的数据微调训练好的模型。不幸的是，模型微调会因数据分布的变化而不可避免地导致灾难性遗忘[22]、[23]。

持续学习（CL）是一种新兴的学习范式，旨在赋予深度模型类似人类的记忆能力，在学习新知识的同时保留旧知识[24]、[25]。借助CL，深度神经网络可以分阶段学习并逐渐适应动态分布，从而在不需要重新训练的情况下逐步提高预测准确性。受此启发，一些研究将CL应用于机器健康预测，主要可以分为权重保持（WP）、记忆重放（MR）和参数隔离（PI）方法。WP方法因无需访问过去样本而受到广泛关注。Que等人[21]提出了一种梯度正交性方法来保留旧知识权重，通过使新任务中的模型梯度更新与旧任务中的梯度正交来保护旧知识；Zhou等人[26]利用新旧任务梯度合成策略并结合权重重要性损失来保留旧任务记忆；Wang等人[27]通过整合旧知识的弹性权重，提出了一种CL方法，优先更新对旧知识不太重要的权重；结合重要权重信息和梯度信息，提出了具有知识权重约束的CL方法[20]；基于核空间梯度投影，Ren等人[19]开发了一种知识权重保持的CL方法，可以引导当前梯度沿着旧子空间的正交方向下降。作为最近的MR方法，Ren等人[16]提出补偿动态学习率和关联记忆重放，旨在同时实现旧知识的长期记忆和新知识的快速学习。在PI研究中，Cao等人[23]和Shi等人[28]分别采用了带有增量节点的广泛学习系统进行预测和诊断；为了缓解新任务的分布差异，Zhou等人[29]设计了一个多分支水平增强网络，动态扩展特征提取器和回归器以实现连续RUL预测。

尽管现有的持续学习（CL）RUL预测方法已经取得了有希望的结果，但仍存在几个限制：（1）大多数方法严重依赖欧几里得数据作为输入，尚未关注不规则图的结构性信息的学习表示。监控信号中存在的时间节点之间的更高阶依赖性有助于学习退化并提高预测能力[30]、[31]、[32]。（2）缺乏对多阶段监控数据的拓扑信息记忆，这对于长期保留学习知识非常重要。尽管在其他DL主流领域有一些图CL的研究[33]、[34]、[35]，但在预测领域的研究很少。（3）长期运行数据的超图拓扑具有复杂性和多样性，目前缺乏明确的超图拓扑信息保持机制。

为了填补研究空白，本文提出了一种基于超图拓扑的知识保持和重放（HGTKPR）方法，用于旋转机器的持续健康预测。首先，构建了一个参数解耦的超图拓扑网络来捕捉节点之间的更高阶相关性并隔离拓扑。之后，使用注意力机制记录超图拓扑，并通过带有注意力损失的反向传播来保留重要参数。此外，还结合了与拓扑信息相关的关联记忆重放技术来增强模型的记忆能力。本文的主要贡献如下：

• (1)
  设计了一个参数解耦的超图拓扑网络（PDHGTN）。其中，利用超图学习来捕捉时间节点之间的更高阶相关性信息；参数解耦机制将超图与可学习的权重分离，以编码具有拓扑意识的嵌入，从而保留拓扑信息。
• (2)
  提出了一种基于超图拓扑的权重保持模块（HGT WP）。通过注意力系数对中心节点周围的拓扑信息进行建模，从而定义超图拓扑损失。在CL阶段，拓扑损失限制了拓扑重要突触的权重更新，从而保留了来自先前知识的丰富拓扑信息。
• (3)
  利用了一种基于超图拓扑的记忆重放技术（HGT MR）。该技术结合重要性、新颖性和拓扑熵进行选择性采样，以提高重放样本的质量。其中，重要性和新颖性基于样本梯度信息最优选择样本，而拓扑熵用于表征拓扑结构的复杂性。

本文的其余部分结构如下：第2节简要介绍了相关理论和工作；第3节提出了HGTKPR；第4节在滚动轴承的失效数据集上进行了系统实验；第5节总结了本文。

章节摘录

超图神经网络

通过将传统图中节点之间的成对连接扩展为多节点连接，超图可以用来表示节点之间更复杂的更高阶关系。与成对图不同，在超图中，多个节点可以通过一个或多个超边连接，展现出更多样化的拓扑结构。超图神经网络（HGNN）通常由多个堆叠的超图卷积层组成。超图卷积

问题阐述

工业机器通常配备有多个传感器系统来收集运行状态数据。然而，这些数据通常不是同时收集的，而是分多个阶段收集的，即数据流。对于RUL预测，收集一个完整的生命周期数据需要很长时间，这会占用大量存储资源并涵盖多种退化模式。因此，数据集通常分多个批次收集，以表示整个退化过程

实验研究

在变化的工作条件下，对滚动轴承的失效数据集进行了持续RUL预测实验，以探讨以下问题：（1）所提出的HGTKPR能否学习知识积累并减轻灾难性遗忘？（2）不同的超参数和组件如何影响HGTKPR的性能？（3）所提出的CL框架是否可以与其他模型集成并且计算友好？（4）与之前的CL方法相比，如何

结论

在本文中，我们提出了一种新的旋转机器健康预测的持续学习方法，即基于超图拓扑的知识保持和重放。该方法结合了权重保持和记忆重放两个模块。首先，构建了一个参数解耦的超图拓扑网络，以帮助保留原始拓扑信息。在此基础上，考虑拓扑信息设计了权重保持和记忆重放。

CRediT作者贡献声明

张玉茹：撰写——原始草稿、可视化、验证、方法论、调查、概念化。苏春：撰写——审阅与编辑、监督、方法论、调查、资金获取。夏敏：撰写——审阅与编辑、软件、概念化、可视化。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（NSFC）[资助编号 72471055]、江苏省研究生研究与实践创新计划 [资助编号 SJCX24_0070]以及东南大学博士生创新能力提升计划 [资助编号 CXJH_SEU 24055]的支持。