特征-标签相似性感知的超图注意力网络：一种适用于极低标签率场景下的机械半监督故障诊断方法

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：Feature–label similarity-aware hypergraph attention network: A semi-supervised fault diagnosis method for machinery under extremely low label rate scenarios

　　摘要

标签传播算法（LPAs）和图神经网络（GNNs）是半监督学习模型，在有限标记数据条件下在机械故障诊断中取得了令人满意的结果。然而，LPAs仅考虑标签相似性，而GNNs主要关注特征相似性，两者都编码了成对连接，这本质上无法捕捉高阶相关性，从而限制了充分利用稀缺标记数据和大量未标记数据的能力。为了解决上述限制，本文提出了一种新颖的半监督学习模型，称为特征-标签相似性感知的超图注意力网络（FLSHGAT），用于在极低标签率场景下联合建模高阶特征和标签相似性以进行机械故障诊断。首先，构建一个包含所有样本的超图来编码它们之间的高阶相关性，而不仅仅是成对连接。然后，构建一个超图注意力网络，其中使用交叉注意力机制自适应地学习节点-超边交互的重要性权重，从而促进来自标记和未标记样本的超边上的类别特定特征的传播和聚合。随后，将超图LPA集成到所提出的框架中，将标记样本的标签信息传播给它们的邻居，以充分利用稀缺的标签信息。最后，通过对分类器的预测和标记样本的传播标签施加监督约束，并对未标记样本之间的预测和标签施加一致性约束，从而共同优化半监督故障诊断模型。在三个机械故障诊断数据集上的实验结果表明，与现有技术相比，所提出的方法具有更高的诊断准确性，特别是当标签率低至1%时。相关代码发布在https://github.com/yushi1006/FLSHGAT-for-semi-supervised-fault-diagnosis。

引言

随着现代机械向大规模、复杂和智能系统的发展，故障诊断对于通过早期和准确的故障检测来保障操作安全变得至关重要[1]、[2]。得益于丰富的条件监测数据，深度学习已成为机械故障诊断中的强大范式，能够从传感器测量中自动学习故障模式[3]、[4]、[5]。然而，大多数基于深度学习的方法都是监督模型，严重依赖大量标记数据才能获得满意的性能[6]、[7]。在实际工业场景中，收集足够的标记故障数据通常成本高昂且耗时，这限制了传统基于深度学习的诊断模型的应用[8]。因此，迫切需要开发先进的智能故障诊断方法来解决标记数据的稀缺问题。为了缓解这一问题，半监督学习已成功应用于机械故障诊断，通过有效利用有限的标记数据和丰富的未标记数据。吴等人[9]引入了一种半监督混合分类自动编码器（HCAE），使用修改后的均方误差（MSE）损失进行训练，从而联合利用标记和未标记数据，在电机轴承数据集和水轮机数据集上获得了高故障诊断准确性。冯等人[10]提出了一种结合挤压和激发注意力的半监督元学习网络（SSMN），用于在标签稀缺条件下进行故障诊断，该网络利用未标记数据来细化原始类别原型并增强特征表示。王等人[11]开发了一种基于特征空间度量的元学习模型，用于在多种数据稀缺条件下进行故障诊断。赵等人[12]提出了一种基于改进的Wasserstein生成对抗网络的半监督故障诊断方法，以应对轴承故障诊断中噪声干扰和标签稀缺的挑战。陈等人[13]提出了一种伪标签辅助的半监督对抗增强学习（PLA-SSAEL）方法，用于解决齿轮箱故障诊断中注释数据的稀缺问题，该方法生成足够的标记数据并通过度量学习使生成数据和真实数据的分布对齐。这些半监督方法通过利用未标记数据来增强判别性特征学习，有效解决了机械故障诊断中的标签稀缺问题。然而，它们将每个样本独立处理，未能充分利用样本之间的隐含相关性，特别是在标记样本和未标记样本之间[14]、[15]。

图神经网络（GNNs）最近作为一种有效的机械故障诊断方法出现，因为它们通过构建连接节点及其邻居的边来内在地建模数据中的结构相关性[16]、[17]、[18]。值得注意的是，一些研究探索了GNNs在半监督机械故障诊断中的应用。通常，基于GNN的半监督故障诊断方法基于特征相似性从标记和未标记样本构建图，并通过消息传递机制传播和聚合类别特定特征，从而增强特征表示并提高诊断准确性。例如，谢等人[19]引入了一种半监督多尺度注意力感知图卷积网络，仅使用每个类别五个标记样本就在三个轴承数据集上实现了超过95%的诊断准确性。潘等人[20]开发了一种半监督矩阵化图嵌入机，该机器结合了流形正则化和加权核范数，有效地利用了少量标记数据进行轴承故障诊断。江等人[21]构建了一个双图驱动的一致性表示学习模型，通过整合两种不同的拓扑结构来克服传统GNN的局限性，用于半监督故障诊断。毛等人[22]提出了一种最大差异自适应图神经网络，用于在标记数据有限且噪声较大的情况下进行半监督故障诊断，该方法保留了类别特定特征并增强了类间区分度。尽管上述基于GNN的半监督故障诊断方法通过建模样本之间的相关性有效地利用了未标记数据，但仍存在以下需要解决的问题：（1）大多数现有方法建立在仅模拟样本间成对相关性的简单图上，限制了它们捕捉高阶相关性和聚合类别特定信息的能力。超图神经网络（HNNs），如超图卷积网络[23]和超图注意力网络（HGAT）[24]，提供了一种建模高阶相关性的重要方式，并已成功应用于各种任务，包括文档分类[25]、材料属性预测[26]和社会推荐[27]。最近，它们也被引入到机械故障诊断中，但只有少数研究探索了它们在半监督故障诊断中的应用，用于建模样本间的高阶相关性[28]、[29]、[30]。此外，很少构建明确的超边特征，限制了样本间结构信息的充分利用。（2）现有基于GNN的半监督故障诊断方法中，稀缺的标签信息仍然未得到充分利用。标签传播算法（LPAs）利用标签相似性将标签从标记样本传播到未标记样本，并已被纳入几个半监督故障诊断框架[31]、[32]、[33]中。然而，这些方法在简单图上进行标签传播，使得难以充分利用样本间的高阶相关性。此外，传播的标签通常是独立生成的，并直接用于监督，没有与分类器预测的有效交互或一致性约束，这阻碍了稀缺标签信息的充分利用。

在本文中，提出了一种名为特征-标签相似性感知的超图注意力网络（FLSHGAT）的半监督学习模型，以应对极低标签率场景下的机械故障诊断挑战。FLSHGAT的核心思想是构建一个超图来编码样本间的高阶相关性，然后利用消息传递和标签传播机制沿超边聚合特征并传播标签，使用标记样本作为原型来增强类别特定特征的聚合，并提高稀缺标签信息的利用效率。本文的主要新颖性和贡献可以总结如下：
- 考虑样本间的高阶特征相似性，构建了HGAT以实现沿超边的类别特定特征的传播和聚合。采用交叉注意力机制来学习节点到超边和超边到节点交互的自适应重要性权重。构建明确的超边特征作为原型来指导这一聚合过程。
- 基于样本间的高阶标签相似性，将超图标签传播算法（HLPA）集成到HGAT框架中，以充分利用稀缺的标签信息。交叉注意力机制学到的注意力系数被重新用于自适应地加权标签传播过程，使特征学习和标签传播相互加强。

本文的其余部分组织如下。第2节详细介绍了所提出的FLSHGAT及其相应的半监督故障诊断框架。第3节使用三个机械故障诊断数据集验证了FLSHGAT在极低标签率场景下的有效性和优越性。第4节总结了本文。

问题表述

在本文中，我们将极低标签率场景下的故障诊断问题表述为超图上的半监督节点分类问题。考虑一个由部分标记的训练数据集????????????={{??????????????}??????????????=1,{??????????????????}??????????????????=1}构建的超图??=(??,?,??,??,??)，其中??={????}??????????????=1是节点集，? ={????}??????????????=1是超边集，??∈?????????????×??是节点的特征矩阵，??∈?????????????×??是超边的特征矩阵。

数据描述

为了验证FLSHGAT在极低标签率场景下的机械故障诊断任务中的有效性和优越性，分析了三个数据集，包括渥太华大学轴承（UoOBearing）数据集、西安交通大学齿轮箱（XJTUGearbox）数据集和高速列车轮对轴承（HSTWB）数据集。这三个数据集的详细信息如下：
1) UoOBearing数据集：UoOBearing数据集是广泛使用的轴承故障基准数据集。

结论

本文提出了一种新颖的半监督故障诊断方法FLSHGAT，用于应对智能机械故障诊断中极稀缺标记数据的挑战。该方法开发了一个超图特征表示学习框架，通过建模样本间的高阶特征相似性来学习判别性特征表示。此外，还整合了HLPA来利用样本间的高阶标签相似性并充分利用...

CRediT作者贡献声明

雷王：撰写 - 原稿、可视化、验证、软件、方法论、资金获取、概念化。
蔡 Gang：撰写 - 审阅与编辑、监督、资金获取、概念化。
刘志文：撰写 - 审阅与编辑、监督、调查、数据管理、概念化。
严建海：撰写 - 审阅与编辑、验证、调查、概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金（52505134、U2568231和72501183）、四川省自然科学基金（2025ZNSFSC1331）、中国博士后科学基金（2024M752667）、中央高校基本研究经费（2682025CX131）和上海浦江计划（25PJC066）的支持。

雷王 | 蔡 Gang | 刘志文 | 严建海