基于伪标签的自适应半监督元学习在多工况故障诊断中的应用

《Neurocomputing》：Adaptive semi-supervised meta-learning with pseudo-label for multiple working condition fault diagnosis

　　吴科宇|徐远|罗毅|柯伟|何彦林|朱群雄|张阳|张明青中国北京，北京化工大学信息科学与技术学院，邮编100029

摘要：为解决工业系统中由于故障样本稀缺、标注数据有限以及不同运行条件下的分布显著变化所导致的诊断性能下降问题，我们提出了一种具有伪标签选择的自适应半监督元学习方法（ASML）。首先，将数据驱动的变量关系与专家先验知识相结合，构建实体-关系知识图谱，并利用关系图卷积网络在物理和语义约束下学习结构化特征表示。其次，引入基于中心点移除的嵌入正则化机制，以规范逐次迭代的度量几何结构，从而稳定原型估计，并提高在跨条件分布变化下的基于距离的分类性能。第三，通过指数移动平均法对实例级边际值进行平滑处理来评估伪标签的可靠性，并采用任务级动态阈值筛选出置信度较低的预测结果，减少跨条件变化时的噪声伪标签和误差累积。在两个工业数据集上的实验结果表明，所提出的ASML方法在小样本和多条件场景下的诊断准确率及泛化能力方面显著优于现有的半监督和元学习方法。

引言：在实际的工业应用中，系统往往需要在多种工作条件下运行[1]、[2]。在不同的运行模式和负载水平下，底层工艺机制和数据分布会表现出显著的差异和分布偏移。同时，故障事件通常较为罕见且获取成本高昂，导致用于模型训练的标注故障数据极为有限。在如此双重限制之下，仅在单一运行条件下或使用有限样本训练的诊断模型难以适应跨条件变化，并且无法泛化到未见过的工作条件，从而限制了其在实际工业场景中的性能[3]、[4]、[5]。

对于多条件故障诊断，现有研究主要聚焦于迁移学习和领域泛化方法。孙等人[6]提出了一种基于多分类器网络并结合联合散度损失的通用迁移学习框架，以便在噪声样本条件下实现可靠的轴承故障诊断。参考文献[7]则提出了一种基于迁移学习的故障诊断框架，该框架利用领域自适应生成对抗网络（DAGAN），将从多数类数据中学到的知识转移到少数类上，以指导时频图像的数据增强。刘等人[8]通过引入自适应特征重构差异，实现了旋转机械故障诊断中的开放集领域泛化。这些方法通常依赖大量标注数据作为模型训练和适应的基础；当标注样本不足或数据分布发生变化时，它们的性能容易出现显著下降。

近年来，研究人员[9]越来越多地探索基于元学习的策略，以便在标注数据有限的条件下快速适应未知的故障场景。例如，徐等人[10]提出了一种结合可学习边际三元组损失（MLLMTL）的元学习方法，该方法通过引入可学习的物理边际和跨领域随机元任务构建，以提高少样本故障诊断中的特征可分性和泛化能力。参考文献[11]提出了一种基于度量的元学习关系网络，用于跨领域的少样本轴承故障诊断，实现了强大的特征匹配能力以及在不同运行条件下的更好适应性。为进一步缓解因标注样本稀缺而导致的性能瓶颈，半监督元学习方法[12]在元学习或快速适应过程中引入辅助的未标注数据，从而在一定程度上提升诊断性能。张等人[13]提出了一种结合数据增强的领域自适应原型网络，用于跨领域的少样本轴承故障诊断，提升了特征对齐能力和泛化能力。王等人[14]开发了一种基于元特征增强的少样本轴承故障识别方法，将注意力驱动的特征精炼集成到CNN-MAML框架中，以提高在不同运行条件下的泛化能力。参考文献[15]提出了一种具有双重校正机制的半监督原型网络，用于跨机器的少样本故障诊断，通过原型分布正则化提高了类别的可区分性。

最近的研究进一步推动了少样本故障诊断向具备分布感知能力和任务自适应能力的方向发展，通过任务自适应无偏正则化或超球面原型适配来实现。具体而言，王等人[16]通过引入任务自适应参数调制策略和无偏正则化损失，改善了跨领域的少样本诊断效果，从而减轻任务冲突和任务偏差。葛等人[17]则通过超球面特征建模、对比式原型适配以及基于KL散度的领域对齐，提升了少样本跨领域轴承故障诊断的性能。尽管在少样本学习和未标注数据利用方面已取得一定进展，但现有方法在多条件工业故障诊断方面仍面临重要挑战。在少样本情况下，每个类别中有限的标注样本往往不足以完全描述故障模式。大多数现有的少样本或半监督元学习框架主要依赖于样本级的特征表示，没有明确编码结构依赖关系。因此，原型估计和伪标签选择仍然容易受到跨条件分布变化的影响。

为解决这一局限性，有必要超越孤立的样本级表示，纳入能够反映工业系统内在结构的结构化知识。知识图谱[18]为丰富少样本故障诊断提供了合适的表示框架。在实际的工业流程中，故障模式是由传感器响应以及变量、设备和工艺单元之间的结构依赖关系共同决定的。通过明确建模这些实体和关系，知识图谱使得有限的标注样本能够在更广泛的结构性背景下被解读，从而为跨条件变化下的原型学习及伪标签选择提供更丰富的故障语义和更稳定的结构信息。现有研究表明，基于图的知识表示能够提升工业故障诊断的效果[19]、[20]，而半监督的工业适配型知识图谱构建则能进一步丰富特定领域的实体-关系表示[21]。然而，目前大多数方法主要将知识图谱用于全局表示的提升，未能充分利用结构化关系知识来实现半监督和跨条件环境下的少样本任务适配。近期在预测性维护领域的知识蒸馏研究表明，自适应且高效的知识传递对于应对领域变化下的工业故障诊断非常重要[22]。受此趋势启发，本文将基于知识图谱的结构化表示与半监督元学习相结合，以提高原型估计、伪标签选择以及诊断的泛化能力。

本文提出了一种在多种运行条件及标注数据有限的情况下，具备伪标签选择的自适应半监督元学习故障诊断方法（ASML）。首先，通过整合数据驱动的变量关联模式与关于变量、设备和工艺单元的专家知识，构建实体-关系知识图谱。随后，利用关系图卷积网络在物理和语义约束下学习结构化特征表示。其次，将基于中心点移除的嵌入正则化机制引入元学习框架，以稳定原型估计，并提高在跨条件分布变化下的基于距离的分类性能。最后，我们设计了一种基于置信度的自适应伪标签选择策略，该策略通过指数移动平均法对实例级边际值进行平滑处理来评估伪标签的可靠性，并结合任务级动态阈值筛选出置信度较低的预测结果。然后将经过筛选的高置信度伪标签样本纳入经过过滤的无人监督损失函数中，从而提升未标注数据利用的稳健性，减少多条件分布变化下的误差累积和原型漂移。在包括田纳西东曼公司工艺流程和污水处理厂在内的两个工业数据集上的实验结果表明，在小样本和多条件场景下，所提出的ASML方法在诊断准确率和泛化能力方面显著优于现有的半监督和元学习方法。

本文的主要贡献如下：
(1) 提出了一种在多种工作条件及标注样本有限的情况下的半监督元学习ASML方法。通过借助基于图的嵌入来整合结构化的工业知识，该方法显著提升了跨条件适应能力。
(2) 开发了一种基于中心点移除的嵌入正则化机制（CRER），用于规范逐次迭代的度量几何结构，从而稳定原型估计，并提高在跨条件分布变化下的基于距离的分类性能。
(3) 提出了一种基于置信度的伪标签选择策略，该策略通过指数移动平均法对实例级边际值进行平滑处理来评估伪标签的可靠性，并将这种时间一致性与任务级动态阈值相结合，以便在跨条件分布变化的情况下有效利用未标注数据。

本文的其余结构如下：第2节简要介绍了原型网络和知识图谱的基本概念。第3节详细阐述了所提出的ASML方法。第4节展示了在田纳西东曼公司工艺流程和污水处理厂上的实验结果及全面分析。最后，第5节对全文进行总结。

原型网络：原型网络[23]、[24]、[25]采用基于度量的元学习框架，通过测量样本与类别特定原型之间的距离来实现分类。具体而言，每个类别由一个原型向量表示，该向量是其对应支持样本的特征嵌入值的算术平均值，可形式化为：其中表示属于类别的支持样本集合，为嵌入函数。对于查询样本……

方法论：本节提出了一种具有伪标签选择的自适应半监督元学习故障诊断方法（ASML），旨在解决多工作条件下的工业系统中存在的跨条件分布变化和伪标签噪声问题。如图3所示，ASML整合了知识图谱构建、基于中心点移除的嵌入正则化、自适应边际伪标签生成模块以及元优化动力学。

实验：本节在两个工业应用场景中进行了全面的实验验证，以评估所提出的ASML方法的故障诊断性能，这些场景包括田纳西东曼公司工艺流程和污水处理厂。作为对比方法，采用了ResNet[28]、MAML[29]和ProtoNet[30]。此外，还纳入了几种近期出现的与之密切相关的方法作为对比，具体如下：
•对比式知识增强元学习（CAML）

结论：本文提出了一种ASML方法，用以应对数据稀缺且条件多变的多条件场景下的工业故障诊断难题。在所提出的ASML方法中，基于中心点移除的嵌入正则化、基于置信度的伪标签选择以及基于知识引导的图表示学习被整合到一个统一的元学习框架中，从而有效降低了由于故障样本有限以及运行条件间分布显著变化所带来的性能下降问题。

作者贡献声明：
吴科宇：撰写——初稿、可视化、方法论。徐远：监督、方法论、研究、资金获取。罗毅：项目管理、研究、正式分析。柯伟：资源协调、资金获取、正式分析。何彦林：撰写——审阅与编辑、监督。朱群雄：监督、资金获取。张阳：撰写——审阅与编辑、监督。张明青：撰写——审阅与编辑、监督、概念构思。

利益冲突声明：作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

致谢：本研究得到了国家自然科学基金（编号62533008）以及中国化学工程学会重点科技创新项目（编号2024-TD-ZD016-04）的支持。吴科宇目前正在中国北京北京化工大学信息科学与技术学院攻读控制科学与工程专业的博士学位，她的研究兴趣包括故障诊断、机器学习以及计算智能。