基于变换器增强的特征提取与自适应阈值处理，用于开放集场景下的领域泛化故障诊断

《Applied Soft Computing》：Transformer-enhanced feature extraction with adaptive thresholding for domain generalization fault diagnosis under open-set scenarios

　　刘俊豪|李强|高晓勇中国石油大学（北京）人工智能学院，北京，102249，中国

摘要
确保工业机械的运行安全与可靠性在很大程度上依赖于有效的故障诊断。然而，在实际应用中，由于运行条件变化以及未知故障模式的存在，会导致领域偏移和标签偏移，这些问题共同构成了开放集域泛化难题。尽管已有一定进展，但现有的开放集域泛化方法往往受到长距离特征提取能力有限、以原型为中心的学习方式未能明确界定已知类别区域，以及粗略的类别阈值忽视了类别内差异性的限制。针对这些缺陷，我们提出了TFEAT框架，该框架将Transformer增强的特征提取与自适应阈值机制相结合。TFEAT利用Transformer增强的嵌入网络来提取跨领域的全局故障特征。此外，它还引入了一种幅度-方向解耦的联合优化策略，通过超球面损失函数约束特征分布，同时利用角度三元组损失函数提升类别间分离度与类别内紧凑性。另外，TFEAT还采用了基于样本的自适应阈值机制，为每个样本分配个性化的阈值，从而有效考虑类别内样本的多样性。在三个公开的轴承数据集上的实验表明，TFEAT的性能优于现有方法，整体H得分达到了94.74%。

引言
可靠的故障诊断对于旋转机械的安全至关重要，因为意外故障可能导致严重事故和巨大的经济损失[1]、[2]。这一需求推动了先进诊断方法的发展。近年来，得益于丰富的工业监测数据以及人工智能技术的快速进步，数据驱动的故障诊断越来越受到关注。尤其是基于深度学习的故障诊断方法，由于能够从原始传感器数据中自动提取具有区分能力的特征，并准确识别机器的健康状态，已经取得了显著成果[3]、[4]。然而，大多数此类方法都假设源领域和目标领域具有相同的分布特征。而在实际的工业环境中，运行条件（如速度和负载）会随时间变化，从而导致领域偏移。为了解决这一问题，基于领域适应的故障诊断方法得到了广泛研究。如图1(a)所示，这类方法旨在通过捕捉与领域无关的特征来减少分布差异。例如，Lou等人[5]采用对抗学习方法来对模拟信号和真实信号进行对齐。类似地，Wu等人[6]提出了渐进式条件领域对抗网络，利用未标记的目标样本实现逐步对齐。尽管这些方法效果不错，但它们在训练过程中需要同时使用源数据和目标数据，而这在实践中往往不可行，因为目标数据通常在系统部署之前是无法获得的。这就促使人们研究了基于域泛化的故障诊断方法，其目标是在无需目标数据的情况下减轻领域偏移的影响。如图1(b)所示，这类方法致力于从源数据中构建出能够有效泛化到目标领域的模型。现有的域泛化方法可分为三类：数据增强、与领域无关的特征表示学习以及专门的学习策略[8]。数据增强通过增加源领域数据的多样性来提升模型的泛化能力。例如，Han等人[9]通过注入高斯噪声和应用随机幅度变换来丰富多源信号。第二类策略则着眼于提取对领域偏移不敏感的特征表示。比如，Yang等人[10]同时优化了用于类别间分离的softmax损失函数和用于类别内紧凑性的中心损失函数。此外，还有一些专门的学习策略被开发出来以进一步提升模型的泛化能力。Tang等人[11]提出了一种梯度抑制方法，通过抑制主导特征来促进更具泛化能力的特征表示的发现，而Ren等人[12]则利用元学习与梯度对齐技术来获取与领域无关的特征。尽管取得了这些进展，但由于假设所有故障模式都是预先已知的这种封闭集假设，开放集域泛化方法的实际应用仍然受到限制。在真实的工业场景中，这一假设往往难以满足，因为新的故障模式会不断出现。同时，创建一个涵盖所有故障模式的完整数据集往往既耗时又昂贵。因此，源领域和目标领域的标签空间之间会出现标签偏移，这为故障诊断带来了另一重挑战。如果没有识别未知故障的机制，域泛化方法往往会将未知故障误分类为已知类别，从而导致错误的维护决策和更高的安全风险[13]。领域偏移和标签偏移的共同作用形成了一个更为现实且复杂的问题：开放集域泛化故障诊断。如图1(c)所示，一个有效的开放集域泛化故障诊断模型需要能够在未知领域中准确识别已知故障，同时发现新的故障模式[14]、[15]。近期的研究通过将封闭集域泛化方法与开放集识别方法相结合，取得了一些初步进展。Zhao和Shen[16]提出了一种自适应的开放集域泛化故障诊断框架，该框架通过局部类别聚类学习来获取与领域无关的特征表示，并通过为每个类别定制的决策边界来实现开放集识别。Jian等人[17]则提出了一种开放集数据生成策略，结合双层加权对抗目标函数来区分已知样本和未知样本。更近期的是，Liu等人[18]开发了一种自适应的重构特征差异网络，该网络可将多源特征对齐到共同的正态分布上，通过比较重构结果来检测未知样本，同时通过基于梯度的适配方法学习类别决策阈值。Song等人[19]提出了一种知识重新分组和偏好校准框架，该框架有助于提升特征的泛化能力，并调整开放集分类器对未知故障的识别偏好。Dong等人[20]进一步提出了双层不变特征学习与开放空间特征合成框架，以在领域偏移情况下更好地区分已知故障和未知故障。然而，现有的开放集域泛化故障诊断方法仍存在若干关键缺陷。首先，大多数框架主要依赖基于CNN的骨干网络来进行特征表示学习[16]、[17]、[18]，而这些网络的局部感受野可能不足以捕捉振动信号中的全局信息[21]。更重要的是，大多数开放集域泛化故障诊断方法依赖于基于原型的目标函数[16]、[18]，这类函数会将已知样本拉向类别原型，并构建出类别级的超球面接受区域。虽然这样的球形区域可以降低开放空间风险[22]，但它们缺乏严格的几何约束，无法防止已知类别区域扩大，这可能导致在领域偏移情况下已知分布和未知分布发生重叠[23]。此外，大多数现有方法采用类别级阈值，往往忽视了现实世界数据中的类别内差异性和多样性。而且，这种方法高度依赖于缩放超参数的调整，而这需要一个包含已知样本和未知样本的专用验证集[24]。然而，在实际应用中，这样的验证集往往难以获得。因此，我们提出了结合Transformer增强特征提取与自适应阈值的TFEAT框架，作为开放集域泛化故障诊断的统一解决方案。首先，为了解决CNN的局限性，TFEAT采用了基于视觉Transformer架构的Transformer增强嵌入网络[25]，通过自注意力机制捕捉振动序列中的长距离依赖关系和全局相关性。其次，为了在特征空间中明确界定已知类别区域并减少与未知区域的重叠，我们引入了一种幅度-方向解耦的联合优化策略。具体而言，超球面损失函数将已知类别的特征幅度约束在一定的超球面范围内，而角度三元组损失函数则有助于增大类别间的间隔并加强类别内的聚类效果。最后，对于开放集决策问题，我们摒弃了传统的类别级阈值方法，采用了基于样本的自适应阈值机制。具体来说，首先通过回归模型预测每个样本的异常值分数，再通过基于残差的调整来进一步确定最终阈值。这种机制能够提供更为稳健的拒绝边界，既提高对难以分类的已知样本的容忍度，又能更有效地排除未知故障。我们的主要贡献包括：(1)我们提出了一种基于Transformer增强嵌入网络的方法，该方法能够捕捉振动序列中的全局信息，从而在领域偏移情况下提升与领域无关的特征表示学习能力。(2)我们开发了一种幅度-方向解耦的联合优化策略，该策略能够为已知类别构建出有界的超球面区域，并通过角度三元组损失函数增强类别间的区分度，从而提升开放集场景下的分类性能。(3)我们采用了一种新颖的基于样本的自适应阈值机制，能够为每个样本确定个性化的拒绝阈值，从而充分考虑类别内的差异性。(4)我们在三个公开的轴承数据集上对TFEAT进行了测试，实验结果表明，它在16项开放集域泛化故障诊断任务中的表现均优于现有的先进方法。本文的结构如下：第2节阐述问题的提出背景与研究动机；第3节详细介绍所提出的TFEAT框架；第4节展示实验结果并进行分析讨论；第5节对全文进行总结。

问题提出与研究动机
设共有源领域。每个源领域代表一种特定的运行条件，其中包含个带有标签的样本，其中表示第个样本，为其类别标签。源领域的标签空间定义为。同样，设共有目标领域。开放集域泛化故障诊断面临两个核心挑战。首先，存在领域偏移现象，即源领域和目标领域的分布不同，也就是说，对于任意，都有，而对于任意和，也有。其次，还会出现标签偏移，即目标领域的标签空间与源领域存在差异。

TFEAT框架的架构
如图2所示，TFEAT框架包含训练阶段和测试阶段。在训练过程中，TFEAT首先进行特征表示学习，以提取出既与领域无关又具有类别区分能力的特征。为更好地捕捉振动序列中的长距离依赖关系，我们采用了Transformer增强的嵌入网络。给定一个输入批次，该网络会通过一维卷积层和自适应池化层将其转换为令牌序列，其中、、、分别表示批次大小、特征维度、时间步数以及序列长度。

实验验证
本节将在三个公开数据集上对所提出的TFEAT框架进行验证：凯斯西储大学数据集[33]、帕德博恩大学数据集[34]以及中国石油大学（北京）轴承数据集[8]。4.1节将介绍这些数据集以及开放集域泛化故障诊断任务的设置情况。4.2节会介绍对比方法及实现细节。4.3节阐述评估指标。4.4节报告实验结果。4.5节则通过对比分析进一步探讨实验结果。

结论
本文提出了TFEAT框架，这是一种用于处理同时存在领域偏移和标签偏移情况的开放集域泛化故障诊断的统一解决方案。具体而言，TFEAT利用Transformer增强的嵌入网络来捕捉振动序列中的长距离依赖关系。同时，我们还引入了一种幅度-方向解耦的联合优化策略，用于明确界定已知类别区域并提升开放集场景下的分类性能。在开放集识别方面，TFEAT采用了某种特定机制。

CRediT作者贡献声明
刘俊豪：撰写——初稿撰写、可视化、软件工具使用、方法设计、概念构思。李强：验证、方法设计、概念构思。高晓勇：监督指导、项目管理、资金筹集。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了国家自然科学基金（编号22178383、21706282）、北京市自然科学基金（编号2232021）以及中国石油大学（北京）科研基金（编号2462020BJRC004）的支持。刘俊豪于2024年在中国石油大学（北京）控制科学与工程学院获得自动化专业学士学位，目前他正在该校攻读控制科学与工程专业的博士学位。他的研究兴趣包括智能故障诊断，以及结合机理分析和数据驱动方法的设备状态监测与诊断分析。