基于变压器的轴承故障分类方法：结合VMD噪声抑制技术和rCCA增强相关性建模 作者：Tarkan Koca、Mehmet Bilal Er、Ayd?n ??tlak

《Machines》：Transformer-Based Bearing Fault Classification with VMD-Based Noise Suppression and rCCA-Enhanced Correlation Modeling Tarkan Koca, Mehmet Bilal Er and Ayd?n ??tlak

　　摘要 早期检测旋转机械中的轴承故障对于确保系统可靠性和有效的维护计划至关重要。振动信号本身包含与故障相关的特征频率成分，为物理可解释和数据驱动的分析提供了丰富的信息。在这项研究中，提出了一种多表示和相关性感知的特征提取框架，用于从振动信号中自动分类轴承故障。使用凯斯西储大学（CWRU）轴承数据集进行了实验评估。该数据集包括对应于内圈、外圈、滚珠故障以及在不同损伤程度下的健康状态的振动记录。所提出的方法首先应用变分模态分解（VMD）来抑制噪声并增强与频率相关的特征。然后构建了三种不同的特征表示：分析谱描述符、基于Transformer的原始深度表示，以及通过结合这两种表示获得的混合特征向量。通过正则化典型相关分析（rCCA）进一步增强了这种混合结构，该分析模型化了Transformer表示与谱描述符之间的关系，从而实现了相关性感知的特征融合。分别使用SVM、随机森林和XGBoost分类器评估了谱特征向量、原始Transformer特征向量和rCCA增强后的混合特征向量。结果表明，谱特征表示和基于Transformer的特征表示单独使用时都表现出强大的性能；然而，在建模它们之间的相关性时整合这些互补的信息源可以带来更优越和更平衡的分类性能。特别是，rCCA增强后的混合特征向量在所有性能指标上都取得了最佳结果。研究结果表明，将物理意义上的频域信息与数据驱动的深度表示相结合，可以为轴承故障诊断提供更加稳健和泛化的解决方案。

1. 引言
旋转机械广泛应用于汽车、航空航天、能源生产、农业和制造业等许多关键工业领域。这些机器由多个机械部件组成，如轴、齿轮、联轴器和轴承，这些部件的可靠性直接影响系统的整体性能。特别是轴承，由于其在支撑旋转运动和承受动态载荷方面的作用，是旋转机械中最关键的元素之一。工业分析显示，旋转机械中的许多故障都与轴承有关[1]。突然的轴承故障可能导致生产损失、维护和修理成本增加，在某些情况下还会带来严重的安全隐患。轴承故障是由于设计缺陷、装配不当、过载、润滑不足、磨损、疲劳和恶劣的工作环境等多种因素的影响而逐渐发展的。这些故障通常发生在内圈、外圈或滚动元件上，如果不能及早发现，可能会导致机器意外停止。这种情况不仅会造成经济损失，还会对关键工业应用中的人员安全构成严重威胁。因此，持续监测轴承的工作状态和早期检测故障对于预测性维护和可靠性工程非常重要[2]。振动信号分析是监测旋转机械状态的最有效和最广泛使用的无损方法之一。振动信号包含了关于机器工作状态和机械部件健康状况的丰富信息。在研究中，已经开发了许多基于时域、频域和时频域的传统信号处理方法来诊断轴承故障[3]。虽然时域方法通常依赖于统计特性，但频域分析能够检查频谱成分。基于时频的方法可以同时处理信号的时间和频率内容。然而，传统的信号处理方法大多基于线性和平稳系统的假设。在实际工业环境中获得的振动信号通常具有噪声大、非平稳和非线性的特征[4]。旋转机械中的许多故障类型直接与系统的非线性动态行为有关。在非线性系统中，对谐波激励的响应不仅限于基频成分；还可能出现低次谐波、高次谐波、准周期运动和混沌行为。这种情况导致传统的谱分析方法无法充分捕捉到早期故障迹象。在这种情况下，基于非线性动力学和混沌理论的分析方法允许更深入地检查振动信号。从混沌场（CD）分析中获得的特征可以定量表达系统的复杂性、稳定性和动态演化，并在早期故障检测中提供显著优势[5]。基于混沌的分析有助于确定用传统方法难以检测的故障特征，通过揭示时间序列中的不规则行为。可以从振动信号中提取时间域、频率域、时频域和混沌域的众多特征。然而，这也带来了高维数据的问题。在模型中包含不必要的或区分度低的特征会增加计算成本，延长算法的训练时间，并对分类性能产生负面影响[6]。因此，在故障诊断中选择具有高区分度的特征并应用降维策略非常重要。有效的特征选择可以提高模型的准确性、稳定性和泛化能力，同时最小化信息损失。近年来，随着计算能力的提高和大规模状态监测数据的可获得性，基于机器学习和深度学习的方法在轴承故障诊断和剩余使用寿命估计领域得到了广泛应用[7]。这些方法可以从复杂和非线性数据结构中学习有意义的模式，并比传统方法提供更高的准确性。然而，这些模型的成功在很大程度上取决于所使用输入特征的质量和表示能力。在轴承故障诊断领域的研究中，PRONOSTIA、CWRU、IMS和Paderborn数据集被广泛引用。这些数据集在不同的负载、速度和工作条件下使用。CWRU数据集提供了在不同负载水平和采样频率下收集的感应电动机振动信号，而Paderborn数据集允许对健康和故障轴承的同步振动和电流数据进行多传感器分析。IMS数据集通过加速寿命测试涵盖了轴承故障过程的时间演化，而PRONOSTIA数据集代表了不同工作场景下的故障动态[8]。然而，这些数据集中的绝大多数都集中在特定的轴承类型和有限的故障案例上。在实际工业环境中，轴承在可变的速度、复杂的负载曲线和多种故障组合下运行。这严重限制了基于现有数据集训练的模型的泛化能力，并导致在实际应用中的性能损失。为了解决这一不足，HUST数据集提供了一个更真实的评估环境，涵盖了不同的轴承类型、综合的故障场景和可变的工作条件。在这方面，HUST是一个重要的数据来源，允许分析接近工业条件的场景[9]。轴承故障诊断方法通常分为基于信号的方法、基于模型的方法、基于知识的方法和混合方法[10]。基于信号的方法直接依赖于振动或电流信号，而基于模型的方法基于物理退化模型。基于知识的方法使用基于专家知识的推理，而混合方法旨在结合这些方法的优点。在早期的研究中，广泛应用了支持向量机、主成分分析和人工神经网络等经典机器学习算法[11]。然而，这些方法在处理复杂振动信号时并不总能提供足够的性能，因为它们需要手动特征提取，并且对非线性动态的表示能力有限[11]。为了克服这些限制，近年来基于深度学习的方法变得日益重要。卷积神经网络（CNN）由于能够自动学习空间模式，已经能够成功地表示振动信号的局部结构特征。长短期记忆（LSTM）网络通过建模时间序列数据中的长期依赖性，提高了故障诊断性能。特别是基于CNN-LSTM的混合架构由于能够同时处理空间和时间信息，在轴承故障分类中实现了高准确率。尽管关于使用CWRU数据集进行轴承故障诊断的文献很多，但大多数先前的研究主要集中在新的分类器或孤立的特征提取流程上。最近的综述和基准研究也指出，仅在CWRU上表现优异并不能自动建立方法的新颖性或鲁棒的泛化能力[12,13,14,15]。此外，许多混合方法仍然依赖于直接的特征连接，这可能会保留冗余成分，并且可能不会明确建模手工设计和学习特征空间之间的依赖性。受此启发，本研究侧重于相关性感知的表示学习，而不仅仅是组合多种方法。与传统的流程不同，所提出的框架整合了三个互补的设计选择：（i）基于VMD的去噪，以稳定与故障相关的频谱内容；（ii）一个频率令牌Transformer，它学习物理意义上的带能量令牌之间的上下文依赖性，而不是原始样本；（iii）正则化典型相关分析（rCCA），以将分析谱描述符与Transformer表示对齐在共享的相关性感知子空间中。因此，本研究的新颖性在于明确建模了跨视图关系，并在同一实验协议下逐步分析了谱特征向量、Transformer特征向量、直接混合特征向量和rCCA增强后的混合特征向量。本研究的主要贡献总结如下：
- 采用基于VMD的自适应噪声抑制框架来增强轴承振动信号中与故障相关的频率成分，在特征提取之前提高信号质量。
- 开发了一种基于Transformer的频域表示方法，通过将带能量分布分词，使模型能够直接从振动数据中捕获全局依赖性和复杂的频谱模式。
- 通过将分析谱描述符与Transformer学习的深度表示相结合，引入了一种相关性感知的混合特征构建策略。
- 提出了一种基于正则化典型相关分析（rCCA）的特征融合机制，以建模和加强谱特征空间和Transformer特征空间之间的关系，从而得到更具区分性和紧凑性的混合特征向量。
- 使用多种分类器（SVM、随机森林和XGBoost）进行的全面实验评估表明，所提出的rCCA增强后的Transformer框架在分类性能上优于单独的谱特征表示或深度表示。所提出的框架为基于振动的轴承故障诊断提供了稳健和泛化的解决方案，具有实际的应用潜力，适用于工业状态监测和预测性维护。

本文的其余部分组织如下。第2节回顾了基于振动的轴承故障诊断的相关文献。第3节详细描述了所提出的方法。第4节介绍了数据集和实验设置，包括评估标准和获得的结果。最后，第5节总结了主要发现并指出了未来工作的方向。

2. 相关工作
轴承故障分类一直是研究人员关注的关键研究领域，旨在确保旋转机械的运行可靠性和有效实施预测性维护策略。最初，该领域的研究主要集中在传统的信号处理和特征提取方法上，但随后显著发展到了基于机器学习和深度学习的改进故障分类方法，这些方法具有自动特征学习能力。Prabhakar等人[16]提出了一种基于离散波变换（DWT）的方法，用于检测滚珠轴承的内圈、外圈和组合故障。研究表明，通过时频分析可以区分单一和多重故障状态。结果表明，基于小波的方法在揭示局部故障特征方面是有效的，但其在可变工作条件下的泛化能力可能有限。Malhi和Gao[17]开发了一种基于主成分分析的特征选择方法，用于机械系统的故障分类。研究表明，将振动信号得到的高维特征空间转换为低维表示可以提高分类准确性。研究结果表明，降维操作既减少了计算负担，又提高了分类过程的稳定性。然而，强调该方法的总体性能在很大程度上取决于最初定义的特征集的质量。Nouri Khajavi和Norouzi Keshtan[18]开发了一种结合离散波变换和人工神经网络的方法，用于识别滚珠轴承的内圈和外圈故障。在所提出的方法中，通过在时频域进行的分析，可以在局部级别分离出特定于故障的成分。实验表明，获得的小波基特征提高了分类性能。然而，研究指出该方法在不同速度条件下的泛化能力可能不足。Gupta和Pradhan[19]在比较框架中讨论了不同的基于机器学习的轴承故障诊断方法。在这项研究中，使用从时域和频域提取的统计特征，分析了支持向量机（SVM）、k最近邻算法（KNN）和决策树的诊断性能。结果表明，基于SVM的模型在数据量有限的场景下提供了更高的分类性能。然而，该方法对手动特征提取的依赖性被指出是实际应用中的一个根本性限制。Soleimani和Khadem [20] 开发了一种基于混沌振动行为的非线性诊断方法，用于检测滚珠轴承和齿轮箱的故障。通过相空间重建对健康状态和故障状态进行了建模；报告称，最大李雅普诺夫指数、近似熵和相关维数等混沌指标能够提供高区分度。研究表明，基于混沌的特征可以表示传统统计方法无法捕捉的动态变化。Li等人 [21] 提出了一种能够同时学习局部和全局特征的CNNEPDNN模型，并将其与不同负载条件下的经典CNN架构进行了比较，结果显示该模型具有更高的分类准确性。通过可视化特征空间验证了模型的区分表示能力，但指出变速和高噪声条件可能对性能产生负面影响。Magar等人 [22] 开发了一种基于数据驱动和振动的深度学习架构FaultNet，用于滚动元件轴承。研究表明，多通道输入结构相比单通道模型提供了更丰富的特征表示。在CWRU和Paderborn数据集中获得的高准确率支持了该方法在在线故障诊断中的适用性。Zhao等人 [23] 详细研究了深度学习方法在机器健康监测领域的应用。研究中强调，特别是卷积神经网络（CNN）可以从原始振动数据中学习到具有区分性的特征，从而比传统的基于信号处理的方法提供更高的诊断准确性。然而，大规模数据集的需求和深度学习模型有效训练的高计算成本是该方法的主要限制之一。Shao等人 [24] 开发了一种使用多层卷积神经网络架构对轴承故障类型进行分类的方法。实验表明，所提出的模型能够在不需要任何手动特征提取过程的情况下高精度地区分不同的故障场景。研究结果表明，基于深度CNN的结构有能力有效地学习与轴承故障相关的复杂和非线性模式。Luo等人 [25] 提出了一种改进的故障分类方法，通过将不同尺度下获得的频谱表示与基于卷积神经网络的结构相结合。研究表明，同时使用来自不同频带的信号可以显著提高诊断性能。然而，由于结合了多尺度分析和深度学习组件，该方法的计算成本相对较高。Alam等人 [26] 开发了一种基于迁移学习策略的一维卷积神经网络模型，用于在可变操作条件下对轴承故障进行分类。实验表明，即使在标记数据有限的情况下，也可以通过源数据集和目标数据集之间的信息传递实现高诊断性能。Hatipo?lu等人 [27] 提出了一种结合来自时域、频域和混沌域特征的混合轴承故障诊断方法。使用LASSO优化的特征集，并通过LSTM和注意力机制进行了评估。在CWRU和HUST数据集中获得的高F1分数表明，模型中包含混沌特征可以提高诊断性能。Sinitsin等人 [28] 提出了一种基于混合CNN-MLP架构的轴承故障诊断模型，该模型整合了来自不同数据类型的信息。实验表明，多输入结构可以更全面地表示与故障相关的特征，这种方法在分类性能上提供了显著改进。Chen等人 [29] 系统地研究了使用文献计量方法在轴承故障诊断领域进行的研究。研究结果表明，近年来基于深度学习的方法显著增加，但这些方法在泛化能力和实际工业应用中的模型可解释性方面仍存在显著的研究差距。Sahu等人 [30] 汇总了当前在轴承故障诊断领域的研究，并全面考察了基于深度学习方法的发展。研究表明，深度神经网络通过从原始传感器数据中学习复杂的时频模式提供了高准确性，并预测多层混合架构在未来将提供更有效的解决方案。Jamil和Khanam [31] 研究了统计特征排序方法在轴承故障分类中的效果。使用单向ANOVA和Kruskal-Wallis测试选出的特征与SVM、KNN和ANN等分类器进行了评估。报告称，使用Kruskal-Wallis测试选出的特征显著提高了分类准确性。Ali等人 [32] 提出了一种基于加权概率集成深度学习（WPEDL）的方法，用于同时诊断感应电动机中的轴承、转子和定子故障。基于使用STFT从振动和电流信号中提取的时频表示的集成结构，与单一深度学习模型相比，产生了更稳定和更高的准确率结果。研究表明，基于集成的深度学习是工业应用中多种故障场景下的强大替代方案。Abbasi等人 [33] 开发了一种基于CNN-LSTM的多任务深度学习模型，用于使用HUST数据集检测和分类轴承故障。该模型在不同操作条件下实现了高准确性，但指出对大量标记数据的依赖是一个显著限制。研究强调了在数据有限条件下需要新型方法。最近的一项研究提出了一种具有动态重新校准机制的多尺度残差去噪网络（MRANet），以改善数据有限条件下的故障诊断。通过结合基于STFT的时频表示与多分支卷积和残差学习，该方法增强了特征提取，并在不同负载和速度条件下实现了高准确性 [34]。另一种方法结合了回溯策略、改进的VMD和信息图分析，用于噪声信号中的早期故障检测。该方法优化了VMD参数，并选择了用于信号重建的信息丰富的组件，与传统技术相比，提供了更准确的初始故障时间估计 [35]。为了明确与代表性最新研究的研究差距，表1提供了简洁的比较。表1. 代表性的最新CWRU基础研究及所提出框架的方法论位置。

3. 方法与材料
本研究的目的是自动从CWRU数据集中测量的轴承振动信号中分类故障类型。所提出的方法包括基于VMD的噪声抑制、基于Transformer的混合特征向量（该向量在频域中对频带能量进行分词）、rCCA（捕获Transformer表示与分析频谱描述符之间的关系）以及分类。所提出框架的整个工作流程在算法1中进行了总结，该算法概述了基于VMD的去噪、频率分词Transformer表示、基于rCCA的相关对齐以及最终分类阶段。所提出的基于VMD-Transformer-rCCA的故障诊断方法的总体框架在图1中进行了说明。为了清晰起见，方程（1）和（2）定义了记录级别的符号和标签，方程（3）-（8）描述了基于VMD的去噪阶段，方程（9）-（18）定义了分析频谱描述符，方程（19）-（35）形式化了分词构建和基于Transformer的表示学习，方程（36）-（42）描述了基于正则化的CCA的相关对齐阶段。这些分组引用是为了使数学流程更易于理解。在特征提取之前，每个振动记录被分割成部分重叠的窗口，以便在保留足够的故障相关周期性的同时分析局部稳态行为。为了避免异构描述符之间的尺度主导，特征提取后和分类器训练之前应用了特征归一化。此外，在记录级别进行了训练/测试分割和10折交叉验证程序，以减少来自同一信号的高度相似窗口之间的乐观泄漏。为了提高可重复性，修订后的手稿明确总结了用于VMD、Transformer训练和基于rCCA融合的实际设置。振动信号使用2048个样本的窗口长度和50%的重叠比例进行了分割。在VMD阶段，模式数量设置为K = 6，惩罚因子选择为α = 2000。应用了能量阈值τ_e = 0.05以在重建过程中保留主导模式。频域表示使用B = 16个频带构建。对于Transformer架构，每个频带被嵌入到维度为d = 64的潜在空间中。编码器由2层组成，每层有4个注意力头。模型使用批量大小为32进行了100个时代的训练，并使用了Adam优化器。学习率设置为1 × 10?3。在rCCA阶段，正则化系数选择为λ_x = 0.1和λ_y = 0.1，以确保数值稳定性并防止在协方差估计过程中过拟合。

算法1. VMD-去噪 + 频率分词Transformer + 基于rCCA的混合特征学习
输入：；；；；Transformer参数；
输出：1. 分割 2. VMD：分解每个窗口： 3. 计算模式能量 4. 计算比率 5. 选择 6. 重建 7. 计算DFT 8. 映射频率箱 9. 10., 11., 12. 13. 14. 15.; 16. 17., , 18. rCCA：规范化 19. （例如，SVM/RF/XGBoost）。

图1. 所提出的基于VMD-Transformer-rCCA的轴承故障诊断框架的流程图。
CWRU数据集包含了在不同故障位置（内圈、外圈、滚珠）和不同损伤级别（包括无故障/健康）获得的振动记录；这些记录是机器健康监测和预测性维护应用中广泛使用的参考测量源。每个测量记录被视为来自加速度计的单通道时间序列。因此，定义第n个记录如下：
（1）这里，表示数据集中的记录索引，表示记录的总数。变量表示离散时间样本索引，而表示单个记录中的样本总数。术语表示第n个记录的第m个样本的振动幅度（加速度）。记录的采样频率由表示。由于轴承故障通常产生具有周期性成分的脉冲振动模式，信号在时域（冲击、瞬态结构）和频域（特征故障频率和边带）都携带有有意义的信息。因此，应用于每个记录的表示学习阶段旨在尽可能保留来自这两个域的信息。每个记录的真实类别标签定义如下：
（2）这里，表示分类问题中的故障类别总数（例如，健康、内圈故障、外圈故障和滚珠故障）。这些标签指定了相应振动记录所代表的故障类型。

3.1. 通过变分模式分解（VMD）去噪
每个窗口化的信号使用变分模式分解（VMD）[36,37] 分解为内在模式：
（3）这里，表示第n个窗口的第m个模式。每个模式假设为中心频率的窄带成分。VMD通过解决以下受限优化问题来确定这些模式（以简化形式）[38]：
（4）在这种公式中，目标函数最小化每个模式的带宽。括号内的项计算每个模式的分析信号（通过希尔伯特变换），将其移动到基带，并通过时间导数评估其平滑度。最小化这个量迫使每个模式围绕其中心频率紧凑。重建约束确保所有模式的总和等于原始信号。
对于第n个窗口，每个模式的能量贡献计算为
（5）然后定义每个模式的相对能量比为
（6）这个比率量化了第m个模式对总信号能量的贡献。相对能量非常低的模式通常与噪声或无关紧要的波动相关。为了进行去噪，基于能量阈值选择了一组相关模式：
（7）只有能量比率超过的模式被保留。然后重建去噪后的窗口为
（8）这个重建步骤抑制了低能量的、由噪声主导的成分，同时保留了主导的结构振荡。因此，频谱中的不规则波动得以减少，从而在后续处理阶段获得更稳定的带能量估计和更可靠的光谱描述符。图2展示了CWRU数据集中每个故障类别的示例振动信号及其对应的VMD去噪版本。在每个子图中，蓝色曲线代表原始的原始振动信号，而橙色曲线表示应用VMD后重建的信号。图2. CWRU数据集中每个故障类别的原始和VMD去噪振动信号。

3.2. 频域中的光谱特征提取
对于每个去噪窗口，计算离散傅里叶变换（DFT）：
(9)
该变换将信号从时域映射到频域。每个系数表示由索引i表示的频率分量的复振幅。相应的功率谱定义为：
(10)
它测量每个离散频率bin的能量含量。与索引i相关的物理频率轴由下式给出：
(11)
其中f_s是采样频率。使用这种频率表示方法，为每个窗口计算几个分析光谱描述符。
光谱质心定义为[39,40,41]：
(12)
光谱质心对应于能量加权的平均频率。它可以被解释为光谱的“重心”。如果能量向更高频率移动——这在有故障的轴承中经常观察到，由于存在脉冲成分——质心相应增加。
光谱熵：
首先，定义归一化的光谱分布为：
(13)
这种归一化将功率谱转换为频率上的概率分布。
然后计算光谱熵为[41,42]：
(14)
这个量度量光谱分布的无序或不规则性。高度集中的光谱（主导频率分量）产生低熵，而更均匀分布的光谱——通常与噪声或复杂的故障行为相关——产生更高的熵值。
带能量：
设每个频率带B_i定义在区间[f_i, f_i+Δf]上：
(15)
带B_i内包含的能量计算为：
(41,42,43)
(16)
该特征聚合了预定义频率范围内的光谱能量。带限的选择可以与特征故障频率对齐，使得这些特征在物理上具有可解释性。预定义频率带的选择基于两个考虑因素。首先，带级聚合降低了表示对孤立噪声bin和小频率漂移的敏感性。其次，它保留了与故障相关的谐波重新分布更一致的可解释的区域能量模式，而不是原始的bin级输入。因此，Transformer接收紧凑的token，这些token总结了物理上有意义的光谱邻域，同时仍然允许自注意力捕捉长距离的带间依赖性。
(17)
峰值振幅表示傅里叶系数的最大幅度。它反映了窗口内最强的振荡分量，对周期性故障引起的振动特别敏感。
频率方差量化了光谱能量围绕质心的分布，定义为：
(18)
频率方差量化了光谱能量围绕质心的分布。虽然质心指示了光谱的中心位置，但方差描述了能量的分布范围。更广泛的分布通常对应于更复杂或宽带的振动行为。这些光谱描述符共同提供了每个窗口的互补分析表示。虽然基于Transformer的表示捕获了学到的带间关系，但这些手工制作的光谱特征编码了关于频域中能量分布、集中度和分散度的物理可解释信息。

3.3. 频率Token的构建和Token嵌入
在提出的框架中，Transformer的输入token是由频域中提取的带能量特征构建的。对于每个窗口，定义了一个带能量向量。更具体地说，每个去噪窗口被转换为一系列标量带能量值，每个频率带一个token。经过线性投影和可学习的带位置嵌入后，得到的token矩阵由Transformer编码器处理。这种设计与基于原始信号和图像的Transformer输入不同，因为它在保持域可解释性的同时保持了计算上的紧凑性。
(19)
其中N表示预定义频率带的总数，每个分量表示相应带内的总光谱能量。通过将每个频率带视为一个单独的token，Transformer处理物理上有意义的光谱摘要，而不是原始的时间样本。这种设计使模型能够学习带间关系，如能量重新分布、谐波耦合和特征轴承故障的光谱偏移。由于每个带能量值是标量，必须在由Transformer处理之前将其投影到一个更高维的嵌入空间中。这是通过线性投影实现的[44,45]：
(20)
该操作将标量带能量映射到一个d维表示。投影允许模型为每个频率带学习表达力强的嵌入，同时保持数值稳定性。
为了保留关于带索引的信息，添加了一个可学习的带位置嵌入：
(21)
这种位置编码确保Transformer可以区分不同的频率区域。
结果得到的窗口输入矩阵为：
(22)
它作为Transformer编码器的输入。

3.4. Transformer编码器
Transformer编码器使用自注意力来建模频率带之间的依赖性。查询矩阵、键矩阵和值矩阵的计算如下：
(23)
这些投影将嵌入转换为适合注意力计算的子空间。缩放点积注意力机制定义为：
(24)
这里， similarity_matrix计算频率带之间的成对相似性得分。缩放因子α防止了可能破坏梯度的较大点积值。softmax函数将相似性得分转换为归一化的注意力权重，使每个带表示能够聚合来自所有其他带的信息。
为了更丰富的建模能力，使用了多头注意力[47,48,49]：
(25)
每个头在不同的子空间中学习关系，允许编码器捕获多种类型的带间交互。编码器层定义为：
(26)
(27)
其中layer normalization表示层归一化，残差连接增强了训练稳定性。
前馈网络表示为：
(28)
其中激活函数f是非线性的。这个组件引入了非线性并增加了表示能力。堆叠多个编码器层后，上下文化窗口表示变为：
(29)
Transformer输出保持带级别。为了获得每个窗口的单一表示，应用了可学习的注意力池化。每个带的重要性得分计算如下：
(50,51)
该得分量化了每个带对窗口表示的贡献。归一化的注意力权重为：
(31)
最终窗口表示获得为：
(32)
因此，representations表示频率带的自适应加权聚合。对于每条记录，窗口表示形成了矩阵[46,47,48,49]：
(33)
为了实现稳定的记录级摘要，计算了窗口间的均值和方差[47,48,49]：
(34)
(35)
同样的聚合也应用于光谱描述符。这种混合表示成为：
(36)
该向量编码了来自学习和分析视图的大小（均值）和分散度信息。

3.5. 规范化典型相关分析（rCCA）
典型相关分析（CCA）寻找最大化两个视图之间相关性的线性投影。目标是：
(52,53,54,55)
其中
(37)
解决方案简化为广义特征值问题：
(39)
然而，当n较小时，协方差矩阵可能条件不佳。因此，引入了岭正则化：
(40)
(41)
规范化的解决方案变为：
(42)
前k个典型相关系数形成了相关签名：
(43)
在实践中，选择正则化系数是为了稳定协方差估计，并在混合特征空间的维度相对于训练记录的数量较高时避免过拟合。因此，λ_x和λ_y是从一个小验证网格中选择的，最终设置由最佳平均验证精度和协方差逆的数值稳定性共同决定。这种选择策略在修订的手稿中已经澄清，因为rCCA的有效性取决于平衡相关性和正则化强度。
为了进一步研究所提出的基于rCCA的特征整合的判别能力，在相关对齐之前和之后对混合特征空间进行了t-SNE（t-分布式随机邻居嵌入）可视化。图3展示了规范化典型相关分析（rCCA）对混合特征表示的影响。t-SNE投影表明，经过相关对齐的混合特征展示了比原始混合特征更有结构和更紧凑的分布。

4. 结果
4.1. 数据集
本研究中用于实验验证的数据集是Case Western Reserve大学轴承数据中心开发的CWRU轴承数据集，这是文献中最广泛使用的开放访问故障诊断数据集之一[56]。该数据集作为一个标准基准，用于基于振动的旋转机械轴承故障分析。它特别被认为是机器学习和基于深度学习的故障分类方法性能比较的参考数据集。CWRU数据集是通过实验室环境中的受控实验设置获得的。实验系统主要由一个2 HP三相感应电动机、一个扭矩传感器、一个测功机（负载应用系统）、一个数据采集和控制单元以及一个加速度计传感器组成。从轴承的两个不同位置测量了振动信号：驱动端（DE）和风扇端（FE）。通过将传感器直接安装在轴承外壳上来实现高精度的振动测量。这种配置允许分离故障的位置效应。CWRU数据集中获得的振动信号包括基于加速度的测量。数据收集过程中使用了12 kHz和48 kHz的采样频率。实验在0、1、2和3 HP的负载水平下进行，以代表电机的不同运行条件。根据这些负载水平，电机的旋转速度大约在1730到1797 RPM之间。振动信号是通过放置在轴承的驱动端（DE）和风扇端（FE）的传感器测量的。所有数据以MATLAB R2026a (.mat)格式呈现。由于负载变化引起的电机速度的小变化，数据集能够代表不同的运行条件，从而能够评估开发模型在可变运行条件下的泛化性能。本研究中，CWRU数据集使用的分类结构定义为10个类别，相关分布见表2。数据集包括一个健康（正常）状态和三种不同的故障类型，每种故障类型有三种不同的故障直径变化。故障类型定义为内圈、滚珠和外圈。为每种故障类型创建了直径分别为0.007英寸、0.014英寸和0.021英寸的人为损伤。这种结构不仅包括故障类型，还包括故障严重程度，从而可以评估模型区分不同故障类型和不同损伤程度的能力。在本研究中，分类问题被组织为一个10类任务，包括一个健康状态和来自三个故障位置（内圈、滚珠和外圈）的九种故障条件以及三种缺陷直径（0.007、0.014和0.021英寸）。明确考虑了0–3 HP的负载条件和大约1730–1797 rpm的速度变化，以反映公共基准中的变化运行条件。由于公共CWRU版本主要提供振动记录和实验元数据，而不是高分辨率的缺陷照片，因此当前的验证依赖于数据集中报告的缺陷类型、缺陷大小、传感器位置、采样率和操作负载信息。这种限制在修订的手稿中已经明确指出。

4.2. 结果分析
本节展示了使用不同分类器评估的所提出的特征提取和融合框架获得的实验发现。这项分析的主要目的是研究各个特征域（光谱和基于Transformer的特征）、它们的直接混合以及所提出的rCCA增强混合特征整合策略的判别能力。性能在两种验证协议下进行评估：传统的70–30训练-测试分割和10折交叉验证，以确保报告结果的鲁棒性和泛化能力。报告了包括准确率、精确度、召回率和F1分数在内的标准分类指标，以全面评估十个轴承故障类别的分类效果。如表3所示，随着特征表示从单域特征发展到所提出的基于rCCA的混合结构，实验结果显示出明显且一致的性能改进。当仅使用光谱特征时，SVM分类器在70-30划分下的准确率为89.42%，在10折交叉验证下的准确率为89.86%。尽管这些结果表明了其具有合理的判别能力，但它们暴露了在捕捉轴承故障信号的复杂非线性和时间特性方面的局限性。结合基于变压器的特征显著提高了分类性能，在70-30划分下的准确率为93.25%，在10折验证下的准确率为93.98%。这一改进证实了基于变压器的表示能够有效地模拟振动信号中的上下文和序列依赖性，与纯频域特征相比，提供了更强的类别区分能力。当光谱特征和变压器特征直接融合且不进行相关性对齐时，观察到了更大的改进。未经rCCA处理的混合特征表示的准确率分别达到了95.87%（70-30划分）和96.48%（10折交叉验证），表明来自两个领域的互补信息增强了判别能力。然而，缺乏相关性感知的对齐可能仍然允许冗余或信息量较弱的成分存在于融合的特征空间中。当应用基于rCCA的特征融合时，获得了最高的性能。在70-30划分下，所提出的混合模型的准确率达到了97.54%，而在10折交叉验证下进一步提高了至98.21%。精确度、召回率和F1分数指标也显示了类似的趋势，10折rCCA增强模型的相应值分别为97.90%、97.42%和97.64%。这些发现证实了基于典型相关性的对齐有效地增强了特征间的依赖性建模，并减少了冗余，从而形成了更紧凑和更具判别力的表示。图3展示了使用所提出的基于rCCA的混合特征表示的SVM模型的分类性能。具体来说，图4a展示了标准化混淆矩阵，而图4b展示了使用一对多（OvR）策略获得的多类ROC曲线。所有特定类别的ROC曲线都紧密接近ROC空间的左上角，表明具有近乎完美的判别能力。宏观平均和微观平均AUC值都约为0.999，表明模型在所有类别上保持了高敏感性和特异性。宏观平均值和微观平均值之间的最小偏差也表明分类性能平衡，没有偏向于主导类别。表3总结了在70-30划分和10折交叉验证下使用光谱特征、变压器特征和基于rCCA的混合特征的SVM的比较评估。图4。（a）混淆矩阵和（b）使用基于rCCA的混合特征的SVM的多类ROC曲线。随机森林分类器在不同特征提取和融合策略下的性能分析总结在表4中，相应的分类行为通过标准化混淆矩阵和多类ROC曲线在图3中进行了说明。这些结果进一步揭示了混合特征建模和相关性感知集成在基于树的集成框架内的贡献。根据表3，仅使用光谱描述符在所有测试配置中产生了最低的性能，70-30划分下的分类准确率为83.77%，10折交叉验证下的准确率为84.20%。虽然光谱信息捕捉了轴承故障的重要频域特征，但单独用于随机森林结构时似乎不足以建模更复杂的信号变化。当引入基于变压器的表示时，性能显著提高。基于变压器的配置在70-30划分下的准确率为89.21%，在10折验证下的准确率为89.98%。这一改进突显了上下文和序列特征编码的好处，表明变压器表示有效地捕捉了光谱分析中未能完全表示的结构依赖性。当光谱特征和变压器特征直接结合且不进行相关性对齐时，进一步观察到性能提升。未经rCCA处理的混合表示的准确率分别为92.94%（70-30划分）和93.54%（10折交叉验证），表明来自频率和学习表示的互补信息增强了判别能力。然而，由于缺乏显式的跨域相关性建模，仍可能存在一定程度的特征冗余。当应用基于rCCA的特征融合时，获得了最显著的改进。在70-30划分下，随机森林分类器的准确率达到了95.63%，而10折交叉验证进一步将准确率提高到96.74%。精确度、召回率和F1分数指标也一致显示出类似的改进，分别达到了97.90%、97.42%和97.64%。这些发现证实了基于典型相关性的对齐有效地增强了特征间依赖性的建模，并减少了冗余，从而形成了更紧凑和更具判别力的表示。图5a中的视觉证据支持了这些发现。标准化混淆矩阵显示预测主要集中在主对角线上，表明大多数故障类别的识别准确。虽然在相邻的严重程度级别之间（特别是在低幅度的内圈和滚珠故障之间）存在轻微的混淆，但根本不同的故障类型之间的误分类仍然有限。这表明融合的特征表示有效地保留了特定类别的结构信息。图5b中的ROC分析进一步提供了确认。所有十个类别的一对多曲线都接近ROC空间的理想左上角。宏观平均和微观平均AUC值约为0.996，表明具有高判别能力和类别间的敏感性和特异性平衡。宏观平均值和微观平均值之间的紧密对齐意味着模型不偏爱特定类别，并保持了相对均匀的分类性能。表4总结了在70-30划分和10折交叉验证下使用光谱特征、变压器特征和基于rCCA的混合特征的随机森林的比较评估。图5。（a）混淆矩阵和（b）使用基于rCCA的混合特征的随机森林的多类ROC曲线。表5总结了在不同特征配置下XGBoost分类器的性能特点，相应的分类行为通过标准化混淆矩阵和多类ROC分析在图4中进行了说明。这些结果进一步阐明了变压器集成、混合特征建模和基于rCCA的相关性对齐在梯度提升框架内的影响。从表5可以看出，仅使用光谱描述符产生的预测性能最低，在70-30划分下的准确率为85.63%，在10折交叉验证下的准确率为86.12%。虽然光谱信息捕捉了轴承缺陷的频域特征，但它不足以在基于提升的集成结构中单独建模更复杂的信号变化。当独立使用基于变压器的表示时，性能显著提高。基于变压器的模型在70-30划分下的准确率为91.40%，在10折设置下的准确率为92.04%，表明上下文序列建模显著增强了特征的表现力。这证实了变压器编码的表示捕捉了超出传统基于频率的描述符的复杂信号关系。当光谱特征和变压器特征直接合并且不进行相关性对齐时，性能进一步提高。未经rCCA处理的混合表示在70-30划分下的准确率为94.88%，在10折验证下的准确率为95.61%。这一改进表明，来自频率和学习表示的互补信息增强了判别能力。然而，由于缺乏显式的跨域相关性建模，仍可能存在一定程度的特征冗余。当应用基于rCCA的特征融合时，获得了最高的性能。在70-30划分下，XGBoost分类器的准确率达到了97.42%，而在10折交叉验证下进一步提高了准确率至98.36%。精确度、召回率和F1分数指标也一致显示出类似的改进，分别在10折验证下达到了97.92%、97.41%和97.63%。这些结果表明，相关性引导的集成细化了特征空间，并增强了故障类别间的区分能力。两种验证协议下的一致性增益表明，所提出的相关性感知融合策略对评估方案不敏感，并保持了稳定的泛化性能。图5a中的视觉证据支持了这些发现。标准化混淆矩阵显示预测主要集中在主对角线上，表明大多数故障类别的识别准确。虽然在相邻的严重程度级别之间存在轻微的混淆——特别是在低幅度的内圈和滚珠故障之间——但不同类型故障之间的误分类仍然有限。这表明融合的特征表示有效地保留了特定类别的结构信息。图5b中的ROC分析进一步提供了确认。所有十个类别的一对多曲线都接近ROC空间的理想左上角。宏观平均和微观平均AUC值约为0.996，表明具有高判别能力和类别间的敏感性和特异性平衡。宏观平均值和微观平均值之间的紧密对齐意味着模型不偏爱特定类别，并保持了相对均匀的分类性能。表4总结了在70-30划分和10折交叉验证下使用光谱特征、变压器特征和基于rCCA的混合特征的随机森林的比较评估。图6。（a）混淆矩阵和（b）使用基于rCCA的混合特征的随机森林的多类ROC曲线。表5总结了在不同特征配置下XGBoost分类器的性能特点，相应的分类行为通过标准化混淆矩阵和多类ROC分析在图4中进行了说明。这些结果进一步阐明了变压器集成、混合特征建模和基于rCCA的相关性对齐在梯度提升框架内的影响。从表5可以看出，仅使用光谱描述符产生的预测性能最低，在70-30划分下的准确率为85.63%，在10折交叉验证下的准确率为86.12%。虽然光谱信息捕捉了轴承缺陷的频域特征，但它不足以完全编码提升型集成结构中所需的时序动态或特征间依赖性。当独立使用基于变压器的表示时，观察到了显著的改进。基于变压器的模型在70-30评估下的准确率为91.40%，在10折设置下的准确率为92.04%，表明上下文序列建模显著增强了特征的表现力。这证实了变压器编码的表示捕捉了超出传统基于频率的描述符的复杂信号关系。当光谱特征和变压器特征直接合并且不进行相关性对齐时，性能进一步提高。未经rCCA处理的混合配置在70-30划分下的准确率为94.88%，在10折验证下的准确率为95.61%。这一改进表明，频域和深度上下文表示的互补优势共同增强了类别区分能力。然而，由于缺乏基于相关性的细化，仍可能存在部分冗余的成分。当在分类之前应用基于rCCA的特征融合时，获得了最高的性能。在70-30划分下，XGBoost分类器的准确率达到了97.42%，而在10折交叉验证下进一步提高了准确率至98.36%。精确度、召回率和F1分数也显示出类似的改进趋势，分别在10折验证下达到了97.92%、97.41%和97.63%。这些结果表明，相关性引导的集成有效地增强了跨域特征的一致性，减少了冗余，并增强了分类框架内的类别区分能力。图6a中的混淆矩阵直观地证实了这些定量发现。大多数类别预测集中在主对角线上，表明所有十个故障类别的识别都非常可靠。只有在相邻的故障严重程度之间——特别是在密切相关的内圈和滚珠缺陷大小之间——可见轻微的混淆。重要的是，跨类型误分类仍然很少，表明融合的特征表示有效地保留了类别特定的结构信息。图6b中的ROC分析进一步支持了这些结论。所有类别的一对多曲线都接近ROC空间的理想左上角。宏观平均和微观平均AUC值约为1.000，表明具有高判别能力和类别间的敏感性和特异性平衡。表6总结了在10折交叉验证下使用光谱特征、变压器特征和基于rCCA的混合特征的XGBoost的比较评估。图6。（a）混淆矩阵和（b）使用基于rCCA的混合特征的XGBoost的多类ROC曲线。表6提供了在10折交叉验证下三种不同学习算法的分类准确性的综合比较，突出了特征增强和相关性感知融合的逐步影响。从表5可以看出，仅使用光谱描述符产生的预测性能最低，在70-30划分下的准确率为85.63%，在10折交叉验证下的准确率为86.12%。虽然光谱信息捕捉了轴承缺陷的频域特征，但它不足以完全编码提升型集成结构中所需的时序动态或特征间依赖性。当独立使用基于变压器的表示时，观察到了显著的改进。基于变压器的模型在70-30评估下的准确率为91.40%，在10折设置下的准确率为92.04%，表明上下文序列建模显著增强了特征的表现力。这证实了变压器编码的表示捕捉了超出传统基于频率的描述符的复杂信号关系。当光谱特征和变压器特征直接合并且不进行相关性对齐时，性能进一步提高。未经rCCA处理的混合配置在70-30划分下的准确率为94.88%，在10折验证下的准确率为95.61%。这一改进表明，频域和深度上下文表示的互补优势共同增强了类别区分能力。然而，由于缺乏基于相关性的细化，仍可能存在部分冗余的成分影响特征空间。当在分类之前应用基于rCCA的特征融合时，获得了最高的性能。在70-30划分下，XGBoost模型的准确率为97.42%，而在10折交叉验证下准确率提高了至98.36%。精确度、召回率和F1分数也显示出相同的改进趋势，分别在10折验证下达到了97.92%、97.41%和97.63%。这些结果表明，相关性感知的对齐有效地增强了跨域特征的一致性，减少了冗余，并增强了分类框架内的类别区分能力。图6a中的混淆矩阵直观地证实了这些定量发现。大多数类别预测集中在主对角线上，表明所有十个故障类别的识别都非常可靠。只有在相邻的故障严重程度之间——特别是在紧密相关的内圈和滚珠缺陷大小之间——可见轻微的混淆。重要的是，跨类型误分类仍然很少，表明融合的特征表示有效地保留了结构故障的区分。图6b中的ROC分析进一步支持了这些结论。所有类别的一对多曲线都接近ROC空间的理想左上角。宏观平均和微观平均AUC值约为1.000，表明具有高判别能力和类别间的平衡敏感性。表4和图6中的结果共同表明，XGBoost从所提出的多域相关性感知特征集成策略中显著受益。与单独的特征域和未对齐的混合表示相比，基于rCCA的增强融合框架在两种验证方案下始终提供了更优的分类准确性和稳定性。这些发现证实，相关性引导的混合特征构建在与梯度提升技术结合时，在实现高精度多类轴承故障诊断中起着关键作用。表6总结了在10折交叉验证下使用光谱特征、变压器特征和基于rCCA的混合特征的XGBoost的比较评估。图6。（a）混淆矩阵和（b）使用基于rCCA的混合特征的XGBoost的多类ROC曲线。表6提供了在10折交叉验证下三种不同学习算法的分类准确性的综合比较，突出了特征增强和相关性感知融合的逐步影响。从这一比较评估中可以得出几个重要的观察结果。首先，对于所有分类器，随着特征表示从纯光谱描述符发展到基于变压器的特征，然后是直接混合，最后是基于rCCA的增强混合融合，准确率一致地呈现出单调提高。这一统一趋势证实了更丰富的多域表示显著增强了类别区分能力，无论底层分类器架构如何。在检查基线光谱配置时，SVM获得了最高的起始性能（89.86%），其次是XGBoost（86.12%）和随机森林（84.20%）。这表明SVM似乎比基于树的集成方法更能利用频域特征。然而，一旦引入了变压器特征，所有模型都表现出显著的改进，表明上下文和序列感知的表示提供了更丰富的特征空间。未经rCCA处理的直接混合融合进一步提高了所有分类器的准确率，表明光谱和变压器表示的互补性。然而，最显著的性能提升是在应用基于rCCA的特征对齐之后发生的。基于rCCA的增强配置为每个分类器带来了最高的准确率：SVM为98.21%，随机森林为96.74%，XGBoost为98.36%。一个重要的观察结果是rCCA引入的改进幅度。随机森林的相对增益最大（+3.20%），其次是XGBoost（+2.75%）和SVM（+1.73%）。这表明相关性感知的对齐对于基于树的集成方法尤为重要，可能是因为rCCA减少了冗余，并产生了更紧凑和更具判别力的特征子空间，有利于层次决策边界。相比之下，SVM已经通过直接混合特征展示了强大的判别能力，尽管增益相对较小但仍具有意义。总体而言，XGBoost获得了最高的最终准确率（98.36%），紧随其后的是SVM（98.21%），而随机森林仍然略低但仍然具有竞争力。SVM和XGBoost之间的狭窄性能差距表明，基于边界的和基于梯度提升的方法都有效地利用了相关性增强的混合表示。尽管rCCA之后的数值增益在绝对百分点上可能看起来适中，但它们在方法学上具有重要意义。首先，所有三种分类器的改进是一致的，表明增益并不依赖于单一的决策模型。其次，在70-30划分和10折交叉验证下都观察到了相同的趋势，这支持了鲁棒性而非偶然过拟合。第三，增益是通过特征空间的细化获得的，而不是通过增加分类器的复杂性获得的，表明所提出的相关性感知融合改进了表示质量本身。从诊断的角度来看，基于rCCA的增强表示的更强性能表明，分析性光谱描述符和Transformer嵌入编码了互补的故障证据。当这些视图在共享子空间中对齐时，冗余信息被抑制，特定类别的结构变得更加紧凑，这也与t-SNE可视化结果一致。因此，所提出框架的贡献不仅应从标题准确率的角度来解释，还应从更结构化和更具判别力的特征组织角度来解释。表6总结了所有分类器的关键性能结果。5. 结论本研究提出了一个基于变压器的轴承故障分类框架，该框架通过基于VMD的噪声抑制和基于rCCA的相关性感知特征融合得到了增强。所提出的方法将分析性光谱描述符和深度Transformer表示集成到一个统一的混合特征空间中，使模型能够利用物理意义上的频域特征和数据驱动的全局依赖性。实验结果表明，将光谱特征与Transformer学习的表示相结合，与单一表示方法相比，显著提高了分类性能。此外，结合规则化的典型相关性分析（rCCA）增强了异构特征空间之间的关系，从而产生了更具判别力和紧凑性的混合特征向量。在所有评估的分类器中，基于rCCA的增强混合表示始终实现了最高的准确率、精确度、召回率和F1分数值。这些发现证实，建模特征间相关性在提高基于振动的故障诊断的鲁棒性和泛化能力方面起着关键作用。通过将自适应信号分解、深度表示学习和基于相关性的融合技术整合到一个统一的框架中，所提出的方法为智能轴承健康监测系统提供了一种可靠且可扩展的解决方案。未来的研究可以致力于将该框架扩展到不同的运行条件、不平衡的故障场景以及实时工业应用环境，并探索先进的跨领域迁移学习策略以提高泛化性能。从计算角度来看，该框架的总成本主要由三个阶段构成：每个信号窗口的VMD（向量模分解）分解、带-令牌序列的Transformer编码以及rCCA（相关系数校正算法）的协方差估计/特征分解。因此，与仅使用手工制作的频谱特征相比，该方法在计算上要求更高；然而，这种额外的计算成本被表示质量的提升和分类鲁棒性的增强所弥补。该研究也存在一些局限性：实验仅限于受控的CWRU（中国轮毂研究单位）基准测试环境，缺陷条件是人为诱导的，且公开发布的资料中没有高分辨率的缺陷照片用于视觉验证。此外，该方法尚未在变速现场测量数据或严重不平衡的真实工业数据集上进行验证。未来的工作将重点关注多数据集验证、外部泛化测试以及实时部署分析。