通过利用声发射技术对基于变压器的音频模型进行微调来对液压密封件磨损情况进行分类 丽莎·玛丽亚·斯文森（Lisa Maria Svendsen）、 维格内什·V·尚巴格（Vignesh V. Shanbhag）和 鲁内·施兰布斯（Rune Schlanbusch）

《Sensors》：Hydraulic Seal Wear Classification by Fine-Tuning a Transformer-Based Audio Model Using Acoustic Emission Lisa Maria Svendsen, Vignesh V. Shanbhag and Rune Schlanbusch

　　**摘要**
准确分类密封件磨损对于基于状态的液压缸预测性维护至关重要，因为密封件老化可能导致流体泄漏并影响系统的正常运行。本研究探讨了如何调整基于Transformer的音频模型，利用声发射（AE）信号对密封件磨损状况进行分类。具体而言，我们采用了音频频谱Transformer（AST），这是一种无需卷积、完全基于注意力机制的模型，直接作用于音频频谱上。Transformer架构能够建模长距离依赖关系，同时模型直接从AE数据中学习判别性表示，无需依赖人工设计的特征。通过向AST训练流程中添加层冻结功能，实现了选择性微调策略，从而在微调过程中保留早期预训练的表示，同时使后续层适应目标AE信号，从而降低了小数据环境下的过拟合风险。此外，还实施了基于验证的提前停止机制，以进一步改善微调过程中的泛化能力。模型使用从ImageNet和AudioSet预训练的权重进行初始化，以利用从大规模数据集中学习到的通用表示。AE数据是在设计用于模拟液压缸泄漏的液压测试平台上，在不同的压力条件下获取的。数据集被划分为微调、验证和评估子集，并标记为三种磨损状态：未磨损、半磨损和磨损。此外，还对微调数据应用了数据增强技术，以增加多样性并缓解类别不平衡问题。调整后的模型在所有磨损状态和压力设置下实现了97.92%的分类准确率，证明了其直接从AE数据中学习磨损相关模式的能力。此外，该框架在来自同一液压测试平台的轴承带数据集上的应用也进一步展现了其多功能性。使用相同的微调配置，模型在磨损状态下实现了95.65%的准确率和100%的召回率。这些发现突显了基于Transformer的架构在液压系统组件中实现数据高效、端到端AE诊断的潜力。

**1. 引言**
液压缸是线性执行器，因其能够提供高压、稳定的速度和低能耗而广泛应用于物料搬运领域[1]。然而，它们的运行效率和可靠性受到密封件状态的强烈影响。密封件磨损可能导致内部和外部流体泄漏，从而引起活塞杆运动不稳定，降低系统效率，并最终导致计划外停机[2,3]。多项研究应用了机器学习技术来诊断密封件磨损状况并对其进行严重程度分类。例如，Kandukuri等人（2021年）[2]使用声发射（AE）信号和支持向量机（SVM）对未磨损、半磨损和磨损的密封件进行了分类，准确率高达99%。Noori等人（2022年）[3]开发了一种使用基于AE的特征和人工神经网络（ANN）进行密封件磨损分类的方法，也实现了99%的准确率。此外，ANN模型直接在未经手工特征提取的原始AE信号上进行训练和测试，报告的准确率降至约81%。这些结果表明，SVM和ANN方法的高分类性能与训练前预先定义的时域和频域特征密切相关。这种对人工特征的依赖限制了模型的可扩展性和泛化能力，因为模型无法自动从AE信号中学习相关表示。

在将机器学习，特别是深度学习应用于液压缸状态监测的更广泛背景下，多项研究探索了用于故障检测的端到端神经网络架构。例如，Zhang等人（2021年）[4]结合了深度信念网络（DBN）和CEEMDAN（带自适应噪声的完整集合经验模态分解）技术，利用AE信号诊断液压缸内部泄漏，准确率约为92%。CEEMDAN用于将AE信号分解为多个固有模态函数（IMFs），从中选取一部分重建后输入DBN进行分类。尽管DBN自动从重建信号中学习了判别性特征，但IMFs的选择和数量是通过实验测试来优化的。He等人（2023年）[5]提出了一种基于卷积神经网络（CNN）的方法来检测电液执行器的液压缸内部泄漏。他们对包括压力、执行器位移、电机电流和电机转速在内的多源操作信号进行了对齐，并应用了前馈神经网络（FFNN）进行数据增强。然后在完整数据集（原始数据加上增强数据）上训练了多尺度残差CNN，实现了在可变操作条件下的99%检测准确率。在Guo等人的工作中（2021年）[6]，提出了一个模型，通过将泄漏流量转换为应变信号来模拟液压缸内的微小泄漏。收集的应变信号随后被用来训练各种神经网络进行泄漏预测。这些网络包括CNN、反向传播（BP）、Takagi–Sugeno（T-S）和Elman，所有网络都实现了超过90%的准确率，其中CNN表现最佳。这些基于CEEMDAN、CNN和神经网络的方法代表了向直接从数据中学习特征的深度学习模型的转变，与早期依赖人工设计的AE特征并结合SVM或传统ANN的浅层分类器的方法形成对比。

此外，在工业预测领域，近期文献表明Transformer架构在捕获高频声学数据中的长距离时间依赖性方面优于传统CNN[7,8]。例如，Ma等人（2024年）[7]提出了一种混合Transformer网络，用于利用AE信号诊断铣削工具的故障，证明了基于注意力的方法在降噪和特征增强方面优于标准的卷积架构（如CNN、VGG19和CNN-LSTM）。同样，Xie和Yang（2024年）[8]将Swin Transformer应用于地下AE信号，报告称层次化Transformer结构在分类准确率和模型收敛速度上都超过了传统CNN。然而，这些近期研究通常依赖于复杂的前端信号分解技术，如小波或CELMD（复杂增强局部均值分解）来预处理数据。因此，本研究通过调整一种完全基于注意力的端到端Transformer模型来扩展这些工作，该模型直接从频谱中学习判别性表示。随着深度神经网络的出现，音频分类已经从基于人工设计或衍生特征的模型[9,10]转变为直接将音频频谱映射到相应标签的端到端模型[11,12,13,14]。CNN一直是端到端建模中从原始频谱学习表示的主导架构[14]。另一种方法是CNN-注意力混合模型，在CNN之上添加了自注意力机制以捕获长距离依赖性。

然而，受到Transformer在视觉领域成功应用的启发[15,16,17]，Gong等人（2021年）[14]提出了音频频谱Transformer（AST）。AST基于Transformer架构[18]，是第一个无需卷积、完全基于注意力机制的音频分类模型，直接作用于音频频谱以有效捕获全局上下文。为了提高AST的性能，作者从在ImageNet上预训练的视觉Transformer（ViT）[16]中转移知识到AST[16]。这种跨模态转移利用了频谱和图像之间的相似性，解决了标记音频数据有限的挑战。

最近的研究开始将基于AST的架构扩展到其他工业状态监测任务。例如，Zhang等人（2026年）[19]提出了一个轻量级的AST架构变体，用于使用声学信号检测泵的异常，展示了在降低计算复杂性的同时实现准确的故障检测。他们的工作建立在Gong等人（2021年）[14]提出的AST框架基础上，进一步证明了基于注意力的音频变压器适用于机械诊断。

在本研究中，我们调整和微调了一个预训练的AST模型，使用AE频谱对液压密封件磨损进行分类。这项工作的主要贡献在于直接从AE频谱中分类液压密封件磨损，而无需依赖人工设计的特征。对于目前的数据有限环境，原始的AST训练流程通过选择性层冻结和基于验证的提前停止得到了扩展，以支持稳健的微调和减少过拟合。此外，还应用了与组件相关的预处理，将高频AE测量转换为与预训练模型兼容的输入。

借助其基于注意力的架构和预训练的权重，模型可以直接从AE数据中学习与任务相关的稳健表示，而无需依赖人工设计的特征，同时缓解了AE研究中常见的数据规模挑战。此外，为了评估AST框架在主要密封件磨损任务之外的适应性，该模型还在同一液压测试平台的次要轴承磨损数据集上进行了微调和评估。通过将分析扩展到轴承，研究范围超出了单一应用案例，支持在两个基于AE的磨损分类任务中重用调整后的AST框架。

本文的其余部分组织如下：第2节描述了AE数据的获取和AST模型的架构。第3节详细描述了AST兼容性所需的AE预处理、数据增强策略和微调程序。第4节报告了在保留数据集上的评估结果。第5节讨论了在先前研究背景下的发现，概述了该方法的优点和局限性，以及未来研究的方向。最后，第6节总结了主要结论。

**2. 方法**
**2.1. AE数据获取**
本研究中用于微调、验证和评估AST模型的AE数据来自(Shanbhag等人，2020年)[20]使用专用液压测试平台进行的测试，如其工作和后续研究[20,21]中所述。该测试平台包括一个机电缸和一个液压缸头，专门用于模拟典型的密封件老化引起的内部流体泄漏[2]。操作规格总结在表1中。为了研究和分类密封件的状态，只更换了缸头顶部的活塞杆密封件[20]。实验在各种压力条件下进行，使用三种不同磨损程度的密封件：未磨损、半磨损和磨损。对于每种密封件状态，在四个不同的压力条件下进行了实验，分别为10、20、30和40巴。三种磨损状态由密封件样本的物理状态（未磨损、半磨损和磨损）定义，泄漏严重程度通过活塞杆上可见的液压流体（水-乙二醇）的存在以及活塞杆密封件上的划痕严重程度来评估。AE数据使用频率范围为50–400 kHz、共振频率为150 kHz的AE传感器收集，直接安装在活塞杆上，因为活塞杆与活塞杆密封件直接接触。选择高频AE传感器而不是低频振动监测是因为需要特定于组件的诊断；高频采集允许将密封件相关的摩擦噪声与复杂液压系统中普遍存在的低频机械噪声分开[20]。先前的研究（Shanbhag等人，2020年）[20]表明，密封件磨损信号主要位于50–100 kHz范围内，因此所有AE信号都经过带通滤波到该范围。传感器通过一个前置放大器（40 dB增益）和五米同轴电缆连接到数据采集系统，测试以1 MS/s的采样率进行[2]。该研究[20]还报告了AE幅度随磨损的变化，区分了非泄漏（未磨损）和泄漏状态（半磨损和磨损），以及密封件相关频段内的功率谱密度和带功率的差异，这使得能够区分半磨损和磨损的密封件。这些观察表明，磨损标签与记录的AE信号中的可测量差异相对应[20]。有关数据采集和AE信号处理的更多细节，请参见[20,21]。

**表1. 液压测试平台的操作规格。**复制自Shanbhag等人（2020年）和Shanbhag等人（2021年）[20,21]。此外，提供密封件磨损数据的实验还同时收集了来自轴承带的数据[21]。如[21]中详细所述，活塞杆密封件和轴承带都安装在测试平台的同一加压法兰内。因此，轴承元件也经历了与密封件相同的往复运动和压力条件，压力范围从10到40巴。为了满足多组件监测的更广泛要求，本研究阶段使用了工作频率范围为15-1000千赫的宽带声发射（AE）传感器[21]。这个额外的数据集被用作次要测试案例，以评估适应性AST框架的鲁棒性和跨组件通用性。

2.2. AST模型
架构：图1展示了AST架构[14]。首先，输入的音频信号被转换为对数梅尔频谱图，应用25毫秒的汉宁窗口和10毫秒的跳跃大小，遵循Gong等人（2021年）[14]的方法。然后将2D频谱图分割成16×16的块序列，块与块之间的重叠为6，通过线性投影层将其线性投影成维度为768的一维块嵌入。每个块嵌入都加上一个可训练的位置嵌入，使模型能够捕捉音频频谱图的空间结构。在序列的开头添加了一个额外的分类标记（CLS），然后将得到的序列输入到Transformer中。为了便于迁移学习，AST框架[14]保留了Vaswani等人[18]引入的标准Transformer编码器配置，没有进行修改。Transformer编码器包含12层和12个头部，嵌入维度为768，与[14,17]中的配置一致。最终的CLS标记被输入到一个线性层，该层将音频频谱图表示映射到原始频谱图的标签上进行分类[14]。AST架构的一个关键特性是变压器的自注意力机制，它允许每个频谱图块与输入序列中的所有其他块进行交互。这使得模型能够捕获整个频谱图的全局上下文[14,17]。

图1. AST的架构。复制自Gong等人（2021年）[14]。2D音频频谱图被分割成带有CLS标记的块。虽然Transformer模型通常需要大规模的数据集进行训练——而音频数据集通常比图像数据集小——但AST架构通过利用ImageNet预训练克服了这一限制。由于音频频谱图和图像具有相似的格式，模型可以有效地利用跨模态迁移学习[14,17]。这种预训练不仅提供了丰富的通用表示，而且还减少了微调通常所需的大量数据，这对于我们有限的AE数据集来说尤为重要。有关AST架构及其官方实现的详细信息，读者可以参考Gong等人[14]和相关的公共仓库[22]。

3. AST模型的微调和适配
对于本研究，AST模型是从官方GitHub仓库[22]（2025年1月访问）中获取的，该模型在完整的AudioSet数据集上进行了预训练，具体来说是“Full AudioSet, 10 tstride, 10 fstride, with Weight Averaging (0.459 mAP)”配置，这代表了AST论文[14]中报告的最佳单一模型。因此，该模型受益于通过ViT的ImageNet预训练和AudioSet预训练，为下游的音频分类任务提供了强大的初始化。

AST模型针对液压密封件磨损分类的适配和微调包括四个主要阶段：
1. AE信号的预处理：根据AST模型的要求准备信号。
2. 数据集创建和增强：扩大微调数据集的规模，以减少样本量和类别不平衡。创建并标记用于微调、验证和评估的数据集。
3. 框架扩展的实现：修改训练逻辑，包括选择性层冻结和基于验证的提前停止功能。
4. 监督微调：在准备好的AE数据集上对预训练的AST模型进行微调，该数据集包含三个密封件磨损类别（未磨损、半磨损、磨损）。

3.1. AE数据的预处理
在用于模型微调之前，AE信号经过了预处理，以确保与AST模型的输入要求兼容。这个流程的主要目标是将50-100 kHz的磨损信号转换到AST模型所需的较低频率范围，同时不丢失潜在的诊断信息。原始的AE记录以1 MS/s的采样率进行采样，并经历了以下信号处理步骤：带通滤波、异频处理、低通滤波和下采样，如图2中的预处理流程图所示。

图2. AE信号预处理：我们裁剪了图像以减少空间。请确认。LMS：已确认。流程：带通滤波（50-100 kHz），异频处理到0-50 kHz，低通滤波，然后下采样到16 kHz以用于AST输入。
1. 带通滤波（50-100 kHz）：使用10阶巴特沃斯带通滤波器过滤原始AE信号，以隔离与密封件磨损相关的频率范围并去除无关噪声。之前的条件监测研究（Shanbhag等人，2020年）[20]观察到，与密封件磨损相关的AE频率落在这个范围内。这个隔离的带域显示在图3(1)中。
图3. 预处理步骤中的AE信号可视化。(1) 50-100 kHz带通滤波后的信号，(2) 显示频率移动和高频伪影的异频处理后的信号，(3) 8 kHz低通滤波后的信号，(4) 最终下采样到16 kHz的信号。所有幅度都已标准化。
2. 异频处理：为了将频率带转换到适合基于音频的模型的范围，带通信号通过与50 kHz余弦本地振荡器的乘法进行异频处理：
(1) 这个操作在将50-100 kHz带移动到0-50 kHz的同时保持了相对的频谱结构。结果频率移动显示在图3(2)中。
3. 低通滤波：异频处理后，应用了截止频率为50 kHz的10阶巴特沃斯低通滤波器，以去除异频处理过程中产生的高频伪影。在下采样之前，还应用了一个截止频率为8 kHz的额外低通滤波器，以防止混叠。去除伪影和隔离基带信号的过程显示在图3(3)中。
4. 下采样：将结果信号从1 MS/s重新采样到16 kHz，产生与在16 kHz音频频谱图上训练的AST模型兼容的信号。用于模型输入的最终保留信号见图3(4)。
这种预处理确保每个AE样本都可以转换为与AST模型预期输入形状一致的频谱图，从而实现可靠和高效的特征提取。

轴承条数据集的预处理流程与密封件数据相同：包括带通滤波和异频处理，然后根据AST模型的要求下采样到16 kHz。为了捕捉轴承条的特定声学特性，带通滤波器的频率范围调整为15-30 kHz，相应的异频处理频率为15 kHz，因为这些频率被认为包含了与该组件相关的最显著的磨损信息[21]。除了这些特定于信号的频率调整外，流程保持不变，以保持评估一致性。

3.2. AE数据的增强
原始的密封件数据集包含252个样本，这是一个较小的数据集。此外，数据集是不平衡的；未磨损的样本数量是磨损样本的两倍。为了解决这些问题，只对微调数据集应用了数据增强。评估和验证数据集只包含未经增强的数据。增强技术包括高斯噪声添加、时间拉伸、音高移动和时间移动，对于每个类别的每个音频文件，生成了多个增强版本。这些变换将微调数据集的多样性和大小增加了大约2-2.5倍。数据增强通常用于机器学习中，以增加数据多样性并减少数据受限情况下过拟合的风险[23]。然而，先前的研究表明，增强超过原始数据集的3-5倍可能会产生递减的回报并引入伪影[24]。因此，本研究中的增强因子限制在大约2.5倍，以增加数据集的多样性，同时避免不现实的信号失真。数据集被分为微调（80%）、验证（10%）和评估（10%）三个子集，这符合AST模型的要求。这样，微调集每个类别有130个样本（总共390个样本），而验证和评估集保持不变，每个类别有16个样本（每个48个样本）（表2）。所有预处理后的样本，包括增强数据，都被标记为三个密封件磨损类别（未磨损、半磨损、磨损），以形成微调、验证和评估的真实数据集。

3.3. 轴承数据集
对于轴承案例研究，数据集总共包含452个样本，这足以进行训练，无需合成数据增强。这些样本被分为三个磨损状态，与密封件研究相同：未磨损、半磨损和磨损。为了保持方法的一致性，轴承数据集按照与密封件研究相同的百分比分布进行了划分：80%用于微调，10%用于验证，10%用于评估，分别得到361个、45个和46个样本。

为了进一步挑战模型的鲁棒性，对轴承数据采用了简单的随机划分，没有进行手动类别平衡，如表3所示。这种方法故意在训练集和验证集之间引入了分布上的差异，从而更严格地测试了模型在不依赖训练阶段多数类偏见的情况下跨不同类别频率的泛化能力。具体来说，虽然未磨损是微调集中的多数类别（39.9%），但在评估集中半磨损成为多数类别（45.6%）。尽管分布未经筛选，但仍然取得了高准确率，这表明AST框架学习了与磨损相关的判别性声学模式，而不仅仅是依赖于类别频率统计。

3.4. 模型适配和微调
对原始训练流程进行了修改，重点关注训练循环控制逻辑，例如微调期间的选择性层冻结和提前停止功能。选择性冻结AST骨干层的能力使得只能微调最终的分类头和选定的变压器块子集（总共12个）。这种修改促进了模型对目标数据的逐步适应，同时保留了预训练的表示。提前停止机制基于验证损失，旨在防止过拟合，耐心参数指定了连续几个周期没有改进的次数。基于验证损失选择最佳模型可以确保对未见数据的最佳泛化[25]。在本研究中，如果验证损失五个连续周期没有改善，则终止训练，并保留最低验证损失对应的检查点进行评估。此外，训练流程被修改为保存达到最低验证损失的模型（提前停止的模型）和微调结束时的最终模型，允许对这两个检查点进行后续评估。系统地评估了多种微调配置，实验了超参数，如未冻结层的数量、学习率、批量大小和增强设置等，以确定最佳平衡AE特定适应性和泛化的配置。冻结大部分层将适应限制在AE领域内，而解冻所有层则会导致过拟合，这与在NLP任务中的Transformer模型（如BERT和RoBERTa）中的观察结果一致，其中部分微调可以实现接近最优的性能[26]。此外，还应用了频率掩码、时间掩码、噪声注入和学习率热身策略等技术，以进一步增强微调期间的模型泛化。最终的分类头使用交叉熵损失进行了优化，该损失直接惩罚错误的类别概率分配，并为更快收敛提供稳定的梯度[27]。如3.2节所述，使用增强后的微调数据集以监督方式进行模型微调，在每个周期后使用验证集评估性能，并使用验证损失来监控微调进度并触发提前停止。最终的最佳配置包括解冻最后五个Transformer编码器层以及分类头，而其余层保持其预训练权重，使模型能够适应AE特定的特征，同时保留对未见数据的通用声学表示。

表4总结了在最终微调配置中使用的超参数值，适用于密封件磨损和轴承磨损案例。

为了评估框架的跨组件通用性，AST模型也被应用于轴承数据集。这个测试案例使用了与密封件研究相同的超参数配置，包括相同的学习率、批量大小和层冻结策略（解冻最后5个Transformer层和分类头）。为了测试模型在未经筛选条件下的鲁棒性，使用了原始的、不平衡的轴承数据集，没有进行合成增强，数据集包含361个微调样本、45个验证样本和46个评估样本（表3）。基于AE的磨损分类的Adapted AST框架的工作流程如下：

输入：原始AE信号
输出：微调后的AST模型和评估指标

预处理原始AE信号，使用独立脚本应用组件相关的带通滤波、混频、低通滤波，并将其下采样到16 kHz，然后将处理后的信号保存为FLAC文件。
根据文件名模式为处理后的FLAC文件分配类别标签，并构建数据集JSON文件。
将标记的数据集分为80%的微调子集、10%的验证子集和10%的评估子集。
仅针对密封件微调子集，应用数据增强，使用高斯噪声添加、时间拉伸、音高移动和时间移动来改善类别平衡并增加数据集大小。轴承微调子集不进行合成增强。
设置微调配置，包括加载预训练的AST检查点、定义层冻结配置、设置超参数，并指定提前停止的耐心值。
对于每个微调周期：
(a) 在微调数据集上微调模型；
(b) 计算验证子集的验证损失；
(c) 如果验证损失低于之前记录的最佳验证损失，则将当前模型权重保存为“最佳”候选，并将耐心计数器重置为0；
(d) 如果验证损失没有改善到全局最小值（迄今为止记录的最佳验证损失），则将耐心计数器增加1；
(e) 如果耐心计数器达到5，则提前停止机制将终止微调过程以防止过拟合。
在微调结束时保存提前停止的模型和最终检查点模型。
在保留的评估集上评估两个保存的模型。
计算准确率、AUC、评估损失、mAP和混淆矩阵。

所提出的微调程序，包括策略性的层冻结机制和提前停止标准，在算法1中有详细描述。这种方法确保了从AudioSet和ImageNet数据集中学习到的高级特征得以保留，同时分类头和最后五层针对特定的声发射磨损模式进行了优化。

3.5. 性能指标
为了评估AST模型在分类磨损状态方面的性能，本研究考虑的主要性能指标是准确率、AUC和评估损失。由于密封件磨损和轴承条任务都是单标签分类问题，因此使用准确率作为主要评估指标，因为它直接衡量了正确分类样本的比例。AUC作为补充指标包括在内，以评估类别的可分性，而评估损失用于监控预测类别概率与真实标签之间的一致性。mAP也仅为了完整性和与之前的基于AST的评估实践[14]的可比性而报告，并不作为评估分类性能的主要标准。
准确率的定义为：
(2)
这里，、、和分别表示真正例、假正例、假负例和假负例的数量。在当前的多类设置中，这对应于正确分类样本与评估样本总数的比率。报告准确率也是为了与之前使用相同AE数据的SVM和ANN研究[2,3]保持一致性。然而，当类别边界重叠或某些磨损状态更难以区分时，准确率可能无法完全反映模型性能[28]。因此，还包含了AUC作为补充指标，以评估模型区分各个类别的有效性，其中AUC为1.0表示完美区分，AUC为0.5表示随机猜测[29]。mAP也作为辅助指标报告，以保持与之前的基于AST的评估实践[14]的可比性。然而，在本研究中，它仅为了完整性和可比性而包括，并不作为评估分类性能的主要标准。除了这些标量性能指标外，还检查了混淆矩阵，以提供关于模型预测的类别级洞察。与准确率等总体指标不同，混淆矩阵揭示了哪些磨损状态最常被混淆，从而可以对模型行为进行更详细的解释[30]。最后，监控评估损失以评估模型在评估期间的行为。较低的损失表明预测类别概率与真实标签之间有更好的一致性，从而提供了模型收敛和预测置信度的额外指示。

算法1 带有选择性层解冻和提前停止的AST微调
需要：预训练的AST权重、微调数据集、验证数据集、评估集、耐心值、最大周期数
确保：最佳模型（提前停止）、最终周期模型
1. 模型初始化与冻结机制：
2: 为所有参数设置... ? 冻结所有层
3: 解冻分类头和最后5个Transformer层
4: 初始化...
5:
2. 微调和提前停止循环：
6: 对于每个... do
7: ? 仅更新5层+分类头
8: 9: 如果... then ? 发现新的全局最小值
10: 11: ? 保存提前停止的模型检查点
12: ? 重置耐心计数器
13: else
14: 15: if... then ? 达到耐心限制
16: ? 在微调结束时保存状态
17: break ? 触发提前停止
18: end if
19: end if
20: end for
21:
3. 模型评估：
22: ? 评估提前停止的模型
23: ? 评估最终周期模型
24: 返回... 和指标

4. 结果
4.1. 密封件磨损的评估
在微调期间未使用的保留数据集上评估了微调后的AST模型。该数据集每个类别包含16个样本（总共48个样本），在三个类别之间提供了平衡的代表。评估是在达到最低验证损失的检查点（提前停止的模型）和微调结束时保存的最终检查点上进行的。
提前停止的模型取得了高性能，总体准确率为97.92%，AUC为0.9954，评估损失为0.121（表5）。这些结果表明了强大的分类性能、出色的类别可分性以及预测概率与真实标签之间的一致性。此外，还观察到了0.9925的高mAP值，这与总体性能一致，并且为了与之前的基于AST的评估实践[14]进行比较而报告。相比之下，微调结束时的最终检查点获得了稍低的准确率（93.75%），这突显了提前停止在识别具有最佳泛化能力的模型检查点方面的好处。
表5. 在保留的AE数据集上AST模型的评估指标。结果展示了提前停止的模型和最终检查点模型。
图4显示了在微调AST模型过程中的微调和验证损失。提前停止在第19个周期触发，最小验证损失出现在第18个周期。提前停止的模型（第18个周期）和最终模型（第23个周期）都被保存下来，允许对这两个检查点进行训练后的评估。在微调分类头和选定的Transformer块时，对主干网络应用了层冻结，以保留预训练的表示。
图4. 在微调AST模型过程中的微调和验证损失，以及准确率和AUC。
使用混淆矩阵进行的类别级分析（图5）仅显示了一个错误分类，模型将密封件预测为半磨损而不是未磨损，展示了在所有类别中的强大区分能力。
图5. 微调模型的密封件评估混淆矩阵。这些结果表明，微调后的AST模型能够以最小的错误对密封件磨损情况进行稳健的分类，并且提前停止有效地识别出具有最佳泛化能力的模型检查点。
尽管数据集规模较小，但模型通过仔细的超参数调整展示了强大的适应性，实现了稳定和准确的性能。与之前的研究[31,32,33]一致，采用了相对较低的学习率来稳定微调，减轻过拟合，并确保从有限的数据中有效学习。先前的研究[31,33]表明，较小的数据集特别受益于较低的学习率，促进平滑收敛和改善泛化。

4.2. 轴承磨损的评估
为了评估该框架在不同机械组件上的多样性，将适配的AST模型在3.3节描述的轴承条数据集上进行了微调并进行了评估。为了确保对架构鲁棒性的严格评估，微调过程使用了与密封件磨损分类任务相同的超参数和训练配置（表4）。在这种相同的配置下，包括解冻最后五个Transformer层，提前停止在第11个周期触发。在指定的五个周期的耐心值之后，微调过程在第15个周期终止。比较检查点发现，提前停止的模型（第10个周期）获得了95.65%的总体准确率，而最终检查点模型（第15个周期）的准确率为93.48%。这种差异在表6中进行了总结，支持使用验证损失驱动的提前停止来识别最佳泛化点，并防止训练后期性能的下降。
表6. 在保留的轴承AE数据集上AST模型的评估指标。结果显示了提前停止的模型和最终检查点模型。
这一结果表明，适配的AST框架可以泛化到不同机械组件的声学特征，从密封件扩展到轴承条，而无需手动设计的特征或对核心架构进行任务特定的修改。
使用混淆矩阵进行的类别级分析（图6）显示了两个错误分类：一个是将半磨损预测为未磨损，另一个是将未磨损预测为半磨损。这表明在所有类别中都具有强大的区分能力，特别是对于磨损状态实现了100%的准确率。
图6. 微调模型的轴承评估混淆矩阵。
在不同机械组件和不同频率带之间保持的高准确率表明，AST框架可以学习与退化相关的可转移声学模式。

5. 讨论
本研究是对使用之前使用SVM和ANN方法[2,3]分析的已知实验数据集进行的基于Transformer的表示学习的初步研究。因此，这项工作应被视为使用相同的实验数据集的方法论进展的一部分，使得在一个一致的实验框架内进行比较成为可能。如表7所示，与这些早期方法相比，这些方法依赖于手动设计的AE特征，适配的AST模型在学习直接从频谱图输入的区分性表示时实现了可比的分类准确率。值得注意的是，虽然基于基线的ANN在使用手动设计的特征时获得了高准确率，但当在未经此类特征选择的过滤原始AE信号上进行训练时，其性能下降到了81%。因此，这项研究表明了基于注意力的表示学习用于基于AE的密封件磨损诊断的可行性。
表7. 使用相同AE数据的AST与SVM和ANN基线的比较性能。
原始实验研究[20,21]中的观察结果表明，密封件磨损的增加会导致AE幅度和频谱特征的明显变化，这些变化通过功率谱密度和密封件相关频率范围内的带功率反映出来。由于磨损标签对应于物理定义的密封件状态和可测量的AE信号差异，AST模型学习的区分模式可以解释为直接从AE数据中学习的与磨损相关的特征。这种解释可以与Transformer的自注意力机制联系起来，该机制使AST能够模拟频谱图块之间的关系，从而直接从AE表示中学习与磨损相关的时间-频率模式，而无需手动设计的特征。
为了评估AST框架在主要密封件分类任务之外的性能和适应性，使用轴承条数据集进行了二次测试。如表8所总结的，在这种次要组件上实现的高分类准确率（95.65%）支持了该框架在不同机械组件和声学频率范围内的适应性。值得注意的是，这种性能是在一个未经筛选的数据集上保持的，其中评估集的类别分布与微调集不同。虽然模型在训练期间主要暴露于未磨损的样本，但在评估期间正确地将半磨损识别为大多数类别，且预测能力没有损失。这表明Transformer的注意力机制能够捕获与退化相关的区分性声学模式，而不仅仅是学习微调数据的类别频率统计信息。此外，磨损状态的100%召回率具有特别的工业意义，因为未能检测到磨损的轴承通常会带来更高的维护成本和安全风险[34]。
表8. AST框架的跨组件性能比较。表8提供了模型在两种机械部件上的性能和收敛行为的详细对比。迁移学习在利用有限的模拟仿真（AE）数据进行有效模型训练方面发挥了重要作用。预训练的AST模型利用了从大规模视觉（ImageNet）和音频（AudioSet）数据集中学到的表示方法，从而在微调过程中促进了稳定的收敛，并减少了所需标记AE数据的量。此外，在微调过程中只有最后五层Transformer和分类头被解冻，而之前的层保持冻结状态。这种选择性微调策略代表了AST的参数高效适应，这对于在数据受限的工业环境中减轻过拟合至关重要。这种方法使模型能够在保留预训练中学到的通用声学特征表示的同时，将更高层次的表示适应于液压密封件磨损产生的AE信号的特定特征。尽管实验AE数据集的规模小且数量少，但仍然实现了高分类准确率，这表明即使在缺乏大规模故障数据集的情况下，这种基于Transformer的框架也能从有限的标记数据中有效学习，表明其适用于基于AE的工业诊断。通过比较早期停止模型和最终模型的评估结果可以看出，基于验证的早期停止有助于在未见数据上保持分类准确率。尽管当前的结果展示了高数据效率，但在更大、更独立的实验数据集上进行进一步验证将增强对所提出方法泛化能力的信心。因此，未来的工作应优先考虑获取额外的AE测量数据以增加数据集规模，改善类别平衡，并能够在不同工作条件下收集的独立数据集上进行验证。此外，系统地与其他基于Transformer的音频架构进行基准测试，并整合可解释的人工智能（XAI）技术，可以更深入地了解用于分类的频谱-时间特征，提高可解释性，并支持对磨损相关AE模式的理解。此外，未来的工作还可以将此框架集成到实时边缘计算设备中，利用模型的高效收敛和选择性微调策略，在工业环境中实现连续、自主的健康监测。

6. 结论

据我们所知，基于Transformer的音频架构此前尚未被应用于液压缸中基于AE的密封件磨损分类。总体而言，本研究的贡献在于展示了通过实施微调过程中的控制层冻结、基于验证的早期停止以及信号预处理，预训练的AST框架可以有效地适应数据受限条件下的基于AE的磨损分类，将高频AE测量数据转换为模型兼容的输入。总之，经过适应的AST框架在未见AE密封数据上实现了准确的分类，密封件磨损的准确率为97.92％，成功区分了未磨损、半磨损和磨损的密封状态。该模型从预处理的AE频谱图中自动学习了具有区分性的表示，消除了手动设计特征的需要，并捕获了与密封件磨损内在相关的模式。此外，通过使用在大规模数据集上预训练的模型并实施具有控制层冻结的选择性微调策略，该框架有效地适应了AE信号的特定特征，同时在数据受限的情况下减轻了过拟合。这些结果突显了纯基于Attention的Transformer架构在条件监测应用中进行基于AE的密封件磨损诊断的潜力。该框架还被应用于来自同一液压试验台的另一个轴承带数据集。使用相同的微调配置，经过适应的AST模型在磨损状态的准确率为95.65％，召回率为100％，表明该框架可以在同一实验平台内的两个基于AE的磨损分类任务中重复使用。