基于预训练视觉Transformer的机器故障诊断中的锐度感知平坦化技术以实现领域泛化

《Engineering Applications of Artificial Intelligence》：Sharpness aware flattening for domain generalization with pre-trained vision transformer in machinery fault diagnosis

　　李建斌|陈文华|齐泽辉
中国北京102206，华北电力大学控制与计算机工程学院

摘要
领域泛化方法旨在提升机械故障诊断模型在未知工作条件下的适应性。然而，复杂多变的工业运行环境依然对模型的泛化能力构成挑战。尽管大规模预训练模型已展现出一定的泛化能力，但其在故障诊断中的应用仍较为有限。为解决这一问题，本文提出了一种基于预训练视觉变换器的、具有清晰度感知的平坦化策略（SDGViT），用于机械故障诊断中的领域泛化。首先，设计了一种参数较少的动态映射低秩适配器（DMLR），该适配器通过引入可学习的缩放向量来增强模型的表达灵活性，使其能够在保留预训练视觉变换器特征提取能力的同时，从诊断数据中挖掘出具有代表性的特征。其次，所提出的清晰度感知平坦化方法（SAF）通过平坦化损失函数景观来提升模型的泛化能力。具体而言，该方法采用了条件循环高斯平滑策略（CCGS），根据局部损失函数景观的情况自适应地平滑长距离优化路径，从而帮助模型更快达到更好的全局最优解。同时，还提出了变清晰度感知最小化方法（VSAM），用于平滑短距离损失函数景观，该方法能够同时最小化损失值和清晰度，促使模型在较低损失值处收敛到理想的平坦区域。在故障诊断案例上的实验结果表明，SDGViT相较于其他领域泛化方法更具优势，平均测试准确率可达98.74%，在机械故障诊断中展现了出色的泛化能力。

引言
随着信息技术的快速发展，工业领域正在经历深刻变革，这带来了对机械设备智能运维的迫切需求（Lu, 2025）。作为工业设备中的关键部件，旋转部件需要满足极高的可靠性和安全性标准（Dongming, 2024）。为避免人员伤亡、过高的维护成本以及因设备故障或生产中断造成的损失，亟需改进故障诊断技术（He et al., 2026）。人工智能领域的最新进展极大地推动了深度学习技术在旋转机械智能故障诊断中的应用（Keshun et al., 2025）。深度学习技术能够自动从信号中提取状态特征（Raouf et al., 2024），从而减少对专家知识的依赖并降低劳动力成本（Su et al., 2024）。卷积神经网络（CNN）（Tang et al., 2024）、堆叠自编码器（L. Liu et al., 2024）以及长短期记忆网络（Wang and Zhao, 2025）等方法都取得了良好的诊断效果。不过，这些方法都假设训练数据和测试数据之间的条件保持一致，而实际工程应用中往往存在不同的运行状态，从而导致数据分布发生变化（Chen et al., 2023）。因此，领域自适应方法逐渐受到关注，这类方法旨在调整源领域与目标领域之间的数据分布，进而提升模型的性能（Han et al., 2024）。大多数领域自适应方法（Du et al., 2024, Gao et al., 2024, Tian et al., 2024）都采用对抗学习或距离度量方法来缩小领域差异。然而，训练过程中对目标领域数据的依赖限制了这类方法在工业场景中的实用性。

领域泛化则着眼于提升模型在未知环境中的泛化能力。基于领域泛化的故障诊断无需目标领域数据即可进行训练，从而避免了领域自适应方法的局限性。这种方法能有效减少模型在条件变化或未知环境下的性能下降，进而拓宽模型在工程场景中的应用范围（Wan et al., 2025）。基于领域泛化的故障诊断方法通常可分为三类（Pang et al., 2024）：表示学习、数据处理和学习策略。基于表示学习的方法通常通过学习跨领域的不变特征表示来提升模型的泛化能力。例如，Wang等人（2023）提出了结合领域对齐技术的领域不变分类器，旨在通过提取领域不变特征来提升泛化能力。Jia等人（2024）则通过提升标签层和领域层的分布相似性来学习通用特征，以提高对未知故障的诊断精度。Hua等人（2025）提出了内部不变特征和相互不变特征，以解决在未知运行条件下的故障诊断领域泛化问题。基于数据处理的方法则通过数据增强或生成技术，使故障诊断模型能够学习到通用表示。Li等人（2023）基于源领域构建了增强后的领域，从而丰富源领域数据，并通过对抗训练学习通用特征。Zhao和Shen（2024）设计了语义正则化网络，通过合成更多源领域样本来提升数据质量，进而增强模型的泛化能力。基于学习策略的方法则侧重于利用通用学习技术来提升模型的泛化能力。Azari等人（2025）引入了数字孪生技术，并将对抗学习与领域差异度量相结合，以促进特征泛化。Wu等人（2025）则将因果学习融入对抗学习中，实现特征解耦，进而提升学习到的领域不变特征的质量。上述方法均致力于学习领域不变表示以提升模型泛化能力，虽然已取得一定成效，但由于工程应用环境的复杂性和多样性，故障诊断模型仍然面临泛化能力不足的问题。

近年来，大规模预训练模型在多个领域展现出了出色的推理和泛化能力（Rombach et al., 2022）。例如在计算机视觉领域，视觉变换器（ViT）（Cho et al., 2023）被广泛应用于对比语言图像预训练（CLIP）（Radford et al., 2021）等框架中，在表示学习方面表现极为出色。这些进展表明，利用预训练模型提升故障诊断模型的泛化能力具有很大潜力（Chen et al., 2024）。然而，在不同运行条件或不同机器上诊断组件故障时，现有的领域泛化模型仍表现出有限的性能（Tao et al., 2025）。这说明，尽管预训练模型具备出色的特征提取能力，但其在基于领域泛化的故障诊断中的应用潜力尚未得到充分挖掘。因此，如何有效将预训练模型与故障诊断技术相结合以应对泛化难题，仍是一个有待解决的问题。为此，需要解决两个关键问题：（1）故障诊断模型如何有效继承预训练模型的特征提取能力；（2）如何提升预训练模型在未知目标领域的泛化性能。

为解决上述问题，本文提出了一种基于预训练视觉变换器的、具有清晰度感知的平坦化策略（SDGViT），用于机械故障诊断中的领域泛化。一方面，SDGViT将新的数据模式引入预训练模型，使模型能够在利用预训练知识的同时，适应诊断数据的特点。另一方面，SDGViT通过平坦化长距离和短距离的损失函数景观，从而扩大平坦化范围，进一步提升模型的泛化能力。该方法已在多种故障诊断案例中得到验证，包括不同工作条件和不同机器上的任务，实验结果证明了其有效性，且性能优于其他领域泛化方法。SDGViT显著提升了模型的泛化能力，这也是本文的主要贡献所在。

具体贡献如下：
（1）提出了一种参数较少的动态映射低秩适配器（DMLR），该适配器通过引入可学习的缩放向量来增强模型的表达灵活性。DMLR使得模型能够在保留从预训练数据中提取特征的能力的同时，从诊断数据中提取具有代表性的特征，从而提升了所提SDGViT方法的故障诊断精度和泛化能力。
（2）设计了一种清晰度感知平坦化方法（SAF），用于优化DMLR适配器。为平坦化长距离损失函数景观，该方法采用了条件循环高斯平滑策略（CCGS），根据损失表面的局部清晰度自适应地平滑优化路径。CCGS策略既能保留细节，又能避免过度平滑导致的能量损失，不仅提升了SDGViT的泛化能力，还为模型走向更好的全局最优解提供了有力支撑。
（3）提出了变清晰度感知最小化方法（VSAM），用于对CCGS处理后的损失函数景观进行短距离平坦化。VSAM在梯度分解过程中为每个分支分配不同的缩放因子，以此促使模型在较低损失值处收敛到理想的平坦区域，进而提升模型的领域泛化能力。实验结果表明，所提出的SDGViT方法在故障诊断任务中具有明显优势，且泛化能力优异。

其余部分中，第2节概述相关研究工作，第3节阐述问题描述，第4节介绍SDGViT模型，包括DMLR适配器以及SAF算法中的CCGS和VSAM组件。第5节给出实验验证结果并进行对比分析，第6节则总结全文。

相关研究
现有的数据驱动型诊断模型往往难以在复杂的工业条件下实现良好泛化，尤其是在面对不同运行状态或不同机器时的诊断任务。为解决这一问题，人们将先进的领域泛化技术引入智能故障诊断中，以提升系统的泛化能力。例如，Wang等人（2025b）提出了一种自适应进化重构度量网络，该网络利用自我进化正则化和自适应阈值处理技术……

问题描述
首先，我们明确本研究要解决的领域泛化问题。在领域泛化问题中，存在N个源领域，分别记为{(Xsj,Ysj)}j=1N，其中Xsj={xisj}i=1|Xsj|表示来自源领域j的样本，Ysj={yisj}i=1|Xsj|为对应的真实标签，而UTD Xt={xit}i=1|Xt|则为无标签样本。这里，i表示样本数量，s代表源领域，t代表目标领域，j表示具体的领域。由于运行条件的变化，目标领域的分布Pt与各源领域的分布（Ps,1≠Ps,2≠…≠Ps,N≠Pt）存在差异。

所提出的SDGViT方法
本文提出了一种用于机械故障诊断的SDGViT方法，其整体流程如图2所示。首先，设计DMLR适配器，以继承预训练ViT的特征提取能力，并进一步从诊断数据中挖掘特征。接着，引入SAF算法，通过平坦化长距离和短距离的损失函数景观来优化DMLR适配器，该算法包括CCGS策略和VSAM，二者共同提升了所提SDGViT方法的泛化能力。

实验
为了验证所提出的SDGViT方法的有效性，我们在四个用于故障诊断领域泛化的基准数据集上进行了实验。这些数据集分别来自凯斯西储大学（CWRU）（Smith and Randall, 2015）、江南大学（JNU）（Li et al., 2013）、帕德博恩大学（PU）（Lessmeier et al., 2016）以及智能维护系统数据库（IMS）（Qiu et al., 2006）。这些数据集具有不同的信号特征和不同的诊断复杂度水平。实验结果表明……

结论
本研究探讨了基于预训练模型的领域泛化在故障诊断中的应用。尽管预训练模型具备强大的推理能力，但其在故障诊断领域的应用仍较为有限。为此，我们提出了SDGViT方法，该方法能够有效继承模型中编码的预训练知识，同时从诊断数据中提取具有代表性的故障特征，进而进一步提升机械故障诊断中领域泛化的性能。具体而言，该方法所采用的参数较少的DMLR适配器……

CRediT作者贡献声明
李建斌：写作——审阅与编辑、资金获取、形式分析、数据整理。陈文华：写作——初稿撰写、可视化、软件开发、方法设计、实验研究、概念构思。齐泽辉：写作——审阅与编辑、软件开发、数据整理。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究得到了中国国家重点研发计划的支持（项目编号：2022YFB3103304）。