面向滚动轴承故障诊断机器学习模型更贴近现实的评估方法

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：Towards a more realistic evaluation of machine learning models for bearing fault diagnosis

　　

研究人员指出，滚动轴承故障诊断领域中数据泄漏(Data Leakage)普遍存在并导致模型性能被人为虚高；严格的轴承级(Bearing-wise)训练-测试划分是消除数据泄漏的必要手段；多标签(Multi-label)建模形式能够实现更精确且符合实际的评估；在四个公开数据集上的严格评估揭示了轴承多样性对泛化的重要影响；传统基于特征工程的浅层模型在某些数据集上可优于深度学习模型。

论文解读：《Towards a more realistic evaluation of machine learning models for bearing fault diagnosis》发表于Mechanical Systems and Signal Processing

一、研究背景与问题提出

滚动轴承作为旋转机械的关键部件，其故障早期诊断对降低意外停机和提升维护效率具有重要意义。近年来机器学习(Machine Learning, ML)尤其是深度学习(Deep Learning, DL)被广泛应用于轴承故障诊断，但该领域普遍存在因数据划分不当导致的数据泄漏(Data Leakage)问题——即同一物理轴承的信号同时出现在训练集与测试集中，使模型通过记忆轴承个体特征(Bearing-specific Artifacts)而非学习通用故障特征来获取虚高准确率。已有调研显示，2008至2020年间使用CWRU(Case Western Reserve University)数据集的41篇研究中40篇存在相似性偏差(Similarity Bias)，2020至2024年55篇中仅6篇采用严格划分。即便是2025年发表的18篇最新论文中，多数仍采用随机划分或工况条件划分(Condition-wise Split)，未能杜绝轴承级泄漏。此外，传统多类分类(Multiclass Classification)结合整体准确率(Accuracy)难以反映类别不平衡下漏检与误报代价差异，也无法处理共存故障(Co-occurring Faults)。基于此，研究人员开展了严格控制变量以隔离数据泄漏影响的评估方法研究，并提出基于多标签二元分类(Multi-label Binary Classification)的更贴近实际的评价体系。

二、主要关键技术方法

研究人员选取CWRU、Paderborn University(PU)、University of Ottawa(UORED-VAFCLS)及HUST四个公开振动信号数据集。核心方法包括：(1)严格轴承级划分(Bearing-wise Split)——确保同一物理轴承所有工况与健康状态信号仅出现于训练或测试之一；(2)多标签问题构建——将各故障类型(内圈/外圈/滚珠/保持架)独立设为二元分类器，健康状态为全负，采用Sigmoid激活与二元交叉熵损失；(3)双交叉验证(Double Cross-Validation, CVM-CV)——内层用于超参数调优，外层用于性能估计，防信息泄漏；(4)评估指标采用与患病率无关的受试者工作特征曲线下面积(Area Under the ROC Curve, AUROC)及宏平均AUROC(Macro AUROC)；(5)对照实验固定已训练模型仅更换测试集（含泄漏与无泄漏），以排除训练多样性变化带来的混淆；浅层模型使用包络谱特征(RMS、峭度、故障特征频率幅值等)配合Random Forest与SVM，深度模型采用WDCNN(Wide First-layer Kernel Deep CNN)并以时域/频域/包络谱为输入，辅以随机裁剪(Random Crop)与随机增益(Random Gain)数据增强。

三、研究结果

3.1 数据泄漏(Toy Example与实证)

通过合成数据(含轴承身份特征与故障预测特征)及三个真实数据集的固定模型—变测试集实验，研究人员发现：含分割段级泄漏(Segmentation-level Leakage，同信号不同段分属训练/测试)与轴承级泄漏(Bearing-level Leakage，同轴承分属训练/测试)的测试集均产生统计显著(p<0.001)的性能虚高——PU与CWRU数据泄漏场景可达近100% Macro AUROC，而严格无泄漏评估大幅降低(如PU包络谱无泄漏约79.6%，CWRU Random Forest约85%)。证明性能衰减源于数据泄漏而非训练样本减少。

3.2 UORED-VAFCLS数据集结果

WDCNN频域输入获最高Macro AUROC 93.12%±4.26%(浅层Random Forest为85.58%)。各故障独立ROC显示内圈、外圈、滚珠故障AUROC>0.967，保持架(Cage)故障仅约0.808。训练轴承数增多(4:1 vs 1:4)显著提升泛化性能，证实轴承多样性是关键驱动因素。

3.3 PU数据集结果

天然退化轴承子集有限导致深度模型泛化挑战，包络谱输入WDCNN达Macro AUROC 79.56%±13.07%，浅层Random Forest为69.76%。内圈故障AUROC≈0.90，外圈仅≈0.69。同样观察到训练轴承数增加单调提升性能。

3.4 CWRU数据集结果

Random Forest(手工特征+包络谱)Macro AUROC 85.06%±8.92%优于WDCNN(包络谱74.51%)，说明该数据集小样本与低多样性使浅层模型更具优势。因CWRU仅有两个健康轴承，需特殊处理(驱动端/风扇端分开分配)以防健康类泄漏。增大训练轴承比例略有提升但受数据集结构限制明显。

四、讨论与结论总结

研究人员讨论指出：(1)严格轴承级划分是防止评估偏差的最低要求；(2)CWRU因单健康轴承与少故障轴承结构难以完全消除健康类泄漏且训练多样性不足，更适合做算法初步验证而非最终泛化断言，推荐PU、UORED-VAFCLS等多轴承数据集；(3)深度学习在泄漏评估下未必全面优于浅层模型，后者应作为基准纳入比较；(4)输入表征(频域/包络谱)对深度模型性能影响显著且与数据集特性相关；(5)轴承多样性(Inter-bearing Diversity)而非单纯样本量决定泛化能力。

研究结论(翻译自Conclusion)： 本文论证了不当数据划分致数据泄漏会使轴承故障诊断ML模型性能被高估，通过在四个公开数据集实施严格轴承级划分发现模型表现高度依赖数据集多样性、输入表征及学习方法。除严格划分外，研究人员提出多标签框架较传统多类分类具更高数据效率、可处理共存故障并利用患病率无关指标(ROC、Macro AUROC)精细评估。结果表明浅层学习在某些数据集可超越深度学习，强调其应作为基准。研究人员给出如下建议：采用轴承级划分；在具不同属性数据集中测试并选含足量每类轴承的数据集；明确超参数调优独立于最终评估；采用多标签形式与Macro AUROC；包含浅层模型作基线；共享代码与划分方案以保障可复现性。通过上述实践可推动更可靠、可泛化的轴承故障诊断ML系统发展。

源代码发布于：https://github.com/gama-ufsc/bearing-data-leakage