基于Mel频谱图与振动数据多模态融合及自动化机器学习(AutoML)的旋转机械故障诊断方法

《CMES - Computer Modeling in Engineering and Sciences》：Automated Machine Learning for Fault Diagnosis Using Multimodal Mel-Spectrogram and Vibration Data

　　

为确保旋转机械安全稳定运行，智能故障诊断方法具有重要研究价值。然而现有诊断方法大多依赖人工特征提取与专家经验，在变工况及强噪声环境下适应性差，严重影响诊断模型的泛化能力。针对此问题，本研究提出一种基于Mel-spectrogram与自动化机器学习(AutoML)的多模态融合故障诊断框架。该框架首先从声学信号中提取故障敏感的Mel时频特征，并与振动信号的统计特征融合构建互补的故障表征；在此基础上引入AutoML技术实现端到端诊断流程构建及最优模型配置获取；最终通过自动集成多个高性能基模型的预测完成诊断决策。在离心泵振动与声学数据集上的实验结果表明，所提框架在无噪条件下取得高诊断精度，在噪声干扰下仍保持较强鲁棒性，验证了其用于旋转机械故障诊断的高效性、可扩展性与实用价值。

论文解读：《基于Mel频谱图与振动数据多模态融合及自动化机器学习(AutoML)的旋转机械故障诊断方法》——发表于《CMES - Computer Modeling in Engineering and Sciences》

一、研究背景与意义

旋转机械（如航空航天设备、风机、发动机）是现代工业核心装备，其关键部件（如滚动轴承、齿轮、轴）发生故障会导致生产中断与安全威胁，造成经济损失与人员伤亡，因此故障诊断对保障设备可靠性至关重要。传统故障诊断依赖振动或声学信号结合时域、频域、时频域人工特征提取（如短时傅里叶变换STFT、连续小波变换CWT），但存在三方面局限：①特征提取精度受复杂工况影响大，振动信号易受噪声污染，声学信号对非接触测量敏感但对高频噪声敏感；②高度依赖专家知识与手动特征工程，增加部署与迁移成本；③传统机器学习(ML)与深度学习(DL)方法计算量大、需大量标注数据、缺乏可解释性，在工业现场难以部署。自动化机器学习(AutoML)可自动完成特征工程、模型选择与超参数优化，降低人工干预，但在机械故障诊断中应用尚少且存在"黑箱"问题。为此，Li Zehao、Zhang Xuting、Lin Hongqi、Qin Wu、Qi Junyu、Chen Zhuyun、Liu Qiang（广东工业大学广东省计算机集成制造系统重点实验室及精密电子制造技术与装备国家重点实验室）提出一种基于Mel-spectrogram与AutoML的多模态（振动+声学）融合故障诊断框架，旨在实现端到端自动化诊断并提升噪声环境下的鲁棒性与可解释性。

二、主要关键技术方法

研究人员使用公开离心泵故障数据集（Kumar团队发布），含5种工况：内圈缺陷(inner race defect)、外圈缺陷(outer race defect)、叶轮损伤(wheel cut/impeller damage)、叶轮堵塞(clogging/impeller clogging)及无故障(defect-free)，振动信号（加速度传感器，采样率70 kHz）与声学信号同步采集，原始信号分段为每段2048个数据点样本，并按比例划分训练集与测试集，部分实验引入不同强度高斯噪声（噪声水平α∈[0,1]）模拟工业干扰。关键技术方法包括：①声学信号经librosa库STFT（n_fft=2048, hop_length=300）转为Mel-spectrogram（n_mels=128）后取对数功率谱做离散余弦变换(DCT)提取128维Mel频率倒谱系数(MFCC, Mel-Frequency Cepstral Coefficients)；②振动信号提取时域（均值Mean、方差Variance、波峰因数Crest factor）与频域（谱峰值Spectral peak、能量分布Energy distribution、谱熵Spectral entropy）统计特征共128维；③采用早期融合(Early Fusion)将两种模态特征拼接为256维复合向量并做Min-Max归一化；④基于AutoGluon平台实现自动化特征工程（中位数填补缺失值、PCA保留95%方差降维、递归特征消除RFE与相关分析筛选特征）、贝叶斯优化(Bayesian Optimization, 高斯过程GP代理模型, Matérn 5/2核, 期望改进EI采集函数)搜索LightGBM、XGBoost、Random Forest、CatBoost、K近邻(K-NN, K-Nearest Neighbors)、多层感知机(MLP, Multi-Layer Perceptron)等基学习器超参数；⑤采用两层集成策略——第一层按验证集性能加权软投票(Soft Voting)，第二层以逻辑回归为元学习器做堆叠泛化(Stacked Generalization)；⑥以准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数(F1-score)及混淆矩阵、t-SNE(t-Distributed Stochastic Neighbor Embedding)可视化与SHAP(SHapley Additive exPlanations)值解释性分析评估性能。

三、研究结果

3.1 Mel Spectrogram Results（Mel频谱图结果）

• •
  5.1.1 Effectiveness of Mel-Spectrogram Features in Fault Discrimination（Mel频谱图特征对故障判别的有效性）：对比不同故障状态下Mel-spectrogram可见，外圈缺陷样本在高频段(4000–8000 Hz)有明显能量尖峰（对应轴承表面磨损冲击噪声），无故障样本能量集中于低频(<2000 Hz，对应叶轮转频及其谐波)，证明Mel尺度转换能增强高频故障分量可区分性，MFCC提供高判别力输入特征。
• •
  5.1.2 Enhanced Feature Representation through Multimodal Mel-Spectrograms（多模态Mel频谱图增强特征表征）：多模态融合后的Mel-spectrogram相比单声学信号能量分布更集中规整、频率特征更明显，表明多模态融合提升了频谱特征规律性与可分性。

5.2 Accuracy Results and Noise Robustness（准确率结果与噪声鲁棒性）：随噪声水平升高，SVM准确率急剧下降至接近随机(α=0.2时≈0.37，α≥0.4时≈0.2)，Random Forest从无噪≈0.98降至α=1.0时≈0.32，而AutoML集成模型虽下降但仍保持较高值(α=1.0时≈0.41)。无噪时AutoML最佳子模型（RandomForestEntr）准确率达99.61%、F1-score 0.9961，优于单一Random Forest(97.46%)与SVM(98.43%)；加入30%高斯噪声后，AutoML中KNeighborsUnif与KNeighborsDist保持91.19%准确率与F1-score 0.9113，而Random Forest降至61.84%、SVM降至19.96%(F1-score仅0.0664)。分析指出K-NN优异表现源于早期融合+归一化构建的特征空间同类样本局部邻域紧凑、类间可分，K-NN依局部相似性分类故对全局噪声较鲁棒；树模型在无噪表现好但易过拟合噪声伪相关导致噪扰下退化。ExtraTrees系列与集成模型在噪下Precision 0.86左右、Recall 0.88左右，体现AutoML自动特征工程优势。

5.3 Confusion Matrix Analysis（混淆矩阵分析）

• •
  5.3.1 Diagnostic Performance under Noise-Free Conditions（无噪下单模态诊断性能）：声学信号单独诊断时clogging类准确率0.89（易与inner_race混淆）、wheel_cut完美(1.0)、inner_race仅0.74（混淆于clogging与outer_race）、outer_race仅0.62（大量误判为inner_race）、defect-free 0.97；振动信号单独诊断时clogging 0.92（微误判为wheel_cut）、wheel_cut 0.75（混淆clogging）、inner_race 0.93、outer_race 0.98、defect-free仅0.65（易混淆clogging/wheel_cut）。表明声学对高频故障区分有限、振动正常态易受低频干扰，各存盲区。
• •
  5.3.2 Diagnostic Performance under Multimodal Data（多模态诊断性能）：融合后clogging与wheel_cut均达1.0，inner_race升至0.92，outer_race达1.0，defect-free升至0.96，误分类大幅减少，验证了振动与声学互补信息融合提升整体识别精度。

5.4 t-SNE Visualization of Feature Distributions（特征分布t-SNE可视化）：声学特征中wheel_cut与clogging严重重叠、inner_race分离不足；振动特征中defect-free部分分离但类边界模糊、inner_race略有重叠；多模态融合特征五类样本各自聚成紧凑簇且类间边界清晰(KL散度从单模态1.21降至0.78)，证实多模态融合显著增强类可分性。

四、讨论与结论总结

研究人员讨论指出，所提框架通过AutoML自动完成特征工程、模型选择与超参数寻优，结合振动（捕捉机械冲击）与声学（敏感于高频故障成分）早期融合互补表征，并以双层集成提升决策鲁棒性，在离心泵数据集上无噪精度近100%、30%噪声下F1-score>0.91，优于传统ML方法。SHAP分析增强了模型透明度，降低约80%人工特征工程工作量。未来将拓展至多传感器（温度、电流）、引入注意力加权与动态时间规整(DTW, Dynamic Time Warping)跨模态对齐、开发轻量化AutoML（知识蒸馏、剪枝）并结合LIME(Local Interpretable Model-agnostic Explanations)构建白盒分析架构，并在齿轮箱、压缩机等其他旋转机械验证跨域泛化能力。

原文结论翻译总结：本研究提出一种融合Mel-spectrogram特征提取与自动化机器学习(AutoML)的智能多模态故障诊断框架，为机械智能维护提供可扩展、可泛化的范式。通过利用声学与振动模态互补优势，即使在强噪声干扰下也能实现准确鲁棒故障识别。离心泵数据集实验验证所提方法显著优于传统模型，展现强适应性与工业部署潜力。该框架消除对专家驱动特征工程的依赖，建立端到端可自主优化与跨域适应的智能建模流程，是智能制造时代自演化、数据高效诊断系统的重要进展。