《Machines》：Multimodal Heterogeneous CNN with Adaptive Modality Fusion for Intelligent Fault Diagnosis of Bearings
编辑推荐：
在工业设备故障诊断中，振动与声学信号具有高度互补性，但在频率分布与噪声敏感性上存在显著差异。传统多模态方法通常依赖同质特征提取器与直接特征拼接，难以捕捉模态特有特征并在融合时引入无关信息。为此，研究人员提出一种新型多模态异质卷积神经网络（CNN）框架。具体而言
在工业设备故障诊断中，振动与声学信号具有高度互补性，但在频率分布与噪声敏感性上存在显著差异。传统多模态方法通常依赖同质特征提取器与直接特征拼接，难以捕捉模态特有特征并在融合时引入无关信息。为此，研究人员提出一种新型多模态异质卷积神经网络（CNN）框架。具体而言，针对振动与声学信号分别设计独立的1D CNN分支，其结构差异由各传感模态特性决定：振动分支聚焦于提取振动信号中的高阶判别性故障特征（含冲击响应与调制分量），声学分支则保留声学信号脆弱的高频细节。进一步引入自适应跨注意力融合模块，通过动态建模跨模态依赖关系，以基于Softmax的权重增强主导特征并抑制噪声。基于轴承故障实验数据的实验表明，所提异质架构显著优于传统同构模型；动态加权机制有效防止低质量噪声模态劣化整体性能，取得较高诊断准确率。尽管验证基于滚动轴承故障诊断，该异质多模态框架并不限于轴承，可拓展至齿轮箱、电机及其他旋转机械等涉及异质传感器融合的智能状态监测任务。
研究背景方面，滚动轴承是旋转机械关键部件，其健康状态直接影响可靠性与维护成本。现有基于深度学习（DL）的故障诊断多依赖单模态振动信号，但在工业现场受传感器安装、传振路径影响大；声学信号虽可非接触获取并互补振动信息，但现有多模态方法常采用同质网络提取异质模态特征，且以简单拼接融合，在少样本下易引入低质量模态干扰。因此，研究人员开展了面向少样本场景、融合振动与声学信号的多模态异质卷积神经网络（heterogeneous CNN）及自适应跨注意力融合机制研究，在《Machines》发表论文，结论为该框架能针对性提取模态特有特征、样本级动态加权抑制噪声，在每类1–20训练样本的少样本条件下显著优于同构与拼接基线，具有重要工程推广价值。
关键技术方法上，研究人员采用渥太华大学（University of Ottawa）滚动轴承试验台同步采集的42 kHz振动与声学数据，构建7类故障（正常、发展中/严重内圈、外圈、滚动体、发展中/严重保持架故障）少样本任务；将同步信号切分为2048点非重叠窗口配对成双模态样本，每类随机取1–20个作训练、其余作测试，重复10次取均值为评测；主干为异质双分支1D CNN（振动分支较深以扩感受野提取冲击与调制分量，声学分支较浅以保高频细节），激活函数用LeakyReLU（负斜率0.2）；融合端设双向跨注意力（vibration?acoustic互为Q/K/V）与全连接+Softmax样本级动态加权；分类端用交叉熵损失、Adamax（lr=0.001）训练100 epoch，TensorFlow 2.4实现。
研究结果部分，按原文小节浓缩如下：
- 2.
材料与方法：给出整体三模块流程（异质提取—自适应跨注意力融合—分类），推导1D卷积模块与LeakyReLU公式，明确振动分支重全局语义、声学分支重细粒度高频；跨注意力分双向交互（式7–11）与Softmax动态加权（式12–15），最后接全连接Softmax分类与交叉熵目标函数（式16–17）。
- 3.
基于滚动轴承故障实验数据的有效性分析：在Ottawa数据集上，每类10样本时所提模型准确率95.82%、精确率96.26%、F1 95.69%，AUC近0.9998；t-SNE显示融合特征类内更紧、类间更分离；噪声鲁棒性测试中声学加噪至0 dB时声学权重自动由约0.36降至更低、振动权重上升，准确率仍保持高位；训练过程约20 epoch后测试准确率稳于96%，最终模态权重收敛至振动≈0.64、声学≈0.36；消融实验证实异质分支、跨注意力、动态加权三者依次叠加均带来正向增益；推理耗时1.5231 ms/样本，平衡了精度与效率。
讨论部分指出，异质架构缓解声学高频丢失，动态加权符合工业中振动为主、声学为辅的实际信噪比分布，毫秒级推理适于边缘部署；局限在于对同部位不同严重度故障（如CF-1/CF-2、IF-1/IF-2）仍有少量混淆，且验证仅限恒速恒载Ottawa数据，未覆盖变转速变载荷。未来方向为多尺度卷积核增强细微严重度分辨、引入工况不变特征与域适应、扩充多工况多模态数据。
结论部分翻译：本文提出一种基于振动与声学信号的滚动轴承多模态智能故障诊断方法，通过异质卷积神经网络实现多模态数据的高效特征提取与最优融合。实验表明，针对振动与声学信号构建异质1D卷积特征提取网络比传统同构架构更符合多模态信号物理特性，有效缓解深层池化导致的声学高频细节丢失并显著增强特征提取能力。此外，引入自适应跨注意力机制依据数据质量动态分配模态权重，在融入声学互补信息的同时有效抑制环境噪声影响；所提模型在每类仅10个训练样本的严格少样本设定下取得95.82%诊断准确率。整体而言，该方法在少样本下具备强故障特征提取与多模态融合性能，且诊断准确率与计算效率平衡良好，具工程应用潜力。未来研究将提升对细粒度故障判别的敏感性，并在变工况下进一步验证。
