用于未知工作条件下的故障诊断的多模态跨域混合融合模型及双重解耦技术

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：Multi-modal cross-domain mixed fusion model with dual disentanglement for fault diagnosis under unseen working conditions

　　摘要：智能故障诊断已成为确保机械可靠性的重要技术。然而，现有方法在模型需要在未曾见过的工作条件下进行测试的实际情况中性能会显著下降，而领域自适应方法则因依赖于目标领域的样本而受到限制。此外，大多数现有研究仅依赖单一模态的感知信号，忽视了多模态信息在提升模型泛化能力方面的互补作用。为解决这些局限性，本文提出了一种具有双重解耦机制的多模态跨域混合融合模型用于故障诊断。该模型通过双重解耦框架将模态不变特征与模态特定特征、领域不变表示与领域特定表示分开，从而实现全面的多模态表示学习，并提升模型对不同工作条件的泛化能力。同时，本文设计了跨域混合融合策略，通过在不同领域间随机混合模态信息来增加模态和领域的多样性。此外，还引入了三模态融合机制，以自适应地整合多种异构多模态信息。在恒定和时变工作条件下，对感应电机故障诊断进行了大量实验，结果表明所提方法始终优于现有先进方法，进一步的消融实验也验证了各组成模块的有效性以及多模态融合的优势。

引言：随着现代机械向更高自动化程度和更复杂结构发展，对设备可靠性的要求也越来越高。意外故障可能导致巨大的经济损失、计划外的停机时间，甚至引发严重事故[1]。为降低这些风险，工业系统中广泛部署了大规模传感器网络，用于持续监测振动、电流和声学信号等多种信号[2]。通过分析这些监测数据，故障诊断技术能够及时发现异常，便于采取维护措施，进而提升运营安全性和系统可靠性[3]。近年来，基于深度学习的智能数据驱动故障诊断方法因其能够从原始传感器数据中自动学习出具有区分能力的特征表示而备受关注。与传统基于物理原理的方法以及依赖手工特征工程的常规机器学习方法相比，深度学习技术减少了对复杂专家知识及手动特征提取的依赖，展现出出色的诊断性能[4][5]。尤其是旋转机械的振动信号可直接输入深度学习模型，使其自动学习与故障相关的特征。Borghesani等人[6]使用一维卷积神经网络进行轴承故障诊断，并试图解读所学到的振动特征。Liu等人[7]则设计了一种具有多尺度卷积核的残差网络，基于振动信号进行电机故障诊断。然而，原始的一维振动信号往往具有复杂的时间动态特性和非平稳性，这可能限制传统一维模型捕捉有用模式的能力。为更好地描述其背后的时频结构，许多研究通过短时傅里叶变换或小波变换将一维振动信号转换为二维时频表示，再利用二维网络提取更具表达力的特征[8][9]。尽管如此，振动信号对于电机等机电系统中的某些电气故障的敏感度可能较低[10]，因此电机电流信号也被广泛用于故障诊断研究[11]。例如，Jimenez-Guarneros等人[12]提出了一种轻量级一维卷积神经网络，利用电流信号诊断感应电机的机械和电气故障。此外，声学信号也蕴含丰富的故障相关信息，逐渐成为机械故障诊断领域的研究热点。Zhang等人[13]结合图卷积网络使用声学信号诊断轴承故障，而Xiao等人[14]则利用去噪自编码器基于声学信号实现电机故障诊断。这些研究共同证明了基于声学信息的深度学习故障诊断方法的有效性。尽管智能故障诊断方法已取得显著进展，但其泛化能力仍是实际应用中的关键挑战，因为工业机械通常在变化的工作条件下运行。由于转速和负载变化引起的领域偏移，可能会大幅降低基于特定源条件数据训练的模型的性能。为解决这一问题，领域自适应技术被广泛研究，旨在提升诊断模型在分布偏移条件下的鲁棒性。这些方法通过匹配源领域和目标领域的特征分布，试图减轻条件变化带来的负面影响，实现更可靠的跨条件故障诊断[15]。基于差异最小化、领域对抗学习以及子领域自适应的领域自适应方法已在不同工作条件下的机械故障诊断中展现出良好效果[16][17][18]。然而，领域自适应方法的一个主要局限在于其依赖目标领域数据来进行分布对齐。在真实的工业环境中，这一要求往往难以满足，因为机器经常在全新或未曾出现过的工况下运行，而这些工况事先往往没有标注或未标注的样本可用。为克服这一限制，领域泛化作为一种有前景的替代方案应运而生，其目标是训练出无需在训练阶段获取任何目标领域数据即可泛化到未知目标领域的模型[19]。领域泛化并非直接匹配源领域和目标领域的分布，而是侧重于从多个源领域中提取领域不变且具有区分能力的特征表示，从而提升模型对分布偏移的抵抗能力，并在未知工况下的故障诊断中展现出良好性能[20]。目前大多数基于领域泛化的故障诊断方法试图通过领域对抗学习或领域差异最小化来实现这一目标，从而使所学到的不变特征更易泛化到未知领域。此外，也有研究探索了数据增强策略或元学习框架来进一步提升模型的泛化能力。不过，现有方法大多侧重于学习领域不变特征，而很大程度上忽略了与不同工作条件密切相关的领域特定特征。另外，大多数基于领域泛化的故障诊断研究仅依赖单一感知模态，通常是振动信号。但仅使用一种信号往往会影响诊断的泛化能力，因为在机电系统中，不同的感知模态能够捕捉到互补的故障相关特征。因此在基于领域泛化的故障诊断中，多模态融合为提升模型在未知工况下的鲁棒性提供了新的可能。通过整合多种模态的信息，诊断模型可以减少对某一特定领域特征分布的依赖，实现更稳定的跨领域泛化。尽管已有众多研究探讨了用于故障诊断的多传感器融合策略，包括数据级融合、特征级融合和决策级融合，但在工作条件发生变化时仍存在诸多挑战。首先，现有方法大多针对采样频率相同的多个传感器的一维信号设计，当使用时频表示或不同模态本身具有不同采样率时，这些方法的适用性就会受到限制。其次，许多融合方法直接将多个传感器的数据或特征进行组合，未能明确建模模态间的内在关联以及不同故障类型对应的模态特定特征。据我们所知，目前文献中尚未充分探讨在未知工况下利用多模态数据进行故障诊断的问题。因此，设计一种能有效提升模型在未知工况下诊断泛化能力的多模态融合框架，仍然是一个具有挑战性的开放性研究问题。为解决上述挑战和局限性，本文提出了一种具有双重解耦机制的多模态跨域混合融合模型用于故障诊断。首先，通过各自的编码器对多模态数据进行处理，得到对应的模态嵌入向量。其次，设计了一种跨域混合融合策略，通过在不同源领域间随机混合各类模态信息，从而减少领域偏差并提升跨领域特征多样性。随后，构建了一个双重解耦框架，分别实现模态不变特征与模态特定特征、领域不变表示与领域特定表示的分离，进而提升模型的领域泛化能力。此外，还开发了一种基于多重交叉注意力的三模态融合模块，以实现多种异构模态的深度且自适应的融合。为评估所提方法，我们在感应电机上进行了实验，在恒定和变化的工作条件下收集了振动、电流和声学信号。在未知工况下进行了大量故障诊断实验，通过对比实验和消融实验，充分证明了所提方法的有效性和优越性。本文的主要贡献如下：(1)提出了一种双重解耦框架，能够在模态层面和领域层面同时分离不变性与特异性，从而提升多模态领域泛化在故障诊断中的应用效果。(2)设计了一种多模态跨域混合融合机制，通过增加模态多样性来减少领域偏差并提升模型泛化能力。(3)引入了三模态融合模块，实现多种异构模态的自适应且互补的融合。本文的其余部分结构如下：第2节介绍一些与多模态融合和领域泛化相关的现有研究；第3节详细阐述所提出的方法；第4节展示实验结果；第5节对全文进行总结。

领域泛化：与领域自适应不同，领域泛化无需在训练阶段获取目标领域数据，这一设定更符合现实世界的故障诊断场景，因为在实际中，新工况下的数据往往无法提前获得。正因如此，领域泛化受到了大量研究关注[28]。领域泛化的核心思想是在多个源领域中学习不变的特征表示，因此领域对抗学习已成为最常用的方法。

方法概述：本文旨在解决在未知工作条件下进行多模态领域泛化以用于故障诊断的问题。我们假设存在M个源领域{Dms}m=1M，每个领域对应一种特定的工作条件。在第m个源领域中，有Nms个带有故障标签的样本，构成子数据集Dms=(xism,yism)i=1Nms。本研究使用了从多个源领域收集的多通道振动、电流和声学信号。因此，每个样本xism...

数据集构建：为验证所提出的多模态领域泛化方法在未知工况下的有效性，我们利用传动系统动力学仿真平台构建了一个感应电机故障数据集，如图4所示。测试电机驱动一个与电磁负载相连的齿轮箱传动系统，电机的转速由电机控制器精确控制。在运行过程中同步采集多模态感知信号，具体而言，采用三轴...

结论：本文提出了一种具有双重解耦机制的多模态跨域混合融合模型，用于在未知工作条件下进行故障诊断。该模型通过两级解耦策略，将模态不变特征与模态特定特征、领域不变表示与领域特定表示分开，从而实现跨不同工作条件的通用特征学习。同时，还设计了多模态跨域混合融合策略，以增加模态和领域的多样性...

CRediT作者贡献声明：夏鹏程：撰写——初稿、可视化、软件、方法论、资金获取、概念构思。黄一翔：撰写——审阅与编辑、监督、资金获取、形式分析、数据整理、概念构思。秦成进：验证、研究、形式分析。刘成亮：资源协调、项目管理。

利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢：本研究得到了国家自然科学基金（编号52405122和52375109）、国家重点研发计划（编号2023YFB3408502）以及中国博士后科学基金（编号2025M771378）的支持。

夏鹏程|黄一翔|秦成进|刘成亮