基于振动信号与时频图像多模态融合的机械传动系统域自适应故障诊断

《Engineering Applications of Artificial Intelligence》：Domain-adaptation fault diagnosis of mechanical transmission system based on multi-modal fusion of vibration signals and time-frequency images

　　

• 通过单个振动传感器构建了包含一维信号和二维图像的多模态数据集。• 设计了一种用于多模态数据的轻量级双分支CNN特征提取器。• 提出了一种结合对比学习、多模态融合和CDAN的跨域诊断策略。• 在涉及多部件、多类型故障的8个迁移任务上验证了该方法的有效性。引言在机械传动系统中，齿轮、轴承和转子等关键部件是工业设备的核心，承担着在动力传递和运行支撑中不可替代的功能。这些部件在复杂工况和长期运行下极易受损（Zhou等，2025）。若不及时检测到异常，小问题可能导致生产中断和效率下降，严重情况下甚至引发安全事故和重大经济损失（Zhu等，2023）。因此，传动系统的故障诊断对于确保机械设备安全可靠运行至关重要。随着深度学习的发展，数据驱动的智能故障诊断方法已被广泛应用于机械系统。这些方法以自编码器（AE）、深度置信网络（DBN）、卷积神经网络（CNN）和Transformer等经典架构为核心，凭借其强大的特征提取能力和端到端优势（Lin等，2023）。Shao等（2017）通过双树复小波包对振动信号进行预处理以增强故障特征，并利用改进的DBN实现了滚动轴承的高精度诊断。Fan等（2025a）将振动信号的时域和频域特征输入改进的一维残差网络，以识别转子-轴承系统的故障。这两项研究均采用特征优化与模型诊断相结合的方式，验证了所提方法在特定工况下的有效性。针对早期弱故障诊断这一挑战，Ma和Chu（2019）采用多目标优化作为综合策略，对CNN、DBN和深度AE进行加权，从而增强了捕捉转子和轴承早期弱故障特征的能力。考虑到工业场景对轻量级模型的需求，Wu等（2025）关注于平衡诊断效率与精度，他们整合了多尺度可分离卷积、时-通道注意力机制和多感知机层，构建了轻量级时序-通道注意力卷积Transformer网络，实现了诊断效率与精度的同步提升。近期研究从不同角度进一步探索了轻量级和资源高效的故障诊断方法。Wang等（2025a）提出了一种基于轻量级扩展的持续学习方法用于列车传动系统故障诊断。通过引入增量哈希空间嵌入和知识增强-压缩，该方法以较低的算力代价实现了模型的持续进化。Wang等（2025b）开发了一种受神经动力学启发的度量SpikingFormer，用于样本不足条件下的节能机械故障诊断。通过设计多尺度掩码脉冲自注意力机制和速率编码度量分类器，该方法在降低能耗的同时提升了诊断精度，为工业物联网场景下的低能耗诊断和边缘部署提供了有益见解。为满足更高层次的应用需求，You等（2024）将量化神经网络与双向长短时记忆（LSTM）网络相结合，在保持诊断效率和精度的同时增强了模型的可解释性。从可解释信号表征的角度出发，Ren等（2026）提出了可学习Daubechies小波神经层，用于强噪声条件下的列车故障诊断。通过参数化Db6小波的可训练尺度、平移和翻转因子，该方法实现了自适应时频特征提取，同时保留了小波变换的数学可解释性。上述研究各自聚焦于机械故障诊断中的实际需求，通过改进特征处理或优化网络结构等方式，在故障诊断精度、效率或可解释性方面取得了显著提升。然而，这些研究均是在固定工况下开展的，忽视了由负载波动或转速变化引起的域分布偏移问题，导致模型在跨工况场景下的泛化能力不足。为解决域分布偏移问题，基于迁移学习的故障诊断方法应运而生。这些方法通过知识迁移实现模型在不同工况间的适应，有效提升了跨域适应性。现有的基于深度学习的跨域故障诊断方法主要遵循三种范式（Zhang等，2022，2024）：（1）统计矩匹配方法，旨在通过在共享特征空间中独立最小化源域与目标域的统计矩差异，实现两个域之间的特征分布对齐。Zhao等（2021）采用加权多核最大均值差异（MK-MMD）实现跨域分布对齐和域不变特征提取，实现了多任务迁移诊断。然而，MK-MMD会增加计算复杂度。Zhang等（2022）提出了一种将MMD与有监督对比学习相结合的域自适应方法。MMD实现全局域级对齐，而有监督CL实现类级对齐，显著提升了跨域故障诊断精度。然而，该方法仅针对轴承故障诊断。Qian等（2023）引入了带有类权重的集成加权MMD以实现更细粒度的域混淆。然而，该方法仍局限于轴承的单一故障类型诊断，平均迁移诊断精度仅为90.82%。Qin等（2023）通过亲和矩阵提取全局几何结构，采用MMD减小域间分布差异以实现域对齐，并引入流形正则化自适应调整几何结构权重以抑制负迁移。然而，该方法在齿轮单一故障类型迁移诊断中的平均精度仅为84.85%，在轴承单一故障类型迁移诊断中仅为91.19%。Yang等（2025）通过混合专家框架整合多域互补信息，在门控机制中引入深度点到集距离的度量学习，并通过多层MMD实现域对齐。然而，该方法在九个任务中的表现不一致。（2）对抗训练方法，旨在欺骗域判别器以在两个域的共享特征空间中实现域混淆，从而使模型学习域不变特征。Deng等（2021）构建了基于双层注意力机制的对抗网络以聚焦域不变特征，但其应用局限于轴承故障诊断。Wu等（2022）将注意力机制与域对抗神经网络（DANN）相结合以提取域不变特征，同样局限于轴承的单一故障类型诊断。Kuang等（2022）提出了自监督双分类器对抗迁移学习网络，通过结合双分类器对抗训练、自监督学习和类条件熵最小化，提升了不同工况下的跨域诊断性能。然而，该方法仍局限于轴承和齿轮的单一故障类型诊断。Zhao等（2023）引入了类感知分类机制（CCM）以自主感知目标样本的预测效果。基于CCM，他们提出了一种类感知对抗域自适应方法，实现了更好的跨域特征对齐。然而，该方法仍局限于轴承和齿轮的单一故障类型诊断，轴承迁移诊断的平均精度仅为92.67%。Jin等（2024）通过双分类器对抗训练实现了源域和目标域的特征对齐。通过将条件熵和局部Lipschitz项纳入损失函数以优化决策边界，增强了变工况下的跨域诊断可靠性。然而，该方法仍局限于轴承、齿轮和电机的单一故障类型诊断，诊断精度仍有提升空间。（3）上述两种方法的整合。Zhao等（2021）提出了一种基于联合MMD和对阵训练的方法以精确对齐特征分布。然而，该方法局限于轴承的单一故障类型诊断，且诊断性能仍有提升空间。Jiang等（2023）将多个域判别器与相关性对齐（CORAL）相结合，分别对齐特征提取器的子域分布和全局分布。该方法同样局限于轴承和齿轮的单一故障类型诊断，泛化能力仍有提升空间。Kong等（2025）将CORAL与Wasserstein距离相结合以减小域分布差异，并将对比损失与DANN整合以实现域对齐。然而，该方法仍局限于轴承和齿轮的单一故障类型诊断。上述分析表明，现有的基于迁移学习的故障诊断方法能够缓解由工况变化引起的域偏移。然而，它们普遍存在两方面局限：首先，故障部件和故障类型方面受限，大多数方法聚焦于单一部件和单一故障类型，未能覆盖机械传动系统中的多部件和多样故障类型。其次，数据模态方面受限，大多数方法局限于单一模态数据建模，无论是直接使用振动数据还是将其转换为图像，本质上都是对单一物理量进行特征提取，难以全面捕捉机械故障的深层特征。近年来，多模态故障诊断已成为研究热点，其核心在于通过多模态信息融合弥补单一模态故障表征的局限性，从而实现更全面的特征表示。一类方法基于多传感器融合。Huo等（2021）提出了一种基于红外图像和振动信号的决策层诊断方法，增强了模型鲁棒性。虽然该方法考虑了转子和轴承的复合故障，但忽视了工况变化引起的域偏移问题。Wang等（2021）利用一维CNN提取并融合振动和声学信号，提升了诊断精度和鲁棒性，但同样忽视了域偏移问题。Li等（2022）提出了一种基于置信度加权支持矩阵机的框架，利用振动时频图像和红外图像，基于D-S证据理论在决策层实现融合，但该方法局限于单一部件和单一故障类型，且未解决域偏移问题。Zhong等（2025）提出了一种基于图卷积网络的跨域多尺度特征融合方法（CDMFGNet），用于处理多源异构信息。CDMFGNet通过图卷积整合数据级和特征级相关性，增强了跨模态信息融合，但未明确考虑复合故障或域偏移问题。另一类方法基于单传感器多模态转换后再融合。该方法将同一传感器的信号转换为不同模态，如时频图像或编码图像，以从不同维度提取单一物理量的相关特征。Ma等（2022）通过两个分支处理振动信号：一个分支将信号转换为时频图像和对称极坐标图像，经通道融合后输入二维CNN进行特征提取；另一个分支直接将一维信号输入CNN进行特征提取。最后，将两种特征结合以构建多模态一维CNN架构。然而，该方法局限于轴承，且未解决复合故障或域偏移问题。Zhang等（2025）提出了用于风机叶片故障诊断的序列-频谱图融合网络，但仅针对单一故障类型且忽视了域偏移问题。Li等（2025）将振动信号、时频统计特征、时频图像和大语言模型相结合，实现了轴承的单一故障类型诊断，但未解决域偏移问题。Song等（2025）设计了一种双分支网络处理振动信号和时频图像，通过动态跨模态交互融合实现多模态特征融合，增强了故障诊断的鲁棒性，但其方法仍局限于轴承的单一故障类型诊断。这些多模态故障诊断方法通过多传感器融合或单传感器多模态转换有效弥补了单一模态的信息表征局限，在提升诊断精度和鲁棒性方面展现出显著优势。然而，它们主要关注同域内的特征融合，缺乏跨域自适应能力。因此，它们未能将多模态优势与跨域自适应协同结合，难以满足机械传动系统中多部件、多故障类型的诊断需求。多模态跨域故障诊断为克服上述双重瓶颈提供了有效途径。Jiang等（2024）提出了一种多传感器数据融合赋能的半监督最优温度引导原型对比学习（OTPCL）框架。该方法通过多传感器自适应加权策略实现振动和声学信号灰度时频图像的数据级融合，并自适应优化原型对比学习（PCL）中的温度系数，以增强域对齐能力和判别性域不变特征提取能力。虽然该方法适用于稀疏标注的跨域场景，但它局限于轴承的单一部件和单一故障类型，排除了转子、齿轮和复合故障。此外，其半监督范式需要源域少量标注数据。Chen（2024）以振动和电流信号作为输入，通过双分支残差网络提取特征，两阶段深度交互融合增强了特征表示能力。

将 DANN 与 MMD、局部 MMD 和 CORAL 结合实现了源 - 目标域自适应，但仍局限于轴承，且未解决模型轻量化问题。Zhang 等人（2024 年）分别使用 1D-CNN 和 2D-CNN 提取振动和红外图像特征，引入 MMD 进行跨域特征对齐，然后通过多模态一致性学习策略协同双分类器的预测结果，增强了模型的跨域诊断性能。然而，它局限于齿轮箱，且故障类型较少。这些多模态融合和域自适应技术的整合表明，使用单一传感器进行的多模态转换、融合和诊断可以与多传感器融合方法相媲美，同时提供成本效益优势。因此，本工作提出了一种基于单传感器多模态表示融合的轻量化 UDA 故障诊断方法，其中一维振动信号和相应的二维时频图像均由同一个振动传感器生成，并共同用于特征提取、融合和域自适应。主要贡献如下。(1) 针对现有研究主要关注单部件故障诊断或依赖多传感器数据融合的限制，本工作提出了一种基于轻量化单传感器多模态表示融合的无监督跨域故障诊断方案。具体来说，仅使用一个振动传感器获取原始振动信号，并生成相应的时频图像作为同一信号的另一种表示。该设计不仅确保了可靠的跨域诊断性能，还提高了实际应用的经济性。(2) 构建了一个集成框架，包括轻量化双分支特征提取、对比学习、多模态融合和域自适应。其中，开发了针对振动信号和时频图像的轻量化特征提取器，以极少的参数和计算开销实现高精度特征提取。引入对比学习以增强两种模态表示之间的语义连贯性，通过拉近相似样本并推远异质样本。采用域自适应技术对齐多模态融合特征的跨域分布，从而提高模型在可变工况下的泛化能力。本文的组织结构如下。第 2 节描述研究方案，第 3 节介绍多模态无监督跨域故障诊断方法，第 4 节是实验平台和方案，第 5 节是实验结果和讨论，最后是结论。

章节片段
研究框架
本工作的研究框架如图 1 所示，包括构建包含不同工况下振动信号及其相应时频图像的多模态数据集、轻量化双分支特征提取器、对比学习、多模态特征融合、域自适应和性能评估。在构建多模态数据集期间，机械传动系统故障制造和数据采集平台是

多模态定义
在多模态跨域故障诊断中，振动信号及通过这些振动信号经由 CWT 生成的时频图像被用作多模态输入。在一维振动信号模态中，源域振动信号数据集记为 $D_{VS}=\{x_{V,i}^{S}, y_{V,i}^{S}\}_{i=1}^{m}$，其中 $x_{V,i}^{S}$ 表示源域中的第 $i$ 个振动样本，$y_{V,i}^{S}$ 表示其故障标签，$m$ 是源域样本数量。目标域振动信号数据集记为 $D_{VT}$=测试平台

如图 7 所示，机械传动系统测试平台模拟轴承、转子和齿轮的单重及组合故障，同时采集振动数据。该平台主要由电机、轴承 - 转子 - 齿轮系统、磁粉制动器和加载装置以及其他部件组成。数据采集系统包括加速度传感器、多通道数据采集设备和上位机。加速度传感器垂直磁吸安装在

结果与讨论
用于模型训练的计算机配置为操作系统 -Windows 11，GPU-NVIDIA GeForce RTX 4080 SUPER 16 GB，CPU-第 13 代英特尔? 酷睿? i7-13700KF 3.40 GHz。超参数配置如下。训练轮数为 100，批次大小为 16，初始学习率为 0.0001，优化器为 Adam。损失权重 $\alpha$、$\beta$ 和 $\gamma$ 分别设置为 0.5、0.5 和 0.2。多头交叉注意力使用 4 个头。为了评估模型的统计稳定性，所有实验

结论
(1) 针对现有多模态跨域诊断方法局限于单部件和孤立故障的限制，本研究为齿轮、轴承和转子设计了九个单故障和六个组合故障模式，并将多部件和多故障模式整合到一个多模态跨域故障诊断框架中。(2) 针对单模态方法的局限性和多模态特征提取网络的复杂性，一个振动信号和

CRediT 作者贡献声明
Hongwei Fan：写作 – 审阅与编辑，资源，项目管理，方法论，概念构思。Jinpeng Liu：写作 – 原稿，写作 – 审阅与编辑，概念构思，方法论，验证，调查，形式分析，数据整理。Jie Li：调查，数据整理。

资金来源角色
本研究受国家自然科学基金委员会（批准号 52275131，52274158）、陕西省秦创原科学家与工程师团队建设计划（批准号 2024QCY-KXJ-164）、国家科技重大专项（批准号 2025ZD1700800）以及陕西省重点研发计划项目（批准号 2024QY2-GJHX-09）资助。

利益冲突声明
作者声明他们不存在已知的可能影响本文报道工作的竞争性财务利益或个人关系。

Hongwei Fan|Jinpeng Liu|Jie Li