在数据不完整的情况下，用于机械故障诊断的基于可靠性感知的多模态自适应融合方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Reliability-Aware Multimodal Adaptive Fusion for Machinery Fault Diagnosis under Incomplete Data

　　•提出了一种基于可靠性感知的自适应融合方法，用于在不完整的多模态数据下进行故障诊断。•变分推理结合条件先验估计来评估样本级别的模态可靠性。•多专家双线性交互作用能够捕捉跨模态振动-声学协同效应。•在模态质量下降的情况下，该方法的鲁棒性和可解释性得到了验证。引言随着工业化的不断推进，各种类型的机械设备被广泛应用于现代工业生产中，并在其中发挥着关键作用。它们的稳定运行对于维持生产效率、工艺安全性和系统可靠性至关重要。然而，机械系统通常在复杂的工作条件和恶劣的环境中运行，其中负载变化、环境干扰和组件退化会增加设备故障的可能性[1,2]。智能故障诊断技术可以使制造系统实现自我优化，并适应复杂的环境。通过及时准确地识别故障状态，它支持设备的可靠运行，减少计划外的停机时间，并有助于预防潜在的安全事故[3]。在大型复杂的机械系统中，故障行为通常由外部干扰和复杂的内部退化机制共同决定。因此，单一信号往往无法完全捕捉不同故障模式的特征，也无法准确描述系统的健康状态[4]。多传感器监测通过整合来自不同信号源的冗余和互补信息提供了一个有前景的解决方案[5,6]。一方面，它可以减轻噪声、传输路径和工作条件波动对信号表示稳定性的不利影响，从而提高故障诊断的鲁棒性和可靠性[7,8]；另一方面，多个传感器提供的互补信息不仅有助于高精度诊断[9,10]，还可以通过检查干扰在系统中的传播方式来识别关键部件[11]。因此，多传感器部署和监测策略在智能故障诊断研究中越来越受到关注[12]。在各种监测信号中，振动信号和声学信号是机械健康监测中最常用的两种信息源[13]。振动信号对轴承缺陷、齿轮损坏和转子不平衡等结构故障非常敏感，其响应特征通常与故障机制有明显的物理对应关系，因此被广泛用于机械故障诊断[14,15]。相比之下，声学信号具有非接触式测量、易于部署和广泛的空间覆盖范围的特点。空气传播的声音适用于远程状态感知，而声发射则对裂缝、泄漏和异常摩擦等早期瞬态事件更敏感[16,17]。此外，振动和声学信号对应于不同的观测模式，通常可以为同一故障状态提供部分相关但互补的表征信息[18]。因此，它们的融合可以改善故障特征的完整性，并提高诊断结果的鲁棒性，为多模态联合诊断提供坚实基础[19]。例如，杨等人[20]提出了一个振动-声学跨注意力融合网络，其中使用了多尺度深度可分离卷积和门控跨注意力机制来实现动态跨模态特征对齐和互补增强，在复杂噪声条件下显著提高了诊断准确性。游等人[21]将物理信息融合约束引入振动-声学联合诊断中，并通过动态建模和协作多损失优化提高了诊断性能。然而，作为代表性的多传感器诊断策略，振动-声学融合仍然容易受到不同传感源观测质量不均衡的影响[22]。在长期运行过程中，传感器退化可能会扭曲测量结果并降低状态信息的可靠性[23]。振动响应还受传感器位置和安装配置的影响，而声学测量容易受到环境噪声和传播衰减的影响[24,25]。传感器故障或数据传输中断可能导致整个模态无法使用[26,27]。由于这些干扰很少同时对振动和声学通道产生相同程度的影响，两种模态的相对可靠性会因样本和工作条件的不同而变化。因此，固定或统一的融合规则可能会保留不可靠的信息或抑制具有诊断意义的信息。为应对这一挑战，现有研究主要采取了两种方向。第一种方法是通过数据插补、特征恢复或缺失信息重建来解决由于通道缺失或传感器故障导致的不完整观测问题。例如，张等人[28]通过整合数据插补、信息融合和故障识别，在异常缺失条件下提高了诊断的可靠性；而林等人[29]通过联合建模共享特征和特定于传感器的特征以及可学习的提示机制，增强了对缺失输入的适应性。第二种方法关注观测质量波动的完整通道场景，其中使用可靠性估计或自适应通道加权来抑制低质量观测。韩等人[30]在证据神经网络框架内引入了传感器权重和静态-动态可靠性估计；而游等人[31]开发了一种通道自适应生成重建和融合方法，用于重建被噪声抑制的图特征并优先考虑高可信度通道。尽管这些方法通过缺失信息恢复、噪声抑制特征重建或可靠性建模提高了鲁棒性，但大多数方法仍然针对特定的退化形式进行了定制，并且在复杂工作条件下同时或交替出现噪声污染、局部失真和缺失信息时仍然存在局限性。尽管振动-声学联合诊断在复杂工作条件和噪声环境下的性能通常优于单一模态方法，但现有的融合策略仍存在一些局限性。在相对直接的融合层面，一些研究通过基于多输入CNN的融合或特征连接来整合振动和声学信息[32,33]。虽然这些方法实现起来相对简单，但它们往往无法充分利用两种模态之间的协同和互补关系。在深度交互层面，如跨注意力和Transformer等机制可以在更高层次的表示上实现多模态特征对齐和自适应融合，并显示出良好的准确性和鲁棒性[34,35]。然而，深度模型的“黑盒”特性仍然是限制其工程应用的一个重要因素[36]。现有的解释大多依赖于事后可视化或注意力权重分析，这使得很难进一步量化振动、声学信号及其交互项对最终诊断决策的具体贡献[37]，从而为下游维护决策提供明确的诊断依据[38]。为解决上述问题，本研究提出了一种基于可靠性感知的多模态自适应融合网络（RAMFN），用于故障诊断。该网络结合了变分可靠性建模和多专家双线性交互融合，根据观测质量调整模态贡献，同时捕捉互补的跨模态信息。主要贡献如下：(1) 提出了一种基于可靠性感知的多模态自适应融合网络（RAMFN），用于在噪声污染、局部失真和模态缺失条件下实现基于自适应融合的诊断。(2) 设计了一种基于可靠性感知的模态加权机制，并在训练过程中引入了可靠性排序监督项，以指导模型根据观测质量的差异动态调整模态权重，从而在复杂退化观测条件下提高融合的鲁棒性。(3) 构建了一个多专家双线性交互融合模块，用于联合建模振动特征、声学特征和二阶跨模态交互特征。这种设计有助于提取互补信息，并在复杂工作条件下提高故障区分能力。(4) 在同时发生多模态退化和单模态退化的多种严重程度下，以及在全模态缺失条件下，系统地评估了所提方法的鲁棒性。此外，结合了模态权重统计和基于SHAP的可解释性分析，以描述各个模态及其跨模态交互对诊断决策的贡献。本文的其余部分安排如下：第2节回顾了理论背景；第3节介绍了所提出的方法，包括基于可靠性感知的加权机制和多专家双线性交互融合模块；第4节报告了在不同退化场景下两个数据集的实验结果；第5节总结了本文。摘要贝叶斯推理是一种将先验知识与观测数据结合的概率推理方法。其核心思想是在获得观测数据后更新未知变量的概率分布，从而实现不确定性建模和知识更新[39]。如图1所示，未知变量θ的先验分布p(θ)代表观测前的先验知识，而观测数据X通过似然函数p(X|θ)提供证据。可靠性感知模态加权机制的设计在动态工作条件和强噪声环境下，观测质量可能会随着旋转速度、负载、传感器安装条件和环境干扰而变化。假设模态可靠性相等或使用固定的模态权重会阻止融合过程对这些变化作出响应，从而导致低质量观测保留过多影响并降低诊断性能。为了解决这个问题，提出了基于可靠性感知的模态加权机制。数据集描述和实验设置本节基于两个多模态故障诊断实验平台评估了所提方法的性能。设计了多种诊断场景，包括未见速度场景、模态缺失场景和模态噪声场景。案例1：HUST电机多模态数据集[47]。该数据集来自SpectraQuest机械故障模拟器，如图6(a)所示。测试台可以监控电机的六种健康状态：健康状态、轴承故障等。结论本文提出了一种基于可靠性感知的多模态自适应融合方法，用于在复杂工作条件下进行故障诊断，其中传感质量在不同模态之间有所差异。该方法将模态可靠性建模为潜在的随机变量，并通过变分推理进行估计，从而在融合过程中实现模态贡献的自适应调节。进一步构建了多专家双线性交互融合模块，以联合捕获振动、声学和跨模态信息。作者贡献说明：刘乐：撰写-原始稿件、软件、方法论、数据整理；邵海东：撰写-审核与编辑、监督、资金获取；肖一鸣：撰写-原始稿件、验证、方法论；王海宇：可视化、软件、数据整理；周长江：项目管理、调查；李增强：资源、项目管理；刘新叶：资源、调查。