基于语言模型桥接时序数据与文本数据的语义引导式无标签多模态故障诊断

《ADVANCED ENGINEERING INFORMATICS》：Semantic-guided label-free multimodal fault diagnosis bridging time-series and textual data with language models

　　

摘要

随着工业系统复杂性的不断增加，故障诊断已成为确保运行安全和可靠性的关键环节。大多数数据驱动的故障诊断方法依赖于大量标注数据，而这些数据获取成本高且难以获得。相比之下，维护人员记录的文字故障描述自然包含与故障类别高度相关的领域知识，可作为与传感器数据互补的有价值语义信息。然而，这些文字描述通常存在不一致、非结构化和歧义等问题，加之缺乏相应的标注数据，进一步阻碍了其直接用于诊断。为解决这一问题，本文提出了一种利用语言模型语义能力实现无标注多模态故障诊断的框架。具体而言，我们利用语言模型对文字故障描述中的领域知识进行编码，作为辅助语义监督，在无需人工标注的情况下引导传感器表示学习。该框架包含两个关键模块：双阶段对比表示学习（DPCRL）模块和可靠性自适应伪标签精炼（RAPR）模块。DPCRL模块通过硬-软对比学习策略解决文字与传感器模态之间的异质性问题，在统一的嵌入空间中实现对跨模态语义的对齐。RAPR模块通过整合软加权投票和基于熵的过滤来增强伪标签的可靠性，从而精炼不确定样本并抑制噪声更新。通过联合训练这两个模块，所提出的框架建立了一种无标注、可解释且具有鲁棒性的诊断方法，能够实现对故障的准确分类。在两个基准数据集上的实验评估表明，所提出的框架在性能上优于当前最先进的方法。

引言

随着现代工业系统复杂性和自动化程度的不断提高，确保关键设备的安全性、可靠性和效率变得越来越重要[1]，[2]。故障诊断作为预测与健康管理（PHM）的关键组成部分，通过持续监控机械设备的健康状况来防止意外故障并降低维护成本[3]，[4]，[5]，[6]。它同时支持及时维护和系统优化[7]，[8]。

在工业系统中，大量传感器数据被持续收集用于故障诊断[9]，[10]。随着人工智能（AI）的进步，数据驱动模型已 largely 取代了基于手工特征的传统诊断方法。端到端神经网络可以直接从原始传感器信号中学习判别性表示[11]，[12]，[13]。然而，这些模型通常需要标注数据进行训练[14]，[15]。这里，标签表示机器的真实状态，如正常运行或特定故障类型，通常被编码为独热向量，如图1所示。在真实工业环境中，可靠的标签难以获得，因为标注通常需要专业知识、受控实验和仔细验证。标注错误和不一致性可能进一步破坏监督信号并降低模型鲁棒性[16]。即使有专家参与，由于故障类别之间症状重叠、标注时证据不完整以及专家判断差异等原因，仍可能出现错误标注。不同人员、地点和运行条件下不一致的标注标准也会降低模型的可迁移性。这些局限性促使研究人员开发减少对手工标注依赖并充分利用自然可用监督信号的故障诊断框架。

近期研究通过元学习、度量学习和基于原型网络的策略，解决样本不足、不平衡的开集泛化和噪声数据学习等问题，从而减少了故障诊断中对标签的依赖[17]，[18]，[19]，[20]。这些方法仍然通常依赖于有标注的支持样本或明确的故障类别监督，并且主要关注传感器信号的表示学习。在这些标签高效诊断范式之外，研究人员还探索了直接从无标注传感器数据中学习的无监督故障诊断方法[21]，[22]。典型方法执行特征提取后进行聚类，以揭示潜在空间中的潜在故障模式[23]，[24]，[25]。虽然这些方法可以发现数据内部的结构相似性，但当提取的特征缺乏清晰的可分性时，其诊断能力往往受到限制[26]。传感器信号通常还会受到噪声、非平稳性和环境波动的影响，使得基于特征的分组不够稳定。除了传感器数据外，维护活动中通常会记录带有文字描述的故障日志[27]，[28]。尽管这些描述不直接指明故障类别，但它们包含特定的领域术语、症状描述和上下文观察，暗示了潜在的故障类型。例如，故障描述"在持续过载运行后，左侧轴承检测到异常振动和间歇性噪音"暗示了潜在的轴承磨损或不平衡故障。然而，从这些非结构化记录中提取价值传统上依赖于人工检查。由于此类分析相关的劳动力成本过高，工业部门通常忽视利用这些数据，导致严重的数据浪费。我们旨在将这些自然收集的维护记录重新利用为主要指导来源。通过利用语言模型对这些描述进行编码，此类语义信息可以作为表示学习的指导[29]，[30]，提高诊断可靠性并减少对手工标注的依赖。

将文字语义与传感器数据相结合已成为故障诊断中的一种有前景的多模态范式，因为它能够更全面地理解信号级特征和语言故障信息。近期研究通过一系列多模态框架推进了这一方向。例如，Wu等人[31]开发了一种多模态知识图谱驱动的诊断模型（MMKG），整合视觉、语义和文字线索，以缓解数据稀缺问题并增强可解释性。Peng等人[32]通过多模态知识图谱（MKG）扩展了这一概念，融合时域、频域和文字信息，以捕获故障类别之间的关联依赖。Yue等人[33]引入了一种辅助集方法，联合学习数据-数据和数据-语义相似性，用于泛化零样本故障诊断。Zhou等人[34]设计了一种由大语言模型驱动的多模态框架，结合振动信号和文字描述，以提高语义特征学习和诊断准确性。Lin等人[35]进一步提出了一种多模态大语言模型（MM-LLM），采用模糊语义嵌入和可学习提示来注入领域知识，并通过低秩自适应（LoRA）方法对模型进行微调以实现更高的诊断性能。Yu等人[36]提出了一种知识图谱增强的大型多模态故障诊断（LMM-FD）框架，将时序振动信号与文字故障知识进行对齐，从而实现准确且可解释的故障诊断。

然而，大多数这些方法仍然依赖于预定义的语义对应关系、外部知识结构或强监督，这限制了它们在本研究所考虑的无标注多模态故障诊断场景中的适用性。更具体地说，一些现有研究构建故障知识图谱，其中故障类别被表示为诊断节点，并与相关属性、文字描述、传感器模式、视觉线索或其他模态特定信息相关联。这些预定义的图结构为多模态表示学习提供了有用的先验对应关系，但它们也需要人工准备故障类别与异构数据源之间的语义关系。在其他情况下，明确的故障类别信息在训练过程中作为监督标签提供。这种依赖限制了模型在缺乏预定义对应关系或额外先验信息的情况下直接从异构多模态数据中学习的能力，因为其融合策略通常在特征或决策层面实现，而未能显式建模离散文字语义与连续传感器动态之间的语义鸿沟。一些近期工作[35]试图通过对比学习来缓解这一鸿沟。然而，这类对比目标通常以二元方式构建，将跨模态关系视为严格的正关系或负关系。这种简化的假设无法反映复杂工业故障模式中持续的语义相似性，从而限制了鲁棒且细粒度的跨模态对齐，导致在多模态故障诊断中性能次优。

另一个关键局限性是对文字描述中噪声和不确定性的考虑不足。真实维护记录通常包含模糊、冗余、不完整或相互矛盾的表达。然而，许多现有研究假设文字描述是准确且语义一致的。这一假设可能导致模型过度依赖不可靠的文字线索。因此，语义指导可能变得不太有效，诊断鲁棒性可能下降。因此，直接将文字描述作为语义监督使用可能引入不可靠的指导。

据我们所知，目前尚不存在一个同时在跨模态不一致性和文字噪声方面具有鲁棒性，同时又能够在无需人工标注的情况下运行的多模态故障诊断框架。为填补这一空白，我们提出了一种利用语言模型实现无标注多模态故障诊断的框架。具体而言，它利用文字故障描述和传感器信号的互补优势，无需依赖人工标注数据进行模型训练。该框架增强了复杂工业故障诊断场景中的可解释性、可扩展性和适应性。本文的主要贡献总结如下：

• 我们提出了一种新颖的框架，利用语言模型实现无标注故障诊断。通过联合利用文字故障描述和传感器数据，该方法能够在真实工业环境中实现可解释且无需标注的故障分类。

• 为解决跨模态不一致性问题，提出了双阶段对比表示学习（DPCRL）模块，通过硬-软对比学习来学习统一且具有判别性的表示，在共享嵌入空间中对齐由语言模型提取的文字语义和传感器模式。

• 为减轻语义噪声和不确定性，提出了可靠性自适应伪标签精炼（RAPR）模块，通过软加权投票和基于熵的过滤来精炼伪标签，确保可靠的监督并增强无监督学习的鲁棒性。

本文其余部分组织如下。第2节提供问题描述。第3节详细描述所提出的方法。第4节介绍验证所提方法有效性的案例研究和实验结果。最后，第5节对论文进行总结。

问题描述

考虑一个由多个传感器在时间窗口上进行监控的工业过程。该数据集包含历史多模态信息，包括传感器测量值和相应的文字故障描述。形式上，训练集表示为 D_train = {X_s^m, x_t^m}_{m=1}^M，其中 X_s^m ∈ R^{p×T} 表示第m个传感器（上标"s"）样本，由在长度为T的时间窗口内收集的p个传感器通道组成，x_t^m 表示相关的文字（上标"t"）故障

建模框架

所提方法的整体框架如图2所示。它包含两个主要组件，即DPCRL模块和RAPR模块。这两个模块联合训练以实现鲁棒的跨模态对齐和无标注故障诊断。

DPCRL模块通过在共享潜在空间中对齐传感器模态和文字模态来学习具有判别性且模态不变的表示。它使用具有两个对齐目标的硬-软对比学习策略。硬

案例研究

在本节中，使用两个案例研究对所提方法的性能进行评估：田纳西伊士曼过程（TEP）[38]和真实的风力发电机数据集。4.1节总结了实验设置，包括基线方法、评估指标和实现细节。4.2节呈现了TEP上跨递增复杂度任务的结果以评估性能，随后是定量比较、特征可视化、消融研究以及与监督

结论

本文提出了一种新颖的框架，通过利用语言模型的语义能力实现无标注多模态故障诊断。所提方法不依赖人工标注，而是利用语言模型编码的故障描述作为辅助监督来引导传感器表示学习。为应对跨模态异质性和伪标签不可靠性的挑战，该框架集成了两个关键模块。DPCRL模块用于对齐文字

作者贡献声明

Yi Ding：撰写-初稿，软件，方法论，数据整理，概念化。Carman K. M. Lee：监督，项目管理，获取资金，概念化。Xingchen Liu：撰写-审阅与编辑，验证，监督，项目管理，获取资金，概念化。Qiuzhuang Sun：撰写-审阅与编辑，验证，项目管理，概念化。

利益冲突声明

作者声明，他们没有已知的竞争财务利益或个人关系可能影响本文所报告的工作。

致谢

本工作由香港理工大学战略招聘计划下的RAPs启动基金（P0054859）、国家自然科学基金（72501245和72471144）、香港研究资助局（15236526）、香港理工大学工业与系统工程系（ZZSD）、李嘉诚学者 fellowship，以及新加坡管理大学城市研究所种子基金（2026-UI-011）支持。

Yi Ding | Carman K.M. Lee | Xingchen Liu | Qiuzhuang Sun