面向多模态工业诊断的不确定性感知类别增量持续学习：融合时间序列与文本数据

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Uncertainty-Aware Continual Learning for Class-Added Multimodal Industrial Diagnosis with Time-Series and Textual Data

　　

•面向类增量多模态工业诊断的不确定性感知持续学习
•跨模态对齐提升多模态表示学习
•双模态不确定性融合提升新类识别
•文本引导的原型校正提升小样本持续适应

**引言**
随着工业设备和系统复杂性的增加，预测与健康管理（PHM）对于确保运行稳定性和可靠性变得越来越重要 [1,2]。作为 PHM 的核心组件，故障诊断能够分类异常状况，从而有助于防止非计划停机并减少由设备故障引起的维护成本 [3,4]。

可靠性工程领域的近期研究强调在可靠性评估、基于可靠性的设计优化和维护规划中显式处理依赖性故障过程、重叠的故障证据和不精确参数 [5,6]。这些进展进一步强调了可信故障状态信息的重要性，因为故障诊断过程中产生的不确定性或错误可能会影响后续的可靠性评估和维护决策。大多数现有的故障诊断方法依赖传感器信号，如振动、声学、电流和温度测量，并采用深度神经网络学习诊断表示 [7,8]。尽管这些方法取得了可喜的成果，但其有效性通常取决于训练期间是否有足够且准确标注的故障样本 [9,10]。在实际工业环境中，此类标注获取成本高昂，高度依赖专家知识，且往往由于人工误标注、模糊的故障症状和变化的工况而存在噪声 [11,12]。此外，大多数现有方法假设固定故障类别的闭集场景。然而在实际中，随着时间的推移可能会出现新的故障类别 [13,14]。因此，实际的诊断系统不仅应能够在没有故障类别高质量标签的情况下可靠地诊断已知故障，还应识别并适应新出现的故障 [15,16]。

因此，现实世界中的工业故障诊断面临两个挑战。第一是如何在不依赖高质量标签的情况下实现可靠的故障诊断。第二是如何处理以前未见过的故障类别的持续出现，这不仅包括将它们识别为新类，还包括增量地将其纳入诊断模型而不严重降低先前学到的知识。

除了传感器测量外，维护活动期间通常还会记录带有文本描述的故障日志。如图 1 所示，尽管这些文本不直接提供故障标签，但它们通常包含故障症状、运行条件和维护经验的高级语义描述 [17,18]。此类信息补充了原始传感器信号，并为理解健康状态提供了有价值的指导 [19]。更重要的是，语言模型的近期进展提供了一种将此类自由文本记录编码为结构化语义表示的有效方法，使文本模态更容易与传感器数据对齐，并在下游诊断中更有用。与依赖专家粒度的人工分配标签不同，文本描述通常捕获更丰富、更细粒度的故障语义，为捕获故障模式之间的细微差异提供了更自然的方式。这使得文本信息与上述两个挑战都相关。首先，语言模型衍生的文本语义可以作为隐式语义监督，从而能够在不依赖人工整理的高质量标签的情况下实现故障诊断。其次，对于新出现的故障，维护日志的语言模型衍生语义可以为判断传入样本是否与已知类别不一致提供互补证据，并进一步支持在小样本增量学习期间形成更稳定的类别表示。这些观察结果促使我们将自然收集的维护记录重新利用为多模态诊断的额外模态，无需人工故障类别标注，并用于小样本持续适应。

将文本语义与传感器数据集成已成为故障诊断的一个有前景的多模态范式，因为它能够更全面地理解信号级特征和语言故障信息。近期研究通过不同的框架探索了这一方向。例如，Wu 等人 [20] 提出了一种知识图谱驱动的模型，集成视觉、语义和文本线索以缓解数据稀缺并提高可解释性。Peng 等人 [21] 通过融合时域、频域和文本信息来捕获故障关系，扩展了这一想法。Zhou 等人 [22] 引入了一种由大语言模型（LLM）驱动的框架，结合振动信号和文本描述以改进语义学习。Lin 等人 [23] 进一步开发了一种具有模糊语义嵌入、可学习提示和低秩适应（LoRA）微调的多模态 LLM 以增强诊断。Yu 等人 [19] 提出了一种知识图谱增强的大型多模态框架，将振动信号与文本故障知识对齐，以实现准确且可解释的故障诊断。

然而，这些工作仍然依赖标签信息，并主要使用文本增强预定义类别的诊断，而不是充分利用语言模型衍生的语义作为核心监督信号。此外，它们通常在特征级或决策级结合两种模态，这使得在不使用监督的情况下完全捕获时间序列信号和文本描述之间的复杂关系变得困难。即使采用对比学习，跨模态关系通常也以硬性二元方式建模 [23]，这忽略了复杂故障模式之间的分级语义相关性。因此，如何在不依赖故障类别高质量标签的情况下整合时间序列和文本信息进行多模态诊断仍然是一个开放问题。

除了诊断已知故障外，实际的工业系统还必须处理开放和不断变化的环境中新故障类别的持续出现 [24,25]。这一挑战涉及两个紧密相连的步骤：首先，识别传入样本是否属于以前未见的类别；其次，如果识别为新类，则增量地将其纳入模型，而不严重降低先前学到的知识。作为第一步，现有研究通常通过基于距离的标准 [26]、阈值方案 [27] 或开集识别策略 [28] 来解决新故障识别问题。然而，这些方法是在单模态设置下开发的，因此不能完全利用跨模态互补信息以实现更可靠的新故障类型识别。相比之下，传感器信号和文本日志从不同角度描述设备状况：前者反映时间和物理变化，而后者提供异常事件的高级语义描述。当新故障类型发生时，这两种模态可能会表现出与已知类别不同的但互补的偏差。因此，如何联合利用语言模型衍生的语义和信号表示来推导可靠的多模态不确定性评分以进行新故障推断仍然研究不足。

识别新故障类别只是第一步。一旦识别出此类类别，模型必须进一步将其纳入现有的知识空间，以适应故障模式的持续演化。这一需求自然导向持续学习，特别是类增量故障诊断 [29,30]。现有的持续学习方法通常结合基于原型的表示学习与知识蒸馏或重放机制来缓解灾难性遗忘 [31]。然而，在故障诊断场景中，新出现的类别通常只与有限数量的样本相关联 [32]。在这种小样本条件下，从稀缺的信号观察中估计的类别表示容易产生偏差和不稳定性，从而阻碍对新类别的可靠适应。尽管文本信息可以为新出现的故障提供互补的语义线索，但尚无研究考察如何系统地利用此类语义来提高类别表示的质量并支持故障诊断的稳定增量适应。特别是，从先前发现的类别转移到新出现类别的语义不确定性很少被显式表征。因此，如何以不确定性感知的方式利用文本语义来增强新出现故障类别的小样本持续学习仍然研究不足。

将新出现的故障错误地分配给现有类别会降低推断系统状态信息的可信度，而不稳定的新类适应可能会损害连续运行期间的诊断一致性。这些可靠性担忧凸显了在新类识别中显式量化不确定性以及在类别扩展期间调节不确定语义转移的必要性。因此，三个关键研究问题值得进一步调查。首先，由于连续物理动力学和离散语义描述之间的异质性，时间序列传感器数据和文本信息的有效融合用于多模态故障诊断仍然具有挑战性。其次，通过多模态信息可靠识别新故障类别仍然是一个非平凡的挑战，特别是当针对先前发现的类别空间的模态不确定性没有被显式量化时。第三，在新出现的类别仅由少量样本表示的持续学习框架中，如何利用多模态互补性构建不确定性感知的类别表示并促进稳定适应仍然是一个重要的未解决问题。

为此，本文研究了无人工标注的多模态持续故障诊断。我们的目标是开发一个统一框架，不仅对已知故障类别进行准确诊断，还能识别新类并仅通过少量样本对其进行增量学习。具体来说，我们首先设计了一种硬 - 软跨模态语义对齐机制，以对齐传感器信号和文本日志，并获得更具判别力的多模态故障表示。然后，我们开发了一种基于不确定性评分的双模态新类推断策略，使模型能够通过利用模态互补性更好地检测新出现的故障类别。最后，为了解决小样本持续设置中学习新类的困难，我们引入了一种不确定性感知的文本引导原型校正机制，以提高对新出现故障类别的适应。

本文的主要贡献如下。
(1) 据我们所知，这项工作是最早联合利用时间序列传感器数据和文本故障日志探索多模态持续故障诊断的工作之一。
(2) 我们提出了一个硬 - 软跨模态语义对齐框架，采用硬 - 软对比学习来桥接传感器信号和文本日志，从而增强多模态故障表示，以实现无需人工标签标注的鲁棒故障诊断。
(3) 我们开发了一种基于不确定性评分的双模态新类推断方法，将模态特定距离转换为不确定性评分，并通过析取概率融合策略进行聚合，从而通过利用多模态互补性有效识别新出现的故障类别。
(4) 我们为持续学习引入了一种不确定性感知的文本引导原型校正机制，当新类样本稀缺时，使用文本推断特征来补全和细化信号原型，并根据转移语义先验的可靠性自适应调整校正强度，从而改善对新遭遇故障类别的小样本适应。

本文其余部分组织如下。第 2 节提供问题陈述。第 3 节详细描述所提出的方法。第 4 节提出案例研究和实验结果，以验证所提方法的有效性。最后，第 5 节总结全文。

**章节片段**

**问题陈述**
考虑一个开世界多模态持续故障诊断问题，时间周期序列索引为 ??=0,1,…,??。在时间周期 ??，观察到多模态数据集 ????={(??s??,??,??t??,??)}??????=1，其中 ???? 是数据集的大小，??s??,??∈???×??表示长度为 ?? 的时间窗口内具有 ?? 个通道的多变量传感器时间序列样本，??t??,??表示配对的文本故障描述或维护日志。这种传感器 - 文本配对在工业实践中自然产生，因为

**方法**
所提方法的总体框架如图 2 所示，展示了动态工业环境中的开世界多模态持续故障诊断。在初始周期，硬 - 软跨模态语义对齐学习配对的传感器 - 文本嵌入，随后进行聚类以发现 ?? 个基础类别。然后使用牧羊算法（Herding）初始化样例记忆和模态特定类别原型。在随后的每个周期，基于不确定性评分的双模态

**案例研究**
为了验证所提出的持续多模态故障诊断框架，在两个数据集上进行了案例研究：田纳西伊斯曼过程（TEP）数据集 [33] 和真实风电场数据集。这两个数据集的详细信息分别在 4.2.1 数据集描述和 4.3.1 数据集描述与实验设置中给出。

**结论**
本文提出了一种面向新故障类型可能随时间出现的工业场景的开世界多模态持续故障诊断框架。通过集成硬 - 软跨模态语义对齐、基于不确定性评分的双模态新类推断和不确定性感知的文本引导原型校正，所提方法联合利用了时间序列传感器数据和文本故障描述，以支持多模态表示学习、新类识别和

**CRediT 作者贡献声明**
Yi Ding：撰写 - 初稿，软件，方法论，形式分析，数据整理，概念化。
Chao Wang：撰写 - 审阅与编辑，验证，形式分析，概念化。
Hanxiao Zhang：撰写 - 审阅与编辑，验证，形式分析，概念化。
Xingchen Liu：撰写 - 审阅与编辑，监督，项目管理，资金获取，概念化。

Yi Ding|Chao Wang|Hanxiao Zhang|Xingchen Liu