基于大语言模型并采用后训练与微调策略的用于高度可泛化故障与剩余使用寿命（RUL）评估的多任务集成问答框架

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：A multi-task integrated question-answering framework for highly generalizable fault and RUL assessments based on LLMs with a post-training and fine-tuning strategy

　　

摘要
有效的故障预测与健康管理（PHM）方法，包括故障评估和剩余使用寿命（RUL）评估，对于现代工业系统中旋转机械的可靠性和安全性至关重要。然而，传统方法面临泛化挑战，因为工业应用的多样化，同时大多数现有方法分别处理 PHM 任务，限制了需求侧的灵活性。我们提出了一个多任务集成问答（QA）大语言模型（MIQ-LLM）框架，该框架能够在各种场景下实现高自适应泛化的故障和 RUL 评估。首先，构建了一个模板驱动的信号 - 文本 QA 数据集构建流程，以及一个用于集成信号和指令的多任务信号提示变换器（MSP-Former）。进一步，引入了一种通用的后训练和领域特定微调策略，以实现 PHM 能力从完整数据集到多样化应用的转移。此外，利用快速自适应收敛平衡器（FaCB）动态调整联合后训练优化。多个数据集上的实验结果表明，MIQ-LLM 在评估准确性和转移效率上均超越了传统数据驱动方法和域泛化基线。消融研究验证了 MIQ-LLM 的泛化能力，并确认了 MSP-Former 和构建的 QA 训练对在增强鲁棒性、稳定性和可解释性方面的重要性。MIQ-LLM 为旋转机械提供了一种高度泛化的解决方案，展示了大语言模型在工业 PHM 评估中的潜力。

引言
旋转部件，特别是滚动轴承，在高风险的工业应用中作为不可或缺的元素，涵盖从铁路运输到航空航天系统 [1]。然而，受限于复杂和恶劣的运行环境，这些部件容易发生不可避免的退化 [2]。此类关键部件的意外故障不仅因系统停机导致急剧的经济损失，还对操作安全和人员安全构成灾难性风险。因此，及时准确地实施故障预测与健康管理（PHM），特别是针对故障诊断和剩余使用寿命（RUL）的综合评估，对于确保现代工业基础设施的可靠性和韧性至关重要 [3,4]。

PHM 是确保复杂工业资产可靠性的基础。几十年来，PHM 方法论有了显著的发展，从传统的基于物理和信号处理技术转向先进的数据驱动深度学习方法。传统上，PHM 框架主要依赖于基于物理的建模和信号处理技术。基于物理的方法基于失效机制和退化规律构建数学模型以预测设备健康，以及信号处理技术，如快速傅里叶变换（FFT）[5]、模态分解（MD）[6] 和小波变换（WT）[7] 分析，以提取状态指标。虽然在受控实验室环境中有效，但这些方法需要依赖领域专业知识的大量手动特征工程，且通常缺乏可扩展性 [8]。此外，这些模型通常缺乏适应现实工业环境所需的灵活性，这些环境的特点包括负载波动、速度变化以及显著的噪声干扰 [9]。因此，当运行条件改变时，手动设计的特征会发生畸变，导致模型鲁棒性和泛化能力的显著下降。

随着大数据时代的到来，基于深度学习（DL）的方法通过实现从复杂工业数据中自动化特征学习，革新了 PHM 任务 [10]。突出的架构包括卷积神经网络（CNNs）[11]，通过从振动信号中提取空间模式进行端到端故障诊断；长短期记忆（LSTM）[12] 网络用于捕捉退化过程中的时间依赖性，这已被广泛应用于 RUL 预测任务中。尽管它们比传统方法性能优越，但这些模型在现实部署中仍面临关键限制。首先，标准深度学习模型普遍缺乏泛化能力，当部署在不同运行条件或设备上时性能显著下降，由于它们假设训练和测试分布相同 [13]。其次，它们本质上受限于数据，在故障样本稀缺或收集成本高的少样本场景中难以实现鲁包性能 [14]。最后，虽然迁移学习试图缓解这些问题，但当源域和目标域不够相关时，经常发生负迁移，限制了这些方法对现代工业系统动态和多样化性质的可扩展性 [15]。

为了解决运行条件的变化和有标签故障数据的稀缺性，在现实工业场景中，最近的研究集中在具有泛化能力的深度学习方法上。现有方法大致可分为域自适应（DA）方法和域泛化（DG）框架 [16,17]。DA 方法通常采用对抗学习，如深度对抗神经网络（DANN）[18]，或统计距离对齐，如最大均值差异（MMD）[19] 和深度相关性对齐（DCORAL）[20]，以提取域不变特征，有效对齐源域和目标域的特征分布。一系列近期研究表明了跨域 PHM 方法的有效性 [21]。例如，Han 等人 [22] 提出了一种具有正交约束的最大分类器差异（MCD）网络的域自适应方法，用于交叉工况下的滚动轴承 RUL 预测。Nejjar 等人 [23] 展示了一种基于对抗域自适应框架的两种新颖的 RUL 预测 DA 方法，并利用 ERM 最小化源样本的预测误差。然而，DA 方法仍然假设在训练期间可以访问目标域数据 [24]。为了解决具有未见目标的情景，域泛化技术利用多源学习，以表示跨未知偏移的稳定特征 [25]。以下是一些先进的卓越 PHM 应用和 DG 方法的报告，Han 等人 [26] 引入了一种内在与外在域泛化网络（IEDGNet），该方法最小化内在多源数据变化并减轻过拟合风险。Zhao 和 Shen [27] 构建了一种用于未知工况下故障诊断的新型域泛化网络，该方法同时利用域不变性并保留域特异性，使深度学习模型受益于域不变特征的通用适用性，同时保留特定域结构的预测能力。尽管取得了这些进展，大多数现有方法仍分别处理 PHM 任务，限制了需求侧的灵活性。从机械角度来看，这种人为分离忽略了故障诊断和 RUL 预测之间深刻的物理协同作用 [28]。此外，它们对密集特征监督的依赖排除了对离散或非结构化输入的自主分析 [29]。关键在于，这些结构条件本质上决定了退化的动力学传播速率和 RUL 预测的失效阈值。相反，在 RUL 跟踪过程中量化的累积退化作为触发宏观、可识别故障特征的因果前兆。因此，将 FD 和 RUL 整合到一个统一范式中不仅仅是算法上的拼接，而是反映旋转资产连续退化机制的物理必要性 [30]。

具有 superior 可转移性和综合能力的 LLMs 的出现，实现了跨多样化和未见 PHM 任务的鲁棒适应性和泛化能力，为这些障碍和挑战提供了可行的解决方案。最先进的 LLMs，如 GPT-4、Llama 和 DeepSeek，正在引发工业智能的革命性范式转变。传统的诊断和预测方法依赖于孤立的分类和回归头，这严重破坏了故障表现和寿命退化之间固有的物理相关性 [31]。就比较方面而言，传统范式、基于 DL 的和 LLM 驱动的 PHM 框架的前景和考量总结如下，如图 1 和表 1 所示。通过将这些预测工程任务重构为统一的生成式问答范式，所提出的框架消除了对任务特定投影层的需求。这种统一方法将连续传感器嵌入直接与共享语义空间中的自然语言指令对齐，赋能大语言模型生成全面且可解释的健康评估。因此，该框架通过实现交互式逻辑推理超越了传统的数值曲线拟合，并在完全未见的工业运行条件下实现鲁棒的零样本泛化。

在故障诊断和异常检测领域，Zheng 等人 [32] 进行了关于预训练大语言模型的实证研究，通过微调将其直接应用于复杂系统的故障诊断。Li 等人 [33] 探索了 LLMs 在时间序列数据异常检测中的潜力。Wang 等人 [34] 开发了一种 LLM 驱动的多智能体协作框架，用于爆炸载荷下的自动化目标安全评估，该框架将领域专家知识嵌入定制工具，消除了对大规模训练数据的依赖。在可靠性评估和风险分析任务方面，Kim 等人 [35] 开发了一种两阶段 LLM 架构，专门设计用于在部分信息缺失条件下评估旋转机械的可靠性。在人员可靠性分析中，Xiao 等人 [36] 提出了 KRAIL 框架，将传统的人为错误数据库（IDHEAS-DATA）与 LLMs 集成，即使在信息不完全条件下也能准确估计人为错误概率。具体而言，采用生成式问答（QA）范式有助于实现透明、逻辑驱动的支持决策 [37]。通过将潜在信号特征转化为语言描述并应用推理，LLMs 实现了超越简单模式识别的诊断过程 [38]。Lai 等人 [39] 提出了 FR-LLM 框架，该框架采用信号到文本编码和自适应优化策略，这标志着首次尝试利用多任务大语言模型进行故障诊断和 RUL 预测的联合评估。为了解决传统深度学习在多模态融合方面的限制，Lin 等人 [40] 提出了 FD-LLM 框架，其中引入了模糊语义嵌入和可学习提示嵌入，并成功将描述性工程文本与设备运行数据集成。

然而，尽管 LLMs 在 PHM 领域取得了令人瞩目的进展，但其在复杂工业场景中的部署仍然有限，且仍需解决几个关键挑战：(1) 在语义文本 PHM 框架和工业泛化方面，大多数当前研究将故障诊断和 RUL 预测视为孤立任务，而不是统一的生成式 QA 范式。此外，当面临现实工业挑战，如小样本量和跨工况场景时，它们难以保持鲁棒泛化。(2) 对于数据集构建，缺乏标准化和高效的流程将原始监测数据和指令转换为多样化、高质量的 QA 对话对，这严重限制了创建领域特定 LLMs 有效后训练和微调所需的大规模数据集。(3) 关于多模态对齐，现有方法未能有效弥合原始数值振动信号和自然语言指令之间的固有语义差距。这种缺陷使得 LLM 主干难以在统一的语义空间中对齐和深刻理解复杂信号模式，以用于下游 PHM 任务。(4) 关于多任务处理的训练策略，简单的联合训练范式通常面临收敛不稳定和负任务干扰。迫切需要能够动态调整损失权重以确保跨不同层级和多个任务同步稳定协同优化的动态优化机制。

本文提出了多任务集成问答大语言模型（MIQ-LLM）框架，利用 LLMs 的鲁棒泛化和 QA 能力，在多样化工业场景中执行故障和 RUL 评估。为了解解决泛化瓶颈，我们为 MIQ-LLM 引入了一种两阶段范式，包括广泛的 PHM 后训练和场景特定微调。我们通过两种策略明确定义其操作边界。首先，少样本泛化是通过监督微调（SFT）实现的，使用最少的标记数据将模型适应于未见资产。相反，零样本泛化利用跨不同工况的无监督微调（UFT）。这种目标域适应是严格的标签零样本，仅通过利用后训练期间获得的域不变语义来评估未见状态。此外，该框架引入了一种模板驱动的信号 - 文本 QA 对生成流程，用于多任务和多场景 QA 数据集的通用构建，这促进了 MIQ-LLM 的高效部署和应用。进一步，提出了一种多任务信号提示变换器（MSP-Former），用于基于特征编码和多级注意力的有效振动数据和自然语言对齐，该方法利用了信号和 PHM 指令之间的语义差距。最后但同样重要的是，快速自适应收敛平衡器（FaCB）后训练策略，结合了收敛平衡器 [41] 和快速自适应多任务优化 [42] 被集成，以稳定多任务学习和 MIQ-LLM 及 MSP-Former 的优化。不同于利用刚性信号到文本特征映射的现有多任务语言模型范式，如 FR-LLM [39]，所提出的认知故障预测与健康管理框架引入了四个特定的架构进步，以确保在极端工业约束下的鲁包泛化能力。

本工作的主要贡献总结如下：(1) 提出了一种 MIQ-LLM 框架，该框架创新地将故障诊断和 RUL 评估重新表述为统一的生成式问答任务，基于后训练和微调策略，在小样本和跨工况任务上实现了鲁棒的泛化能力。(2) 建立了一条标准化、模板驱动的流水线，能够高效地从原始数据和指令中生成多样化、高质量的问答对话对，从而实现可扩展的数据集创建，用于模型后训练和微调。(3) 提出的 MSP-Former 弥合了原始振动信号与文本指令之间的语义鸿沟。通过采用专用编码和多层注意力模块，它对齐了这些模态，使 LLM 主干能够在语义空间内解释复杂的信号模式。(4) 为了解决联合多任务训练期间收敛不稳定的问题，我们开发了 FaCB 后训练机制。该模块动态调整损失权重，确保所有任务之间同步且稳定的协同优化。本文其余部分组织如下。第 2 节详细阐述了提出的 MIQ-LLM 框架，包括 QA 对的构建、多任务信号提示转换器、后训练优化策略。第 3 节描述了实验设置和评估指标。第 4 节从比较、消融、可解释性和鲁棒性角度展示并分析了实验结果。第 5 节讨论了意义、局限性和未来方向。章节片段 基本定义 本部分概述了一些基本定义和符号。定义 1（基于 QA 的 PHM LLM 推理）。形式上，给定预处理后的输入数据样本 ??、构建的任务提示 ??（问题）和文本输出 ??（答案），我们将 PHM 任务的基于 LLM 的推理函数定义为：??=LLM( ??,??)定义 2（多任务集成 PHM 任务）。给定用于故障和 RUL 评估的原始振动数据集 ????={??(1)??,…,??(??)??} 和 ????={??(1)??,...,??(??)??}，以及相应的故障类别 ???????={??1,…????} 和 RUL 标签 ??={??∈[0,1]}。我们实验设置 为了验证提出的 MIQ-LLM 的性能，提出的框架首先在 4 个完整的故障诊断和 RUL 数据集上进行后训练，然后在另外 4 个专门的数据集上进行微调，用于小样本和跨工况场景下的 PHM 任务。我们对其提出的方法的有效性和鲁棒性进行了全面的实验研究。结果与分析 本节展示了 MIQ-LLM 性能的验证和分析，包括与现有方法的泛化性能比较、特定任务的回答性能分析、不同 LLM 主干的任务泛化能力以及消融实验的讨论。讨论 为了全面验证所提出框架在工业维护决策中的实际实现，系统地整合了深入讨论，评估了置信度校准、环境噪声和传感器缺失条件。生成文本响应的统计校准通过由多任务收敛平衡器调节的有界标记概率在概念上得到了验证。这确保了估计的确定性紧密反映CRediT 作者贡献声明 Zhibin Guo：写作 – 审阅与编辑，写作 – 初稿，可视化，验证，软件，方法学，数据整理，概念化。Buyao Yang：验证，调查，形式分析，数据整理。Jingsong Xie：可视化，验证，监督，项目管理，调查，形式分析。Tiantian Wang：验证，监督，项目管理，资金获取。Jinsong Yang：可视化，软件，数据整理。Buzhao Niu：可视化，Zhibin Guo|Buyao Yang|Jingsong Xie|Tiantian Wang|Jinsong Yang|Buzhao Niu