PHM-LLM：一种跨模态预训练的大型语言模型（LLM），用于轴承故障诊断和剩余使用寿命预测

《Neurocomputing》：PHM-LLM: A cross-modal pre-trained LLM for bearing fault diagnosis and remaining useful life prediction

【字体：大中小】 时间：2026年10月31日 来源：Neurocomputing 6.7

编辑推荐：

　　`` • 本文发现，在预测性健康管理（PHM）领域，小规模深度神经网络（DNN）的泛化能力和可扩展性较弱。 •

•
本文发现，在预测性健康管理（PHM）领域，小规模深度神经网络（DNN）的泛化能力和可扩展性较弱。
•
本文通过预训练的语言模型（LM）实现了振动信号的跨模态适应。
•
PHM-LLM在许多预测和健康管理系统数据集上取得了优异的结果。

引言

在工业4.0时代和智能制造范式的到来下，预测性健康管理（PHM）系统的实施对于维护机械系统的可靠性和安全性至关重要[17]，[58]。滚动轴承作为旋转机械的核心部件，如果发生故障，可能会造成严重的经济后果并带来安全隐患。故障诊断领域致力于识别和精确定位这些故障的来源，而剩余使用寿命（RUL）预测则旨在预测故障发生的时间。两者共同利用数据分析来评估设备的使用状况，并提前预测潜在的故障，从而显著提高基于状态的维护策略的有效性[47]。用于这些任务的方法已经从传统的信号处理（小波变换[8]，[40]和Hilbert-Huang变换[39]）发展到数据驱动的机器学习（ML）[53]，[59]，[60]，以及最近的端到端深度学习（DL）模型，如图1(a)所示，这些模型在准确性和效率上都有了显著的提升[9]。

作为机器学习（ML）最重要的分支之一，基于深度神经网络（DNN）的方法正在逐渐取代传统方法和基于ML的方法，因为它们具有端到端的学习能力和强大的特征提取能力。特别是卷积神经网络（CNN）[62]在PHM的几个关键问题上取得了显著的成功，例如多尺度特征学习[5]、专家知识的迁移学习[26]和少量样本学习（FSL）[63]。然而，如图2所示，在旋转轴承PHM领域，评估的小规模DNN在少量样本情况下的准确性有限，并且随着训练数据的增加，性能提升也很小。基于工业实践的具体分析如下：

•
故障诊断中的泛化能力弱：轴承表现出多种故障模式，其中许多模式较为罕见且难以收集，导致训练集的覆盖范围不完整。这些挑战促使人们使用可迁移的预训练表示来改善从有限标记数据中的学习效果。图2(a)展示了评估的小规模基线模型在少量样本情况下的性能有限。
•
剩余使用寿命预测的可扩展性有限：完整的振动记录为剩余使用寿命估计提供了丰富的训练数据。然而，当前模型存在收益递减的问题，在图2(b)中可以看到，随着训练数据的增加，其性能并不能显著提升。

尽管自我监督的预训练（例如重建、掩码建模[33]、对比学习[6]）可以在一定程度上提高小规模DNN的泛化能力和可扩展性，但由于轴承振动数据的稀缺性和浅层网络的固有局限性，这种预训练只能适度缓解上述问题。

为了解决上述泛化和可扩展性的限制，我们从大规模预训练和模型扩展方面的进展中获得灵感[21]。通过这种预训练开发的基础模型能够适应多种下游任务[51]，例如自然语言处理（NLP）中的预训练语言模型[31]，[32]，[36]，[67]，[68]以及计算机视觉（CV）中的视觉表示模型[13]，[25]，[35]。然而，在工业应用中获取大规模振动数据并进行广泛的预训练仍然具有挑战性。因此，我们研究是否可以通过调整现有的预训练语言表示来改善轴承PHM的泛化能力和可扩展性，而无需对振动数据进行额外的大规模预训练。这里所说的可扩展性是指随着下游训练数据的增加而提升的性能；同时评估了主干网络参数数量的影响。

我们提出了PHM-LLM，这是一种新的跨模态学习框架，它将预训练的语言模型适配到旋转轴承的PHM任务中。如图1(b)所示，该框架能够无需大量预训练资源或大规模数据集即可适应性地对振动信号数据进行建模。具体而言，我们首先提取振动信号的专家文本描述，并使用双向跨注意力模块（BDCA）[12]，[46]和Prompt-as-Prefix（PaP）[19]，[48]来有效融合嵌入式信号和文本特征。随后，利用预训练的LLM作为主要特征提取器进行跨模态适应，生成可以直接应用于下游任务的统一表示。最后，通过由宽卷积层和线性层组成的语义解码器分别完成故障诊断（分类）和剩余使用寿命预测（回归）。该框架旨在实现与基础模型类似的泛化和数据扩展优势，这些优势是通过监督故障诊断和剩余使用寿命预测实验来评估的，而不是仅从主干网络的预训练中假设的。

本文的主要贡献总结如下：

•
关键问题：基于工业生产实践和理论实验验证，本文指出了现有小规模DNN的某些性能瓶颈。我们进一步提出通过模态适应利用其他领域的PTFM，无需额外预训练，使模型具备小规模深度学习模型所缺乏的泛化能力和可扩展性。
•
架构设计：我们开发了一个端到端的跨模态学习框架，用于PHM任务，包括双模态数据嵌入、模态融合、主干特征提取、下游语义解码和任务映射。为了进一步提高LLM对振动信号的跨模态适应性，我们使用双向跨注意力机制为嵌入式信号标记分配自然语言语义特征，并使用前缀提示来增强信号的语义信息。
•
实验验证：我们在轴承故障诊断和剩余使用寿命预测方面进行了条件内和条件间实验。与小规模DNN基线相比，PHM-LLM表现出更强的条件间和跨轴承泛化能力以及更好的可扩展性。消融研究进一步验证了预训练LLM、跨模态融合和专家提示的贡献。

本文的其余部分安排如下。第2节回顾了LLM在PHM中的相关工作及其模态适应的优势。第3节全面描述了所提出的PHM-LLM。接下来，第4节概述了实验程序并展示了结果。最后，第5节对本文进行了总结。

章节片段

proposed methods

本文提出的PHM-LLM如图3所示，主要分为三个模块：数据收集、专家提示构建和PHM架构。具体模型架构包括（1）提示和信号嵌入，（2）模态融合，（3）LLM主干网络，以及（4）下游层。

实验与讨论

本节首先介绍了旋转轴承PHM的五个基准数据集，随后介绍了基线方法和训练配置，包括PHM-LLM的混合精度训练。然后，在不同训练数据量的条件下，我们评估了故障诊断和剩余使用寿命预测的泛化能力和可扩展性。接下来，消融研究检验了模型架构、专家提示组件以及类型和参数大小。

结论

本文提出PHM-LLM，以解决小规模深度神经网络在监督不足时泛化能力有限以及随着训练数据增加性能提升不足的问题。PHM-LLM通过调整现有的预训练LLM来适应故障诊断和剩余使用寿命预测，其架构结合了多传感器信号嵌入和专家提示，利用双向跨注意力和Prompt-as-Prefix技术。

CRediT作者贡献声明

王文轩：撰写——初稿、可视化、验证、概念化。 王丹：撰写——审阅与编辑、监督、概念化。 王瑞泽：验证、数据整理。 宋斌：撰写——审阅与编辑。

写作过程中生成AI和AI辅助技术的声明

在准备本文的过程中，作者使用了Kimi（一个大型语言模型）来提高手稿的可读性和语言表达。使用该工具/服务后，作者根据需要审阅和编辑了内容，并对发布文章的内容负全部责任。

资助

本项工作得到了中国国家自然科学基金（项目编号62372357）、西安科学技术协会青年人才基金（0959202613084）和ISN国家重点实验室的支持。

利益冲突声明

作者声明没有已知的利益冲突或个人关系可能影响本文报告的工作。

王文轩于2025年在中国西安电子科技大学人工智能学院获得了学士学位。他目前在中国西安电子科技大学电信工程学院攻读硕士学位。他的当前研究兴趣包括时间序列分析、现代信号处理和复杂系统建模。

王文轩|王丹|王瑞泽|宋斌

```

引言