应用于滚动轴承剩余使用寿命预测的深度强化学习方法

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：A deep reinforcement learning method applied to remaining useful life prediction of rolling bearings

　　

摘要

滚动轴承作为机械设备的重要组成部分，其健康状态直接影响着设备的可靠性和安全性。由于滚动轴承工作环境恶劣且早期退化趋势难以识别，剩余使用寿命（RUL）预测的精度面临显著挑战。为解决这些问题，本文提出了一种基于深度确定性策略梯度（DDPG）算法的深度强化学习（DRL）预测模型，该模型将RUL预测任务重构为马尔可夫决策过程（MDP）框架下连续动作空间中的序列决策问题。DDPG算法能够有效捕获原始数据中的时序依赖性。通过将残差网络（ResNet）的特征提取能力与长短期记忆（LSTM）网络的时间序列建模能力相结合，实现了高精度的RUL预测。首先，构建了一个基于ResNet-LSTM的强化学习（RL）智能体，从原始数据中提取深度退化特征。随后，通过设计适当的奖励函数和动作空间，智能体在DDPG算法的引导下，通过反复试验和优化，学习将滚动轴承的当前运行状态映射到其RUL。所提出的模型在两个开源数据集和一个私有数据集上进行了验证。实验结果表明，与其他方法相比，所提出的方法获得了更低的均方根误差（RMSE），并实现了更稳定的退化趋势预测。

引言

在工业物联网（IIoT）的背景下，智能制造已成为当代制造系统演进中的主导发展趋势。随着智能制造的发展，提升机械装备的故障预测与健康管理（PHM）对于提高经济效益和促进现代工业系统的可持续发展至关重要[1]。滚动轴承作为航空发动机、高铁牵引电机和风力涡轮机等先进机械系统中的核心传动部件，因其低摩擦、高旋转能力和高效的功率传输而被广泛使用[2]、[3]。轴承的工作状态对整个机械系统的稳定性和安全性有着直接且显著的影响。由于机械设备固有的复杂性和变异性，滚动轴承不可避免地会面临各种故障模式。统计分析表明，滚动轴承约占旋转机械故障的50%[4]。因此，精确预测轴承的剩余使用寿命（RUL）有助于及时进行维护干预，从而降低灾难性故障的发生概率[5]。

随着传感器技术、数据处理能力和机器学习（ML）算法的发展，RUL预测方法可以分为基于物理的方法和基于数据的方法[6]。基于物理的方法基于专家知识和物理规律构建解析模型来评估系统的RUL。Gupta等人[7]开发了一种基于应力分析的RUL预测模型。Jiang等人[8]采用上升多小波方法结合瞬态波形匹配来识别退化状态并预测RUL。然而，此类方法通常需要全面的物理系统先验知识和复杂的建模过程，因此限制了其在不同工况下的适用性。同时，大量的物理建模往往难以充分表征实际运行工况的复杂性。相比之下，基于数据的方法通过直接从监测数据中学习提取的健康指标与退化进程之间的映射关系来预测RUL，无需显式依赖物理退化模型[9]。深度学习（DL）凭借其强大的层次化特征表示能力，已被越来越多地应用于RUL预测。Park等人[10]提出了一种基于伪标签向量和时空注意力机制的RUL预测方法，有效捕获了时间和空间维度上的相关性以提高预测精度。Zhao等人[11]提出了最大功率谱密度拟合曲线导数法（FDMPD），从历史状态监测数据中提取退化特征。所提出的模型将FDMPD与核极限学习机相结合，并引入加权故障时间信息，从而提高了RUL预测精度。Siahpour等人[12]引入了一种基于一致性添加到目标函数的正则化项，构建了基于迁移学习的RUL预测模型，有效缓解了目标域数据不完整的影响。Yao等人[13]提出了一种新的RUL预测模型，将增强的一维卷积神经网络（CNN）与基本递归单元相结合，有效减少了手工特征工程和计算时间。

尽管深度学习方法在RUL预测中展现了令人满意的效果，但它们在训练过程中容易出现过拟合，这可能会降低模型的泛化性能。此外，在模型优化过程中对训练数据进行随机采样往往会破坏退化序列的时间连续性，从而阻碍模型捕获长期时序依赖性的能力。相比之下，强化学习（RL）[14]凭借其环境交互和自主决策的动态框架，能够自然地适应时序特征。在与环境交互过程中，智能体根据环境反馈迭代更新其策略，从而更有效地对退化动力学进行建模。

近年来，RL在滚动轴承故障诊断领域受到了广泛关注，在序列决策和自适应学习任务中展现出强大的潜力[15]、[16]、[17]、[18]。将深度学习和强化学习技术相结合的深度强化学习（DRL），在剩余使用寿命预测领域获得了越来越多的研究关注。这主要归因于其在建模长程时序依赖性方面的固有优势。传统的监督式深度学习方法主要关注从监测数据到RUL标签的静态映射。其训练目标通常是最大限度地减少即时的单步预测误差。这种范式在处理长期退化过程时往往缺乏全局视角。相比之下，DRL将RUL预测任务构建为马尔可夫决策过程（MDP）。通过智能体与环境之间的持续动态交互，DRL旨在发现一个最优预测策略以最大化长期累积奖励。这种序列决策机制赋予了模型卓越的时间建模能力，使其在捕获设备长期退化趋势方面具有固有优势。Lee等人[19]提出了一种将数据驱动RUL预测与预测性维护计划相结合的方法。在他们的方案中，采用CNN结合蒙特卡洛dropout来评估RUL分布，同时将维护决策过程构建为DRL问题。Hu等人[20]通过将CNN与近端策略优化（PPO）算法相结合，开发了一种基于DRL的RUL预测方法，使智能体能够从MDP中学习最优预测策略。Zheng等人[21]使用自编码器从原始振动信号中提取退化特征，并利用孪生延迟深度确定性策略梯度（TD3）算法构建了连续动作的基于DRL的RUL预测模型。

尽管现有的基于DRL的方法缓解了传统深度学习方法的一些局限性，例如对时序决策依赖性的建模不足，但这些方法仍面临一些显著的挑战。一方面，研究人员在现有的RUL预测DRL研究中主要使用标准浅层一维CNN，通常仅包含2到3个卷积层。这种相对浅的网络结构限制了模型捕获振动信号固有复杂且多尺度退化特征的能力。另一方面，随着网络深度的增加，梯度消失和爆炸等训练不稳定问题更容易发生，从而影响收敛性和预测鲁棒性。滚动轴承的早期退化特征通常微弱且被强烈的随机工业噪声大量掩盖，这使得在早期阶段准确识别从健康阶段到退化阶段的关键转变阈值（即首次预测时间，FPT）极具挑战性。FPT的精度直接决定了RUL退化的起始点，任何识别误差都会在整个后续生命周期中引起退化基线的整体偏移，从而严重损害预测模型的训练精度和泛化性能。为克服这些挑战，本文引入了一种基于DRL的预测方法，将深度确定性策略梯度（DDPG）算法与残差网络（ResNet）和长短期记忆（LSTM）相结合。尽管TD3可以缓解DDPG的高估偏差，但其模型参数、内存消耗和训练时间都远高于DDPG。作为一种经典且参数精简的算法，DDPG允许将计算资源完全投入到深度ResNet-LSTM网络中。此外，DDPG在响应FPT时序退化特征时表现出更直接的映射效率。为增强退化特征表示，将传统CNN结构替换为ResNet，使其能够实现更深的架构，同时有效缓解梯度消失和爆炸问题。此外，引入LSTM网络以捕获退化序列中的长期时序依赖性，从而提升模型表征复杂退化模式的能力。通过协同整合DDPG、ResNet和LSTM，所提出的方法在滚动轴承RUL预测中展现了更高的预测精度、更强的鲁棒性和更好的泛化能力。

本研究的主要贡献总结如下：

（1）将RUL预测过程建模为MDP框架下的序列决策问题，并基于DDPG算法建立了预测模型。在该模型中，预测的RUL被定义为智能体的动作，使强化学习智能体能够学习系统状态和提取特征到对应RUL值的映射。

（2）针对一维长序列轴承监测数据，设计了基于ResNet-LSTM的深度模型来构建DDPG智能体的策略价值网络。该架构能够有效地提取多尺度退化特征，并促进当前运行状态与对应RUL之间映射的学习。

（3）针对RUL预测任务，引入了基于预测误差的奖励函数，以引导智能体在准确性和退化趋势一致性之间进行平衡优化。同时，引入了首次预测时间（FPT）偏差和退化趋势拟合误差等评估指标，以系统评估模型在早期故障识别和退化趋势追踪方面的能力。实验结果表明，所提出的模型在所有三个数据集上都具有优越的性能。

本文的组织结构如下：第2节详细介绍了实验数据集、状态构建过程和健康阶段的自适应确定方法。第3节介绍了DRL、DDPG、ResNet和LSTM的基本理论。第4节详细介绍了基于DDPG-ResNet-LSTM的RUL预测模型设计，包括所设计的策略价值网络和整个交互过程。第5节分析了使用所提出模型在三个数据集上实验验证的结果，并与其他模型进行了比较。第6节总结了结论。

西交沪干数据集

如图1所示，采用西交沪干[22]实验平台在三种不同工况下进行加速退化试验，在每个工况下从五个同类型轴承中采集了直至失效的数据。分别在水平和垂直方向上安装了两个PCB352C33单向加速度传感器。使用磁吸安装底座在整个生命周期内持续采集振动信号。本研究采用两个

深度强化学习

基于RL范式，RUL预测的核心目标是使智能体能够观测环境状态并建立连续的预测动作策略。该策略通过与环境的试错交互来完善，智能体通过奖励改变其预测行为并迭代更新策略。目标是确保通过最大化连续预测动作的累积奖励来实现准确的RUL预测。该

策略价值网络构建

传统策略价值网络通常基于全连接网络（FCN）或CNN构建。为提升模型预测精度，本研究采用ResNet-LSTM来构建智能体的策略价值网络。ResNet用于有效地从监测数据中提取空间特征，而LSTM则用于捕获长期时序依赖性。

策略价值网络的具体参数设置汇总在表6中，其架构如图...所示

评估指标

为系统评估模型的整体性能，采用以下指标进行综合评估。

FPT预测偏差α

引入FPT来评估每个模型的FPT预测性能。该指标直接反映了模型对故障起始点的敏感度和预警能力。RFPT表示真实的FPT值，PFPT表示预测的FPT值。

各模型预测的FPT值是通过FPT方法获得的

结论

本文研究了滚动轴承的剩余使用寿命（RUL）预测问题，提出了一种将DDPG算法与混合ResNet-LSTM网络相结合的深度强化学习（DRL）框架。通过将连续RUL估计问题形式化为MDP框架下的序贯决策问题，所提方法协同结合了ResNet的深层空间特征提取能力、LSTM的长期时间依赖建模能力以及DDPG的序贯决策能力。

作者贡献声明
闫晓利：撰写——审稿与编辑、验证、监督、资源支持、项目管理、方法论、经费获取、形式化分析、数据整理、概念构思。王世良：撰写——初稿、验证、软件实现、方法论、调查研究、数据整理。乔佳尧：撰写——审稿与编辑、撰写——初稿、验证、软件实现。王东辉：可视化、验证、软件实现、调查研究。孟宗：可视化、验证、资源支持。方立德

利益冲突声明

作者声明，他们不存在任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本工作部分得到教育部近零碳建筑与计量技术工程研究中心（资助编号050001/521100302026）、国家和地方联合计量仪器与系统工程技术研究中心（资助编号050001/521201724006）、河北省高校科研项目（资助编号QN2026375）以及河北大学高层次人才研究基金的支持。

闫晓利 | 王世良 | 乔佳尧 | 王东辉 | 孟宗 | 方立德 | 陈建凯 | 刘世宇