基于深度强化学习、考虑维护不完美性的多组件系统智能全局动态维护策略

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Intelligent Global Dynamic Maintenance Strategy for Multi-Component Systems considering Imperfect Maintenance using Deep Reinforcement Learning

　　摘要
预测性维护作为状态监测与健康管理的技术核心，因其能够降低运营成本并支持基于设备状况的维护决策而日益受到重视。然而，传统方法往往存在实时适应性不足和鲁棒性有限的问题，尤其是在由多种异构组件构成的复杂系统中。当面临动态变化的监测数据、不确定的维护效果以及资源约束时，这些挑战愈发突出。为克服这些限制，本研究提出了一种智能全局动态维护策略，该策略将动态机会性不完美维护与滚动时域群体维护优化相结合。通过利用状态监测数据，所提出的框架能够在无限时间范围内实现预测性维护与机会性维护决策的联合优化。以风力发电机主传动系统的退化数据为案例的研究表明，该策略在有效利用维护机会的同时，大幅降低了平均维护成本。研究结果体现了在多组件系统中整合自适应健康预测、不完美维护及动态群体维护优化的有效性。

引言
近年来，状态监测、故障诊断以及剩余使用寿命预测等状态监测与健康管理技术得到了快速发展，从而提升了设备识别和预判潜在故障的能力[[1], [2], [3]]。作为状态监测与健康管理流程中的关键环节，维护决策越来越被视为实现智能化运维的重要手段[4,5]。通过动态监测运行状态并预测设备退化趋势，人们致力于将健康评估结果转化为最优维护策略，以此实现主动预防故障、合理分配维护资源以及实现具有成本效益的全生命周期管理[[6], [7], [8]]。

预防性维护策略通常根据不同的触发机制分为两类：基于时间的维护和基于状态的维护[9]。基于时间的维护按照预定的时间间隔或设备使用年限来安排维护任务。虽然操作简单，但它缺乏对设备健康状况变化的适应能力，可能导致维护措施过度或延迟。相比之下，基于状态的维护则依靠传感器获取的运行数据实时跟踪设备退化情况，一旦特定健康指标超过设定阈值便触发维护，从而具备更高的灵活性和经济性[10,11]。随着状态监测与健康管理技术的进步，越来越多的研究致力于提升维护策略的前瞻性和全局最优性，由此产生了预测性维护——它将剩余使用寿命预测纳入维护决策之中[12,13]。

随着退化建模和寿命预测技术的不断发展，预测性维护已成为一种以较低运营成本实现高设备可靠性的有效方法。预测性维护策略依赖于对剩余使用寿命的动态估算，以此推迟维护时机、减少维护频率，同时确保系统安全。例如，Yan等人提出了基于非线性集成模型的剩余使用寿命预测方法[14]，该方法结合了贝叶斯更新和局部搜索，可实现在线联合更换顺序优化。类似地，Bakdi等人提出了针对事件日志数据的弱监督多实例学习框架[15]，有效解决了数据不规则性、标注强度不足以及数据不平衡问题。Duan等人则采用了高斯-长短期记忆网络-自编码器模型，提出了一种考虑不确定性因素的航空空调系统健康监测方法，该方法可对性能参数的概率分布进行建模并提取健康指数，进而通过维护成本模型优化预测性维护的决策阈值。Wang等人开发了基于卷积神经网络与双长短期记忆网络集成模型的剩余使用寿命预测方法，并提出了一种动态预测性维护策略，该策略考虑了任务周期的不确定性，同时整合了订购、库存和维护决策。在C-MAPSS数据集上的实验验证了该策略在成本和可靠性方面的优势。Cai等人通过结合动态贝叶斯网络和退化建模，提出了一种韧性评估方法，为描述系统健康状况和维护过程的动态演变提供了有效框架。Wang等人还提出了一种用于航空发动机剩余使用寿命预测的混合深度学习模型，并通过两个混合整数线性规划模型将预测结果融入维护规划中，同时设计了遗传算法与变量整数规划组合的算法以实现大规模问题的高效优化。不过，目前大多数研究主要集中在单一组件的建模与维护优化上，尚未系统考虑多组件共同退化环境中的维护依赖关系。

为应对这些挑战，群体维护策略逐渐受到关注，这类策略通过协同优化维护时机和资源利用来提升维护效率[20,21]。其中，滚动时域维护被视为一種代表性框架，该框架通过定期更新有限的决策窗口，以提高对系统状况变化的响应速度[22]。已有不少研究将滚动时域维护应用于实际调度问题中。Bougacha等人将设备健康预测纳入基于成本导向的状态监测与健康管理模型中，分析了滚动窗口长度对综合列车任务分配和维护计划的影响[23]。Wu等人则为多组件系统提出了一种动态维护调度策略，他们在每次维护后都会迭代更新维护分组方式，从而在考虑预防性维护与机会性维护之间的经济相互依赖关系的同时实现滚动优化[Folco等人][25]。Folco等人还提出了一个基于可靠性的整数线性规划模型，用于铁路机车的周期性预防性维护，在资源和设施约束下优化整个机队层面的维护计划。然而，这些方法通常依赖于预定的维护间隔或固定的分组结构，难以实现维护时机和组件选择的完全动态联合优化。此外，现实世界中的系统往往存在不确定的退化过程和意外的维护机会[26,27]，传统的滚动维护方法无法纳入计划外的机会性维护，因此其实际应用性有限。Tekin等人提出了一个三状态延迟时间模型，该模型考虑了非自通告故障保护系统中的不完美检测和不完美维护现象，他们比较了六种不同的维护策略，结果表明，优化检测间隔和维修措施能有效降低系统成本和故障风险[Lima等人][29]。Lima等人还在以任务为导向的选择性维护框架下，为多组件系统建立了不完美维护模型，该模型可在不完美维护、完美预防性维护和纠正性维护之间进行选择，同时考虑经济和结构上的依赖关系，并通过虚拟老化公式来表示累积的不完美维护效应。他们还采用了一种启发式算法，在任务可靠性及资源约束条件下获得接近最优的维护方案。不过，该方法适用于任务之间的预定维护窗口，未能解决在线健康状态更新、连续运行期间的滚动时域群体维护以及由故障触发的动态机会性不完美维护问题。Zhou等人则提出了一种基于风险的变电站设备优化模型，该模型采用基于虚拟老化的退化表征方法，整合了不完美维护和更换策略，通过相应的混合整数线性规划公式降低了整体风险，提高了不同母线配置下的成本效率。这些研究共同表明，明确建模维护行为中的不确定性，有助于更真实地反映维护需求的波动性，进而提升多组件系统中预测性维护策略的鲁棒性。

尽管近期研究开始强调不完美维护在维护策略设计中的重要性，但大多数方法仍依赖于分析建模或穷举优化。这类方法在处理高维状态空间和复杂的维护依赖关系时，往往难以保持计算可行性和决策效率。随着智能优化技术的发展，强化学习因其具备自适应决策能力和策略泛化能力，逐渐成为多组件系统维护优化领域的有力工具。Ding等人提出了一种自适应实时调度方法，该方法将剩余使用寿命预测模型与多智能体深度强化学习相结合，能够根据实时的设备健康数据优化生产和维护调度决策。实验表明，该方法显著减少了生产延误和维护成本，同时提升了系统的整体效率[Zhang等人][32]。Zhang等人还提出了一种以系统为中心的预测性维护重优化方法，该方法同样基于多智能体深度强化学习，旨在解决多组件系统中的维护决策难题。该方法通过两阶段决策流程，综合考虑组件退化和系统性能来优化维护行动，从而提升系统的整体性能。Zhang等人还提出了另一种基于深度强化学习的多组件系统机会性维护框架，该框架能够根据系统退化进展和维护机会动态调整维护决策。实验结果表明，深度强化学习不仅能有效提升维护的经济性，还能增强决策的适应性。Chen等人则开发了一种结合序贯多目标多智能体强化学习的框架，用于涡扇发动机的预测性维护优化。该方法通过改进后的门控循环单元模型来预测剩余使用寿命，通过多目标优化平衡发动机寿命和检测间隔，从而大幅降低维护成本并延长检测间隔。然而，目前大多数基于强化学习的维护方法都依赖于理想化的假设，这些假设在现实工程应用中往往难以满足实际需求。尤其是在多组件系统中，各个组件的退化速率和维修效果往往不一致，这使得在面对不完美维护时，维护决策的鲁棒性和有效性都会受到影响。

最近，研究人员开始探索将强化学习与不完美维护机制相结合的方法。Pliego Marugán等人提出了一种基于强化学习的维护框架，用于应对那些维修效果会随维修次数增加而逐渐减弱的劣化系统。他们的研究结果表明，强化学习能够使维护策略在不断变化的退化和维修条件下实现有效调整。此外，Lee和Mitici还提出了一种深度强化学习框架，该框架将概率性剩余使用寿命预测纳入预测性维护规划中。通过根据估计的剩余使用寿命分布动态调整维护决策，该方法显著降低了维护成本，避免了不必要的维护行动。尽管取得了这些进展，但目前基于强化学习的维护研究大多仅聚焦于预测性维护优化或机会性维护调度，而不完美维护通常只是通过简化假设进行建模，或者仅在组件层面加以考虑。此外，大多数现有方法并未将自适应健康预测、动态维护分组和不完美维护决策明确整合到统一的优化框架之中。在实际的多组件系统中，不同组件之间的维护效果往往存在差异，而且随着新的状态监测信息的出现，系统的退化进程也会持续变化。这些特点增加了维护决策的复杂性，也可能降低在理想化维护假设下制定的策略的实际效果。

为克服这些限制，本研究提出了一种智能全局动态维护策略，该策略将动态机会性不完美维护与滚动时域群体维护优化相结合。在该策略中，预测性健康信息起到驱动作用，使得维护分组和调度决策能够在无限时间范围内持续更新，从而实现预测性维护与机会性维护的联合优化。与传统依赖预定义组合的动态规划策略不同，基于深度强化学习的框架能够自适应地学习最优策略，进而推动决策结构和资源分配的动态演变。

本研究的主要贡献如下：
(1) 通过整合自适应健康预测、基于滚动时域的动态群体维护以及动态机会性不完美维护，构建了一个统一的动态维护决策框架。与传统在固定规划框架内优化维护决策的方法不同，所提出的方法建立了健康状态预测与维护决策之间的闭环互动机制，使得维护策略能够在无限规划时间内持续更新。
(2) 将动态机会性不完美维护机制无缝嵌入到滚动时域群体维护框架中。通过协调计划内的预测性维护与因组件故障而产生的意外维护机会，该策略能够动态调整维护组别构成和维护时机，从而在保持群体维护决策长期最优性的同时，提升维护工作的协调性。
(3) 开发了一种基于强化学习的维护优化框架，用于解决系统健康状况不断变化条件下的动态维护决策问题。与依赖预定义维护组合或重复进行穷举优化的方法不同，该框架能够根据更新的预测信息自适应地确定维护分组和维护延迟决策，从而提升动态维护优化的适应性和计算效率。
(4) 以风力发电机传动系统为案例进行了验证研究，结果表明，所提出的方法能够在动态运行条件下有效降低平均维护成本，并提升维护工作的协调性。

本文的其余部分结构如下：第2节详细阐述整体维护框架；第3节介绍维护模型及优化算法；第4节提供案例分析；最后，第5节给出结论及未来工作方向。为便于理解，本文中使用的主要符号和缩写已在术语表部分进行汇总。组件i的健康状态用{Xi(t;Θi,εi),t>0}表示。该状态会因内部损伤的持续积累而发生变化。当退化程度超过预设阈值时，组件就会发生故障。每个组件的退化状况通常是隐性的，必须通过定期检查来推断。本节介绍了如何利用剩余使用寿命信息来确定组件的最佳延迟维护时间，其中包含了离线参数训练和在线更新过程。为便于构建动态群组维护模型，本文采用了以下假设：(1)工业系统由n个组件构成，这些组件的退化过程虽相互独立但存在差异。组件i的退化状态会随时间持续变化。

案例研究
为验证所提出的群组维护模型，本文以风力发电机主传动系统的运行与维护为例进行案例分析。传动系统通常包括高速轴、齿轮和主轴承等关键部件。在这样一个高度耦合的多组件系统中，任何关键部件的退化或故障都可能导致整个风力发电机停止运转，从而造成巨大的能量损失。因此，开发有效的群组维护策略显得尤为重要。

结论
本研究解决了长期运行过程中多组件系统维护策略制定的问题，提出了一种基于健康状态预测信息的动态群组维护优化方法。在策略建模方面，该方法将动态群组维护模型与非计划性动态优化维护机制相结合，共同优化维护延迟时间和维护组选择，从而提升维护效率并减少不必要的重复维护。

CRediT作者贡献说明
雷亚国：撰写——审阅与编辑、监督、项目管理、资金获取。袁建辉：撰写——初稿、软件、方法论、形式分析、数据整理、概念设计。李乃鹏：验证、调研、数据整理。杨斌：验证、监督。李翔：验证、资源协调。雷亚国|袁建辉|李乃鹏|杨斌|李翔