《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Maintenance optimization for asset networks with unknown degradation parameters
编辑推荐：
本文针对资产网络中组件退化参数异构且未知的关键挑战，开展了一项名为“未知退化参数资产网络的维护优化”的研究。研究人员将随机建模与贝叶斯统计结合，构建了包含冲击率与规模估计的部分可观测马尔可夫决策过程（POMDP），并证明最优替换策略是退化水平与参数的阈值型。此外，作者提出开环反馈和贝叶斯马尔可夫决策过程（BMDP）框架，利用深度强化学习（DRL）训练策略。结果显示，所提DRL方法在综合数据和真实介入式X射线（IXR）灯丝案例中均显著优于传统启发式方法，证明其在有限信息下可做出有效决策，为资产网络维护优化提供了可扩展的集成学习与决策新方案。
在风力涡轮机农场、医疗影像设备、光刻机等资本密集型资产构成的网络中，确保其连续可用和运行高效至关重要。然而，这类资产的不可用会带来巨额成本，据估计每年造成的经济损失高达约500亿美元，其中近一半源于组件故障。为了最大程度地提高可用性并降低不必要的维护成本，基于状态的维护（Condition-Based Maintenance, CBM）已成为一种主流的主动维护策略。其核心在于，通过传感器连续采集运行数据，构建反映资产健康状况的退化信号，从而只在故障即将发生时触发维护行动。这能显著减少不必要的干预和昂贵的停机时间。
但在现实世界中，要利用实时退化数据为整个资产网络最优地安排维护，仍面临两个相互交织的棘手挑战：资产依赖性和组件异质性。资产依赖性，例如因联合维护设置成本、共享备件和有限维护资源而产生的经济依赖性，会显著影响跨网络资产的维护调度。尽管这些依赖在实际中非常重要，但由于需要同时跟踪多个资产状态的复杂性，传统的CBM优化方法常常对其视而不见。组件异质性则带来了额外的麻烦，即使是名义上完全相同的组件，也可能因制造、环境条件或使用情况的不同，而表现出显著的退化行为差异。传统的CBM方法通常假设已知退化参数，且不包含从观测到的退化数据中进行实时参数学习。虽然近年来学者们通过将贝叶斯推断集成到维护优化中，来动态更新对组件退化参数的信念，以应对实时学习的挑战，但这些贝叶斯模型主要还在单一资产背景下进行研究，因为在那里分析上仍易于处理。
当前的研究要么聚焦于（i）将不确定的预后预测集成到维护规划中，或在部分可观测性或模型不确定性下开发维护规划；要么侧重于（ii）在已知退化模型下优化经济依赖性多组件的CBM。一个统一的框架仍然缺失——在这个框架中，参数不确定性能够随时间演进，并在新的退化观测数据到来时不断更新，同时，策略仍然能够因共享的设置成本（例如派遣维护工程师服务设备所产生的固定费用）而协调跨资产的维护行动。
为了填补这一空白，一项由Peter Verleijsdonk、Collin Drent、Stella Kapodistria和Willem van Jaarsveld完成的研究，在期刊《RELIABILITY ENGINEERING & SYSTEM SAFETY》上发表，题为“Maintenance optimization for asset networks with unknown degradation parameters”。这项研究贡献了一个创新的维护优化框架，专门为具有未知和异构退化参数的经济依赖性资产网络设计。
作者为开展此项研究，主要运用了以下几个关键技术方法：首先，构建了一个基于随机冲击模型的资产退化模型，假设资产通过泊松冲击过程独立退化，冲击规模服从单参数指数族分布，并使用共轭先验来代表关键退化参数（冲击发生率和每次冲击的损伤分布参数）的不确定性。其次，将优化问题形式化为两种数学模型：部分可观测马尔可夫决策过程（POMDP），其中真实的退化参数是隐藏的；以及在共轭性假设下等效的、具有紧凑信念状态表示的贝叶斯马尔可夫决策过程（BMDP）。最后，针对这个高维控制问题，研究人员开发了两种基于深度强化学习（Deep Reinforcement Learning, DRL）的解决方案，其训练算法采用了特定形式的近似策略迭代，并将理论分析得出的单调性结果整合到训练过程中。此外，研究还使用了来自真实世界介入式X射线（Interventional X-ray, IXR）设备灯丝组件的降解数据进行案例验证。
研究结果：
- 1.
模型与理论贡献：研究提出了一个用于经济依赖性资产、且参数未知的CBM模型。该模型在资产独立退化、仅通过共享设置成本产生依赖的假设下，被双重表述为POMDP和BMDP。通过解析方法，研究确立了在完全信息（已知真实参数）的马尔可夫决策过程（MDP）中，最优替换策略在退化水平和参数上均为阈值型，这为后续的算法设计提供了理论基础。
- 2.
两种DRL解决方案：为了应对POMDP/BMDP维护优化问题，研究提出了两种基于DRL的解决方案。第一种是开环部署方法，即在训练时让策略接触真实参数，但在部署时使用实时贝叶斯点估计（如后验分布的均值）作为神经网络的输入。第二种方法是直接在信念信息上训练，即构建一个BMDP仿真环境，其中智能体在部署期间维护和更新参数的后验分布，并在此信念状态上直接训练DRL策略。这两种方法构成了互补的框架，前者在组件异质性有限时表现良好，后者则在异质性较高时更具优势，因为它能实时利用完整的分布信息。
- 3.
性能评估：通过大量的数值实验和一个利用真实IXR灯丝退化数据的实际案例研究，验证了所提DRL方法的有效性和实用性。研究引入了“信息水平”的概念来量化性能差异：L2（已知真实参数）、L1（已知参数分布，但需从数据推断参数）和L0（分布也需从历史数据估计，仅用于案例）。结果显示，在参数必须被估计（L1）时，基于POMDP和BMDP的DRL策略均显著优于启发式基准。其中，基于BMDP的DRL方法在参数异质性较高的场景（如IXR案例）中表现尤为优越。一个关键的发现是，拥有真实参数（L2）相比必须推断参数（L1）只能带来有限的成本降低，这凸显了该方法在信息有限情况下做出有效决策的强大能力。
- 4.
案例研究验证：在IXR灯丝的实际案例中，即使参数分布信息也需要从历史数据中估计（L0），所提出的方法依然有效。这表明该框架在现实、数据驱动的工业环境中具有强大的应用潜力。
研究结论与重要意义：
本研究的核心结论是，通过将贝叶斯推断与深度强化学习深度融合，可以为退化参数未知且需从实时数据推断的资产网络，开发出高效、可扩展的CBM策略。所提出的框架成功地解决了“学习”（从数据中推断未知参数）与“优化”（协调跨资产的维护决策以最小化总成本）这两个传统上分离的挑战。理论分析证明了最优策略的结构特性，而基于DRL的算法则提供了处理高维状态空间的实用工具。
这项研究的重要意义体现在多个层面。在理论方法上，它将单资产背景下的贝叶斯学习模型，创新性地扩展到了具有经济依赖性的多资产网络，并提供了POMDP和BMDP两种等价的数学表述，丰富了维护优化的理论工具箱。在算法实践上，提出的开环反馈和信念感知训练两种DRL方法，为工业界提供了可选的、适应不同信息条件和异质性程度的解决方案，特别是BMDP方法能够自适应地利用实时数据更新信念，做出更明智的决策。在实际应用上，研究不仅通过了合成数据的测试，更在真实的医疗设备（IXR灯丝）案例中证明了其有效性，表明该框架具有广泛的适用性，可推广至风电场、半导体制造设备、轨道交通等多个关键行业的资产网络维护优化中，为实现预测性维护的工业4.0愿景提供了有力的方法论支持。最终，这项工作标志着在异构资产网络中实现集成学习与维护优化的道路上，迈出了坚实而重要的一步。
