面向机队预测与健康管理（PHM）的多时间尺度分层强化学习决策框架研究

《Aerospace》：Mission-Horizon Hierarchical Reinforcement Learning for Fleet-Level PHM Under Resource-Constrained Operations

　　机队层面的预测与健康管理（PHM）需要超越故障诊断、剩余使用寿命估计和维护时机安排的更高层级决策。任务承诺、飞机调度、维护和备件保障消耗的是同一有限的保障资源，但运行在不同的时间尺度上。本研究探讨将任务时间跨度上的承诺决策与日常保障执行明确分离，是否能提升机队层面的决策质量，以及在何种运行条件下这种层级结构具有价值。我们开发了一种任务时间跨度的分层强化学习（MH-HRL）框架，其中学习的周策略从七天的预测中选择任务组合并指定粗略的保障姿态，而固定的日执行器则负责实施飞机分配、维护优先级排序和补给决策。机队演化由一个下一次事件离散事件模拟器表示，包含随机任务到达、退化/故障过程、维修和后勤提前期。在九种任务负荷/保障能力组合条件下，使用10对公共随机数种子（共450次正式运行），对五种决策策略进行评估，包括响应式规则控制、滚动视野规划、扁平PPO、无学习姿态信号的层级策略，以及完整的MH-HRL策略。分层策略持续提高了综合任务准备度与成本效用指标，经Holm校正后，完整策略在全部九种条件下均优于规则基线。这种优势并非通过最大化任务接受率获得：分层策略接受的任务更少，却实现了更高的已接受任务成功率和机队可用率，同时大幅降低了由故障驱动的保障成本。消融实验进一步表明，智能策略相对于规则策略的改进中，约97%归功于周-日时间分解，而非额外的姿态信号。这些结果表明，在所研究的机队PHM场景中，层级结构的主要价值在于长期承诺控制，且其边际价值随任务压力增加而提升。