军用飞机机群自动化维护调度：一种多智能体强化学习方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Automated maintenance scheduling for military aircraft fleet: a multi-agent reinforcement learning approach

　　李长久|韩伟|苏西超•将飞机维护调度建模为具有独立飞机智能体的POMDP模型。•基于Transformer的MARL通过动态协作解决资源冲突问题。•该模型可实现亚秒级决策并缩短总耗时，性能优于传统基准方法。•在小型数据集上训练的模型可直接应用于大规模场景。

引言
航母战斗群的操作能力直接取决于其航母航空队的任务准备状态及出动频率[1]。为了保持持续的作战能力，需要在高强度任务间隙快速有效地对飞机进行维护[2]。在海上及远海系统中，这种挑战更为严峻，因为前哨部署的平台往往面临极其有限的维护资源，包括专业技术人员、诊断设备等。

相关工作
飞机维护优化，尤其是针对军事舰队的维护优化，一直是学术界和军事应用领域长期关注的课题。本节回顾了有关军用飞机维护调度的相关研究。首先探讨现有的维护规划框架和技术发展，接着分析当前解决方案的局限性，最后阐述引入深度强化学习的必要性和可行性。

系统架构与建模假设
飞机维护问题（AMP）的核心目标是为机群制定最优维护计划，完成所有必要的维护任务，同时最小化整体完成时间（即总耗时）。操作环境为一个资源受限的机库，其中包含多个专业的维护车间或工作站。为便于调度规划，图3提供了该复杂环境的示意图。

POMDP的构建
POMDP为在信息不完备情况下的序列决策提供了正式的框架，其定义由元组?S,A,P,R,γ?表示。在多智能体环境中，这一框架具体表现为?G,O,A,P,R,γ?，其中：G代表系统的全局状态空间；O为所有智能体的局部观测空间集合；A为所有智能体的联合动作空间。在每个决策阶段，n个智能体团队会根据各自的局部观测值Oi∈O从A中选择并执行一个联合动作。

数值实验
本节详细介绍了实验设置、超参数调整过程以及所提算法的对比分析结果。

管理启示
本研究为军用飞机维护提供了基于人工智能的决策范式，为复杂海上系统的运营方带来了若干重要的管理启示。除了性能优于传统基准方法外，我们的研究还表明，决策方式正从基于经验的被动调度向具有实际战略优势的主动智能资源管理转变。首先，我们的方法实现了前所未有的操作灵活性，而传统方法，尤其是元启发式算法，难以达到这一水平。

结论
本文提出了一种基于MARL的军用飞机机群自动维护调度框架。为应对海上及远海环境中的复杂空间和资源约束，我们首先将该问题转化为MILP模型，随后又将其转换为POMDP模型。为了解决这一问题，我们设计了TransMix算法，该算法将基于Transformer的自注意力机制整合到价值函数分解架构中，从而能够动态捕捉相关信息。

声明
相关数据集可访问地址：https://github.com/mrgod1st/AMP。

致谢
本研究得到了中国国家自然科学基金项目（编号62403486）以及山东省自然科学基金项目（编号ZR2025MS03）的支持。

利益冲突声明
所有作者均声明，他们与本文讨论的主题或材料没有任何财务利益或非财务利益的关联，也不隶属于任何可能对此有利益的机构或实体。

资金支持
本研究得到了中国国家自然科学基金项目（编号62403486）的支持。

作者贡献说明
李长久：写作——审稿与编辑，写作——初稿撰写，可视化，验证，监督，软件开发，方法设计，数据整理。韩伟：可视化，验证，监督，资源协调，资金筹措。苏西超：可视化，验证，资源协调，方法设计，资金筹措。