多机场系统中用于空中交通流与容量管理的分布式多智能体强化学习

《TRANSPORTATION RESEARCH PART E-LOGISTICS AND TRANSPORTATION REVIEW》：Distributional multi-agent reinforcement learning for air traffic flow and capacity management in a multiple-airport system

　　王子明|王彦军|马克·汉森 中国南京航空航天大学民航学院，南京，210016 摘要：大多数航班延误是由于机场或空域的交通需求与容量失衡所致。在战术前阶段，通过空中交通流与容量管理技术，将交通需求与空中交通管制能力相匹配，从而帮助航空公司更高效地运营航班。本文提出了一种在战术前阶段整合航班时刻表优化（需求管理）与空域节点容量设置（容量管理）的方法，旨在减少航班延误，并提升多机场系统中的目标机场的流量稳定性。该方法基于分布式强化学习框架开发，其中采用粒子群优化算法替代传统的epsilon贪婪策略，以提高训练效率。该框架通过离散动作的奖励分位数估算，便于有效的策略学习（即优化航班时刻表和节点容量设置）。我们的分布式强化学习框架包含两个集中式智能体，即航班智能体和节点智能体，它们通过共享的奖励函数进行协作。以粤港澳大湾区的多机场系统为案例的研究表明，通过对航班时刻表进行适度调整，并结合最优的节点容量设置，可显著减少航班延误，确保目标机场的安全稳定流量。研究结果还显示，与传统强化学习及启发式方法相比，所提出的方法在减少航班延误、保持目标机场流量稳定方面表现更为优异。

引言：过度拥挤的空域和机场给空中交通管理系统带来了严峻挑战，常常导致航班延误。2024年，中国民用运输机场的旅客吞吐量约为1.46亿人次（较2019年增长8%），飞机起降次数达1240万次（较2019年增长6.3%），数据来自中国民用航空局（2025年）。平均航班延误时间为10分钟，交通拥堵日益成为影响空中交通管理系统效能的突出问题。虽然通过发展机场基础设施等手段扩大容量可以缓解航班延误，但这些措施往往需要高昂的经费和漫长的建设周期。因此，不断改进空中交通流与容量管理技术仍是空中交通管理研究的重要方向，其目标是确保空域和机场的容量与交通需求保持平衡，从而避免交通拥堵。欧洲的42个国家通过包含战略层、战术前层和战术层的阶段性框架来实施空中交通流与容量管理，每一层级都旨在不同时间范围内管理交通需求与容量，相关内容可见EUROCONTROL（2024年）的报告。在战略层，即在航班运行日前七天或更早开始，通过历史数据、季节性规律以及航班计划等信息预测潜在的需求与容量失衡情况，其输出结果为网络运行计划。战术前层则在航班运行日前六天至一天间，重点是对战略层制定的网络运行计划进行细化，其目的是通过实施适当的空中交通流与容量管理措施，提高运营效率并确保需求与容量平衡，该阶段的输出为每日空中交通流与容量管理计划。在航班实际运行的当天，则进入战术层，针对恶劣天气或军事活动等实时事件，对每日计划进行必要调整。在所有这些阶段中，空中交通流与容量管理都致力于使空域和机场的容量与交通需求相匹配，从而提升空中交通运行的安全性，同时减少实际运营中的航班延误和取消情况。本研究重点探讨在战术前阶段采取适当的空中交通流与容量管理措施，以改善需求与容量的平衡状况。

整体化的需求与容量管理对于制定最优的空中交通流与容量管理策略至关重要。然而在实践中，需求方面通常由网络管理者负责，而容量方面则由不同的空中交通管制中心管理，这些管制中心可能又隶属于不同的空中导航服务提供商，这种情况在欧洲较为常见，相关研究可见M. Melgosa（2023年）的文章。在中国，空中交通流管理传统上由七个区域空中交通管理分局各自独立开展。为了实现整体化的需求与容量管理，各国都在推动自身空中交通管理系统的现代化，其中的典型例子包括欧洲的“单一欧洲天空”空中交通管理研究项目以及美国的“下一代航空运输系统”项目。自2021年起，中国开始部署国家交通流管理系统，这是一个基于中国自身空中交通管理理念开发的统一空中交通流管理系统。该系统已在运行管理中心、七个区域空中交通流管理单元以及36个空中交通管理分局和站点得到应用，覆盖了中国的主要航空体系。在国家交通流管理系统的支持下，中国的交通流管理措施已逐渐从传统的基于间隔管理的策略转向基于容量的管理方式，相关内容可见国际民航组织（2025年）的报告。不过，在中国，基于飞行轨迹长度的管理措施仍是最常用的战术性交通流管理手段，占所有空中交通流管理措施的80%以上。有研究表明，采用这种管理措施往往会导致不必要的航班起飞延误，相关研究可见Liu和Hansen（2021年）的文章。因此，整体化的需求与容量管理对于有效部署和改进国家交通流管理系统至关重要，它有助于更好地平衡需求与容量。

需求管理与容量管理的整合已得到广泛研究，通常通过轨迹优化（如实施地面延迟分配或重新规划航线）以及区域容量管理来实现，相关研究可见M. Melgosa（2023年）以及Xu等人2018年和2020年的研究成果。多机场系统在航空运输中越来越重要，相关研究可见Sun等人2024年的文章。尽管目前的空中交通流与容量管理技术，如区域容量管理和轨迹优化，在空域管理领域已经相对成熟，但其在多机场系统中的应用面临着诸多挑战。多机场系统中的航班运营高度相互依赖，各机场会共享某些飞行路线和节点。虽然从区域层面看容量可能足够，但在单个飞行轨迹上的关键节点仍可能出现拥堵。因此，多机场系统需要更为精细的空中交通流与容量管理策略。本研究提出了一种系统化的方法，将航班时刻表优化（即需求管理）与节点级别的容量管理相结合，以减轻航班延误。在本研究中，航班延误被定义为航班实际起飞（或到达）时间与预定时间之间的差异。对于强化学习训练目标而言，整个多机场系统的延误指标则是系统中所有航班延误值的总和。需要注意的是，如果航班比预定时间更早起飞或到达，其延误值则视为零。除了减少整个多机场系统的延误外，我们还考虑了多机场系统中目标机场的流量稳定性，这对于多机场系统空中交通管理系统的安全性和稳定性至关重要。图1展示了一个多机场系统中空中交通流与容量管理实施的示例。为了解决多机场系统中的需求与容量失衡问题，本文提出了一种将时刻表优化与节点容量管理相结合的方法，旨在提升战术前阶段的整体效率与安全性。该方法通过调整航班时刻表和节点容量，减少总体的航班延误，同时保持目标机场的流量稳定。该方法基于多智能体系统和分布式强化学习技术，我们将其称为“带有隐式分位数网络的粒子群优化探索算法”。之所以选择强化学习而非整数规划等传统优化方法，是因为强化学习在两个关键方面具有显著优势：第一，它能够在大规模环境中学习出可行的决策策略。多机场系统中的需求与容量平衡问题属于NP难级别的组合优化问题，其状态空间维度极高，状态空间涵盖了2000多架航班的运行状态。像整数规划这样的传统精确优化方法，在实际规模下很快就会因为决策变量和约束条件的增加而出现指数级的计算难度上升，相关研究可见Nguyen-Duy和Pham（2024年）的文章。相比之下，强化学习通过离线训练来降低计算复杂度，智能体在模拟环境中不断交互，从而学习出有效的决策策略，大部分计算工作都在受控环境中完成。第二，强化学习具备在动态运营场景中的泛化能力。传统优化方法只能提供针对特定实例的“一次性”解决方案，每个独特的问题都需要重新构建模型并从头求解。即使是微小的调整，比如对某趟航班的时刻表稍作改动，也需要重新进行优化。而强化学习能够学习出具有泛化能力的决策策略，无需额外计算成本，就能为结构相似的新场景生成高质量的解决方案。这一特性使得强化学习能够在高度动态的运营环境中保持决策的效率和适应性。具体而言，PE-IQN算法包含航班智能体和节点智能体，分别负责航班时刻表调整和节点容量设置的决策过程，最终的协同策略是通过奖励设计得出的。PE-IQN结合了分布式强化学习技术，能够应对强化学习框架中奖励的随机性问题，从而更好地处理奖励分布情况，提升策略的稳定性。此外，还采用了粒子群优化算法替代传统的epsilon贪婪策略，粒子群优化算法能够进行全局搜索，避免了epsilon贪婪策略可能陷入局部最优解的缺陷，因此是一种更为高效且稳定的探索方法。具体而言，本文的贡献如下：第一，为多机场系统中的空中交通流与容量管理整合了航班时刻表优化与节点容量管理功能，通过将时刻表调整与节点容量管理相结合，所提出的方法提升了多机场系统中需求与容量的平衡程度，减少了航班延误，同时保证了目标机场的流量稳定。第二，通过整合粒子群优化算法与分布式强化学习技术，提升了算法的探索能力和收敛性能，PE-IQN将分布式强化学习框架与粒子群优化探索策略相结合，显著提高了智能体在复杂环境中的探索效率及收敛速度。第三，通过集中的航班智能体和节点智能体实现协同决策，PE-IQN包含两种类型的集中式智能体，即航班智能体和节点智能体，它们共享相同的奖励函数，通过任务分工与合作，互补彼此的能力，共同完成单个智能体难以处理的任务。第四，已在多机场系统中验证了所提出方法的有效性，该研究在粤港澳大湾区的多机场系统中应用了PE-IQN方法，通过优化航班时刻表和管理节点容量，成功减少了航班延误，保持了目标机场的流量稳定，其整体性能优于各类基准模型。本文的结构安排如下：第2节对现有的需求与容量管理方法进行了全面综述。第3节介绍了所提出的方法，包括仿真环境、PE-IQN算法以及动作、状态和奖励参数的定义。第4节阐述了实验中使用的数据集。第5节展示了实验结果，并将所提出的方法与其他启发式方法和强化学习方法进行了比较。最后，第6节总结了本文的主要贡献，并探讨了未来的研究方向及可能的改进之处。文献综述：如前文所述，空中交通流与容量管理措施旨在为空中交通管理系统中的需求与容量平衡提供支持。本节将回顾实现需求与容量平衡的三种主要方法：需求管理（2.1节）、容量管理（2.2节）以及整体化管理（2.3节）。问题定义与强化学习框架概述：需要明确的是，我们的任务是在多机场系统中，通过优化航班时刻表和节点容量设置，减少航班延误，保持目标机场的流量稳定。具体而言，我们在多机场系统中建立了一个实验框架，如图2所示。该仿真环境会将数据（航班时刻表）传输给基于强化学习的控制器。通过特定的算法，强化学习智能体（即航点管理智能体和飞行管理智能体）被训练以学习最优策略，从而最大化收益。我们使用来自大湾区的数据对模型（即PE-IQN）进行了验证，该区域包括五座主要机场：广州白云国际机场（ICAO代码：ZGGG）、深圳宝安国际机场（ICAO代码：ZGSZ）、珠海金湾机场（ICAO代码：ZGSD）、澳门国际机场（ICAO代码：VMMC）以及惠州平潭机场（ICAO代码：ZGHZ）。该数据集包含了2023年7月1日运行的2504趟航班的信息，分析中共考虑了31个航点。在本节中，我们展示了所提出的方法（PE-IQN）在多智能体系统优化方面的效果，并与四种基准方法进行了比较：Rainbow、Hessel等人（2018年提出的方法）、DQN、Hafiz和Bhat（2020年提出的方法）、IQN以及PSO。Rainbow、DQN、IQN和PE-IQN采用相同的多智能体架构，但IQN和Rainbow没有引入基于PSO的探索策略，而DQN则既缺乏基于PSO的探索机制，也无法估算回报分布。Rainbow则整合了多种探索策略。

我们提出了一种新的多智能体系统优化框架，能够在预战术阶段同时解决调度干预（需求管理）和航点容量管理问题。该框架引入并实现了PE-IQN模型，该模型将分布式强化学习与PSO算法相结合，显著提升了探索性能和政策稳定性。PE-IQN能够为不同的离散动作输出奖励分布的分位数，从而实现飞行任务优化的双重目标。

CRediT作者贡献说明：
王子明：撰写——初稿、可视化、软件工具、方法设计、研究实施、形式化分析、概念构建。
王彦军：撰写——审稿与编辑、撰写——初稿、可视化、模型验证、项目监督、资源协调、项目管理、方法设计、研究实施、资金筹措、形式化分析、数据整理、概念构建。
马克·汉森：撰写——审稿与编辑、撰写——初稿、模型验证、研究实施、形式化分析、概念构建。

利益冲突声明：
作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。