在饱和度过高的无人机（UAM）环境中用于战略能力管理的智能决策支持系统：一种图强化学习方法

《Expert Systems with Applications》：An Intelligent Decision Support System for Strategic Capacity Management in Oversaturated UAM Environments: A Graph Reinforcement Learning Approach

　　• 提出了一种基于图形强化学习（GRL）的UAM（城市空中移动性）容量管理智能决策支持系统。
• 该系统可扩展至10,000个航班，支持动态策略和关键任务。
• 防止战略冲突管理中的僵局，并提升服务能力。
• 解决了下一代城市空中移动性中的高密度运营瓶颈问题。

引言
利用三维城市环境，UAM在提供便捷、高速的运输服务以及缓解地面交通问题方面展现了巨大潜力。根据报告，UAM市场规模呈现出快速增长的趋势。预计从2025年的50亿美元逐步增长到2040年的698.3亿美元（Advisory, 2025），表明该行业具有广阔的发展前景。随着UAM服务范围的扩大、多场景的整合、大规模部署和高密度运营已成为其未来发展的必然趋势。相应地，城市空域也将从稀疏状态转变为拥挤甚至饱和状态。传统民用航空通过长期协调各航空公司的常规飞行计划来实施战略冲突管理（SCM）。在长期的战略管理中，大部分战略冲突已经得到解决，短期战略冲突的数量相对较少。与传统民用航空不同，UAM的需求缺乏明显的周期性特征，其战略冲突管理周期更短，变化更加频繁。同时，由于其运营密度远高于传统民用航空，UAM对空域资源的竞争更加激烈。在极度饱和的场景中，传统SCM的有效性会显著下降（Chen, Evans, Brittain, Wei, 2024b; Hua, Jianan, Xiaohui, Yichen, 2024），使得实现完全的战略冲突解决变得困难。在这样的过饱和环境中，UAM系统的稳定性将大大降低。因此，必须实施主动的战略容量管理（SCapM）来控制UAM需求密度，确保运营安全和效率。

无人机系统交通管理（UTM）被认为是支持UAM空域服务大规模实施的有效框架（Lappas, Zoumponos, Kostopoulos, Lee, Shin, Tsourdos, Tantardini, Shomko, Munoz, Amoratis等人，2022; Vlaskin, Sunil, Nieuwenhuisen, Ellerbroek, Hoekstra, 2024）。其中，SCM被视为UTM的关键组成部分（Chen, Evans, Brittain, Wei, 2024b; Tang, Xu, 2023）。SCM的主要方法是对冲突的UFP（U Flight Plans）施加地面延误、速度调整和重新路线规划（Ho, Gon?alves, Rigault, Geraldes, Chicharo, Cavazza, Prendinger, 2021; Hua, Jianan, Xiaohui, Yichen, 2024; Vlaskin, Sunil, Nieuwenhuisen, Ellerbroek, Hoekstra, 2024）。而当上述主要措施无法解决冲突时，飞行计划取消仅作为最后的手段（Ho, Gon?alves, Rigault, Sportich, Kubo, Cavazza, Prendinger, 2020; Ho, Gon?alves, Rigault, Geraldes, Chicharo, Cavazza, Prendinger, 2021）。据我们所知，作为最后手段的取消措施在SCM中的最优性尚未得到系统验证，尤其是在大规模和高密度飞行场景中。我们提出基于主动需求过滤的战略容量管理作为SCM的前阶段，以补充UTM框架。需要强调的是，所提出的SCapM模块并不取代地面延误、速度调整或重新路线规划等传统SCM措施。因此，本研究中的节点移除行为被解释为在过饱和需求条件下的战略准入控制抽象。从这个意义上讲，SCapM作为一种需求过滤预处理器，可以减少过度的冲突耦合，并提高后续基于延误、速度或路线的SCM的可行性。

当前的UTM战略冲突管理通常被建模为运行优化或序列决策问题。对于解决复杂度为O|MN|（其中M是调整决策空间，N是UFP数量）的运行优化模型，SCM主动移除部分UFP将显著简化解决方案空间，提高这些方法在大规模场景中的可解性。对于序列决策模型（复杂度为O|MN|），拥挤或饱和的空域环境常常导致僵局问题，即提前提交或分配的计划会占据关键空域资源，从而导致连锁延误，阻碍多个后续可行UFP的执行（Liu, Munoz-Gamarra, & Ramos Gonzalez, 2024）。SCM可以主动移除占据关键资源的UFP，释放空域容量，实现全局协调的空域资源分配。总之，SCM作为一种主动过滤器，为后续SCM的解决方案能力和性能提供了增强支持。

需要注意的是，UAM操作之间的冲突并非孤立存在。它们通过空域资源的竞争相互关联，形成了复杂的冲突耦合关系（Moolchandani, Lee, Arneson, Cheng, Seah, Guillermo, 2023; Pang, Low, Duong, 2024; Zhang, 2024）。基于图的方法可以借助建模节点关系的能力，全面描述UFP之间的复杂耦合关系。同时，作为SCM的补充，SCapM需要具备可扩展性、响应性、适应动态场景的能力，并能够平衡个别计划的执行与整体运营效率。图强化学习（GRL）通过将环境建模为图结构，与UAM冲突图环境完全兼容。通过构建复合奖励函数来训练代理学习SCapM策略，平衡过滤个别UFP的成本与全局冲突缓解的收益，从而在不同场景中实现快速响应决策。

为应对上述挑战，本文提出了一种适用于饱和和超容量UAM环境的战略容量管理方法，其主要贡献如下：
1. 将过饱和UAM战略容量管理表述为在时空UFP冲突图上的成本感知网络拆除问题。与通用图拆除任务不同，每个节点代表一个具有应用优先级、任务价值和运营属性的UFP，而每条边代表一个具有冲突持续时间、位置和强度的定向时空冲突。这种表述允许SCM平衡全局冲突网络解耦和局部UFP准入过滤成本。
2. 提出了一种针对UAM的图强化学习框架，用于主动需求过滤。该框架无需预先计算的最优拆除标签，而在大规模过饱和UAM场景中这些标签难以获得。节点移除行为被解释为下游SCM之前的战略准入控制决策，而不是通用图攻击。
3. 设计了一种基于拓扑的多步SAC算法和多尺度边缘特征图注意力代理。多步TD目标改进了序列图拆除中的长周期信用分配，而辅助的拓扑预测头部增强了评论家对图结构变化的感知。MS-EFGAT代理结合了冲突边缘特征和基于虚拟节点的全局上下文，以支持局部、中观和全局信息聚合。
4. 在涉及多达10,000个UFP的多场景和多尺度环境中，通过基于仿真的概念验证实验评估了所提出的框架。实验考察了其对下游SCM的促进效果、计算可扩展性和在不同模拟运营设置下的适应能力。

本文的其余部分组织如下：第2节系统回顾了与UAM战略容量管理相关的现有研究进展，并指出了该领域的研究空白。第3节定义了UAM战略容量管理并建立了其数学模型。第4节介绍了基于GRL的解决方案框架。第5节进行了全面实验，以评估UAM战略容量管理对SCM的影响，并与其他方法的性能优势进行了比较。第6节总结了本文并对未来研究方向进行了展望。

相关工作
UAM战略容量管理问题位于UAM交通流管理、复杂网络科学和运行优化的交叉点。本节对UTM中的战略管理、基于复杂网络的空域管理以及用于决策支持的图学习相关方法进行了批判性回顾，以明确本文提出的SCapM的具体研究定位和创新价值。

问题描述与建模
我们改进了传统的UAM战略冲突管理框架，其中SCapM作为预处理模块，如图1所示。在接收到UAM运营商的UFP后，USS首先通过SCapM模块进行处理，然后对剩余的UFP进行冲突解决。此外，我们还增加了动态运行模式以增强其对多样化飞行需求的服务能力。

方法论
SCapM本质上是一个在UFP冲突图上的节点移除问题。在本文中，它被表述为一个图强化学习过程，代理根据当前的冲突网络状态选择要移除的UFP节点，并通过确定性状态转换更新剩余图。为了解决这个问题的网络拆除特性，我们设计了一个具有冲突关系意识的边缘特征聚合代理，并提出了...

案例研究
本节通过基于仿真的概念验证实验来评估所提框架的解决方案质量、计算可扩展性、对下游战略冲突管理的促进效果以及在受控场景下的鲁棒性。由于目前无法获得真实的UAM飞行计划数据集，本研究使用的UFP实例是合成生成的，并使用类似应用的公开数据校准了选定的需求分布。

结论与讨论
本文重点关注高密度UAM运营中的过饱和问题。我们在传统的SCM之前添加了一个主动的战略容量管理模块，同时提高了SCM的服务能力和质量，解决了下一代城市空中移动性的可扩展性瓶颈。我们提出了一种基于GRL的决策系统，用于智能过滤过饱和空域中具有关键冲突的飞行需求。该系统抽象了UAM空域...

未引用的参考文献
图4.
CRediT作者贡献声明
王飞：概念化；形式分析；方法论；软件；验证；可视化；撰写 - 原稿。
张宏伟：资金获取；方法论；项目管理；资源；监督；撰写 - 审稿与编辑。
冯鸥阁：数据整理；形式分析；可视化。
钟刚：资金获取；资源；监督。
万一遥：数据整理；形式分析；软件。
黄晓：形式分析；软件。

利益冲突声明
作者声明他们没有已知的会影响到本文报告工作的竞争性财务利益或个人关系。