基于深度强化学习的无人机集中式着陆流合并方法

《Aerospace》：Centralized Landing Flow Merging for Drones Using Deep Reinforcement Learning Sasha Vlaskin, Jan Groot, Emmanuel Sunil, Joost Ellerbroek, Jacco Hoekstra and Dennis Nieuwenhuisen

　　

无人机预计将在应急响应、包裹配送和基础设施监测等应用中发挥支撑作用，并在高密度城市空域中形成超出人工操作员可管理范围的交通水平。因此，必须采用自主间隔管理，将战略层面的预先排序与战术层面的控制相结合，以避免冲突。本文针对战术着陆阶段，提出了一种集中式着陆流管理器——一种强化学习（RL）智能体，该智能体通过调整无人机速度和航向，在最后进近定位点（FAF）之前实现着陆流的安全高效合并。该研究的目标是通过在仿真中实现与评估该方法，并测试其在10架同时进近着陆无人机场景中的能力，从而展示强化学习在这一新颖应用场景中的潜力。RL智能体能够学习成功地实现飞行器间隔，从而相较于基线自动驾驶仪降低侵入（intrusion）次数，但由于异常场景（outlier scenarios）的存在，其安全性表现仍逊于去中心化的改进电压势（Modified Voltage Potential, MVP）方法。尽管如此，基于RL的系统通过将飞行器加速引导至最后进近定位点（FAF），实现了更快的场景完成速度，因此获得了更高的总体吞吐量（throughput）。未来工作将探索更优的网络架构、跨多样化场景的迁移学习（transfer learning）以及算法微调，以进一步提升安全性能。

该文发表于《Aerospace》，聚焦高密度城市空域中无人机终端着陆阶段的流量合并与间隔保持问题。随着欧盟未来无人机数量显著增长，尤其是配送类运行需求上升，传统依赖人工管制的分离保障方式将难以适应高密度、多飞行器同时进近的运行场景。既有研究已指出，在受限着陆区域内，多架无人机航迹向同一着陆点汇聚时，着陆冲突风险显著增加，因此需要建立能够在末端机动阶段主动调配速度与航向的冲突管理机制。针对这一问题，研究人员提出并验证了一种集中式着陆流管理框架，即由地面管理实体统一接收来袭无人机状态信息，并向所有无人机下发速度和航向指令，在最终进近定位点（FAF）前完成几何合流。论文的核心目标并非构建可认证系统，而是识别强化学习（RL）在集中式着陆流合并中的适用性，建立相应环境并与经典去中心化几何方法进行对比，分析其优势、局限与后续改进方向。

现有问题主要体现在三个方面。其一，多机同时汇聚至同一垂直起降设施时，冲突并非仅表现为成对冲突，而是具有多体耦合特征，增加了控制复杂度。其二，去中心化方法在传感误差、意图不可知和感知精度受限条件下，可能难以在高密度汇聚场景中稳定工作。其三，传统强化学习在多机集中合并任务中的应用仍较少，尤其是超过两架飞行器同时合并时，策略收敛与泛化能力均存在挑战。因此，开展集中式深度强化学习着陆流合并研究具有明确现实意义：一方面有助于验证学习型方法在终端机动区（TMA，终端机动区域）中的适用性，另一方面能够为未来城市空中交通的地面集中调度提供方法学基础。

为完成这一研究，研究人员在BlueSky-Gym平台基础上构建了二维水平仿真环境CentralizedMergeEnv-v0，用于模拟无人机从终端机动区右侧来袭并在FAF前实现流量合并的过程。环境中，所有无人机需保持足够间隔并最终沿固定路径进入着陆点。研究采用程序化随机生成场景，以随机方位角和距FAF距离初始化无人机位置，从而降低强化学习中过拟合风险。研究人员将集中式智能体设计为同时控制全部无人机的速度与航向，并以侵入惩罚和漂移惩罚构建奖励函数。随后，分别采用近端策略优化（PPO）与软演员—评论家（SAC）算法对策略进行训练，并将结果与不采取冲突解脱措施的基线自动驾驶模式，以及去中心化改进电压势（MVP）方法进行比较。评价指标包括总奖励、侵入时间步数、漂移与场景执行时长。结果表明，SAC能够学习到可行的集中式合流策略，在平均安全性上接近MVP，并在执行效率和吞吐量方面表现更优；然而，SAC仍存在少量异常侵入情形，因此在安全性上略逊于MVP。PPO则未能形成稳定有效的收敛策略。该研究的重要意义在于首次较系统地展示了集中式强化学习在无人机着陆流合并中的可实施性，明确了其在效率方面的潜在优势及在安全鲁棒性方面的改进需求。

就主要技术方法而言，研究采用BlueSky-Gym与BlueSky ATC Simulator构建二维水平终端机动区场景，通过程序化随机初始化无人机方位与距离实现训练样本泛化；建立集中式观测向量，融合相对于FAF的本机状态与相对于其他飞行器的入侵机状态，并使用速度—航向联合动作空间；以侵入惩罚和航迹漂移惩罚定义奖励函数，分别训练SAC与PPO策略网络；同时引入去中心化改进电压势（MVP）作为几何冲突解脱基线方法，在10架无人机并发着陆场景及不同保护区半径条件下进行对比测试。本文未涉及外部样本队列来源，全部结果来自仿真环境。

在研究结果部分，论文按照不同主题展开分析。

3.1. Reward Evolution (4M Timesteps)
该部分通过4百万训练时间步的学习曲线评估两类强化学习算法的收敛性与性能演化。研究结果显示，SAC在总奖励、漂移和侵入指标上均表现出明显的渐近稳定特征，说明其策略已基本收敛；相较之下，PPO在相同训练尺度下未显示出稳定收敛迹象，策略仍持续波动。作为参考，不采用任何冲突解脱策略的“do nothing”基线具有接近零漂移，但每个回合平均产生至少20个失去间隔（LoS）时间步，说明仅维持直线飞行虽可保证几何路径简单，却无法满足安全分离要求。该结果表明，SAC能够有效学习兼顾引导与分离的控制规律，而PPO在该任务中的学习稳定性不足。

3.2. Actions and Their Evolution
该部分分析训练过程中智能体在全部无人机上的平均航向和速度指令变化。结果表明，SAC产生的动作逐渐趋于稳定，进一步验证其已形成一致性策略；PPO则未能学习出与任务目标一致的稳定动作模式。在航向输入上，SAC长期输出正向转向趋势，而PPO则倾向于反方向转向。在速度控制方面，SAC策略表现出平均加速倾向，即更倾向于将无人机加速引导至FAF，而非保守减速等待。这一结果说明，集中式SAC策略在效率导向上较为明显，其通过主动提高速度来缩短回合完成时间。

3.3. Policy Analysis
该部分对最终策略的行为特征进行定性与定量分析。研究人员发现，SAC学习到的策略允许无人机在合流过程中发生超越（overtake）行为，即起始时距离FAF较远的飞行器在后续过程中可能先于其他飞行器到达。研究进一步通过到达顺序变化的均方误差（MSE_order）对这种次序重排现象进行量化，并在1000个回合、10架无人机、保护区半径0.075 NM条件下比较SAC、PPO与MVP。结果显示，SAC的顺序变化程度与MVP中自组织产生的次序重排水平相近。由于各回合初始速度与初始化规则保持一致，研究人员据此认为，SAC在空间利用方式上学得了与MVP类似的合流行为模式。这表明集中式学习策略虽不依赖显式几何规则，但能够形成与经典几何方法相似的宏观交通组织效果。

3.4. Sensitivity Analysis—Protected Zone
该部分考察保护区（PZ）半径变化对模型安全性与效率的影响。训练阶段使用0.15 NM保护区半径，测试阶段则采用0.075 NM。依据既有研究，较大的训练保护区可能有助于在实际较小运行间隔要求下获得更优表现。结果显示，这一设想与本文实验结果一致：在10,000个测试回合中，MVP与SAC在0.075 NM条件下均实现平均零侵入，但SAC具有额外0.015%的异常侵入情形。与此同时，SAC的平均回合持续时间比MVP缩短25%。这一结果说明，RL方法能够以牺牲少量极端安全表现为代价，换取显著更高的运行效率和吞吐能力。保护区敏感性分析进一步表明，训练中采用更保守的分离标准，有助于缩小学习型方法与几何基线在安全性上的差距。

3.5. Discussion
讨论部分综合解释了实验发现。首先，研究结果表明，基于SAC的集中式强化学习智能体能够成功将无人机引导至FAF，并显著降低相较基线自动驾驶模式的侵入情况，从而证明集中式RL着陆流合并方案在技术上可行。其次，PPO虽然也表现出一定学习迹象，但其未能彻底避免冲突，且更倾向于形成等待盘旋样式而非高效引导至FAF，这可能与其缺少经验回放缓冲区（replay buffer）有关，不过论文并未断言额外训练必然能够解决这一问题。再次，与MVP的对比显示，SAC在平均安全性上与MVP接近，但仍多出0.015%的侵入异常值，因此MVP仍是略为更安全的方法；然而，SAC在总执行时间上明显优于MVP，说明其能以更快速度完成合流与进近准备。研究人员同时指出，两者动作更新时间不同，RL方法每50 s更新一次，而MVP每10 s更新一次；较长的更新时间既体现集中式系统的数据采集—计算—下发时延，也可能是导致异常失隔事件的原因之一。此外，奖励函数同时包含效率与安全两类目标，可能促使模型在部分情况下做出有利于效率而不完全有利于安全的折中。论文据此强调，后续工作需要更系统地分析安全—效率帕累托前沿。

讨论还指出，环境通过每回合随机化无人机初始位置与速度提高了样本空间内的泛化能力，但受限于当前全连接神经网络结构，模型难以适配不同数量无人机，因此本文未能测试跨机群规模的可扩展性。为改进这一限制，研究建议未来使用注意力机制（attention mechanism）替代现有全连接结构，以提升模型在可扩展性和安全性方面的表现。对于现实适用性，论文还总结相关研究指出，低保真场景预训练可能有助于提升更接近真实世界环境中的冲突解脱性能；传感器不确定性也是影响冲突解脱算法表现的重要因素，且学习型方法在含噪条件下可能较几何方法具备安全性优势。因此，未来研究应纳入更多冲突几何、传感器噪声以及更低保真度预训练方案。

研究结论部分可译为：本文展示了一种基于学习的集中式流量合并智能体的成功实现。结果表明，由软演员—评论家（SAC）得到的模型在相较基础自动驾驶仪的情况下能够避免侵入，并成功将交通流引导至最后进近定位点（FAF）。尽管从回合持续时间结果看，该RL智能体在执行合流机动方面更快，但与MVP基线相比，仍表现出额外的异常侵入回合，这在安全层面是明显不理想的。其所采用的策略与MVP场景中观察到的行为相似，即集中式智能体在很大程度上依赖速度指令；主要差异在于，该智能体倾向于加速飞行器而非减速。未来工作宜进一步研究更大规模模型或更充分的超参数调整是否能够改善整体性能；还需要引入飞行器优先级规则以及可能导致复飞的模拟异常情况（如天气）；在更加多样的几何环境中训练模型，例如扇区内通用冲突解脱任务，也值得探索，因为这可能进一步提升安全性。传感器噪声与低保真预训练同样是改进该方法的重要方向。关键在于，为使该模型未来具有可认证性，仍需在可解释性方面开展更多工作。最后，采用不同的演员网络结构与机制也可能有助于提升安全表现；论文建议以注意力机制替代现有全连接网络，因为其可能同时改进可扩展性与安全性，这也将成为未来工作的主要重点。