基于层次图注意力多智能体强化学习的方法，用于异构无人机群的安全分离与避撞协调

《Drones》：Hierarchical Graph-Attention Multi-Agent Reinforcement Learning for Safe-Separation-and-Collision-Avoidance Coordination of Heterogeneous UAV Swarms

　　

摘要

在通信链路可能出现延迟、质量下降或间歇性中断的复杂空域中，用于检查、应急响应、环境监测以及搜救支援的安全分离与避碰无人机群应用日益增多。这类应用要求无人机具备异构特性，以便在部分可观测性及不断变化的集群结构下保持对局势的了解、分配任务并避开危险。为应对这些挑战，本文提出了一种分层图注意力多智能体强化学习架构（HG-MARL），用于实现安全分离与避碰的异构无人机群协同控制。该框架将任务分解为高层资源分配与低层局部控制执行两部分，利用图注意力机制应对不断变化的集群结构，并采用Transformer记忆机制、动作掩码、势场奖励设定以及领域随机化仿真训练方法。在多场景仿真测试中，HG-MARL在A、B、C三种场景下的任务完成率分别达到92.9%、89.8%和82.6%，相比MAPPO提升了15.1%、21.4%和20.1个百分点。统计检验结果显示，HG-MARL与MAPPO及QMIX的对比均存在显著差异。进一步的公平性控制、奖励敏感性测试、通信质量下降测试、安全性分析、训练稳定性测试、延迟测试以及迁移能力测试也都证明了该集成架构的优势。目前验证工作基于仿真环境，平台级飞行/硬件在环评估则作为后续研究内容。这些结果表明，HG-MARL是一种极具前景的仿真验证框架，适用于通信条件不佳且需确保无人机之间安全分离的民用无人机群协同控制场景。