注意力引导的多智能体深度强化学习在五维任务空间中的无人机群路径规划应用

《Neurocomputing》：Attention-guided multi-agent deep reinforcement learning for UAV swarm path planning in five-dimensional task spaces

　　摘要
在复杂的低空环境中，无人驾驶飞行器（UAV）群体的路径规划需要在空间、时间和通信的耦合约束下进行协调决策。现有方法通常依赖于固定分辨率的表示和手动分配的奖励权重，这限制了其对动态障碍物、同步需求和电磁干扰的适应性。本文提出了一种基于注意力机制的多智能体深度强化学习框架，用于UAV群体路径规划。通过将三维位置、时间同步和电磁干扰整合到一个统一的表示中，构建了一个五维任务空间。然后开发了一种基于八叉树的自适应弹性网格（AEG），以细化高风险和任务敏感区域，同时粗化低风险区域，从而平衡表示精度和计算效率。在多智能体双延迟深度确定性策略梯度（Multi-Agent Twin Delayed Deep Deterministic Policy Gradient）的基础上，引入了一个时间注意力奖励机制，其中门控循环单元编码了历史状态演变，并根据注意力动态调整多个奖励组成部分的权重，包括目标到达、碰撞避免、同步到达和干扰抑制。仿真结果表明，所提出的方法比代表性的多智能体强化学习基线方法实现了更安全的轨迹、更高的规划成功率、更平滑的路径和更好的实时性能。

引言
随着低空经济和智能无人系统的快速发展，无人驾驶飞行器（UAV）群体已广泛应用于军事侦察、农业技术、环境监测和灾害响应[1],[2]。在复杂动态环境中进行自主导航和协作任务的路径规划逐渐成为智能控制领域的研究重点。在以复杂建筑结构、狭窄通道和电磁干扰为特征的密集城市环境中，UAV群体不仅需要在三维空间中避开静态障碍物和动态碰撞，还需要满足多个耦合约束，包括同步到达、运动学限制和通信链接稳定性[3]。在这种高度耦合的条件下，传统的三维空间建模不足以有效捕捉关键风险区域和任务敏感区域。同时，不同任务阶段的多重目标的重要性动态变化，使得固定奖励公式无法准确反映环境和任务要求。因此，在多维约束下实现安全、高效和协调的路径规划仍然是一个重要的科学和工程挑战。
UAV空域的结构化表示和网格划分是细粒度群体控制的基础，直接影响路径规划和冲突避免性能。现有研究主要集中在三个方面：离散建模、路径网络构建和多尺度动态划分。具体来说，基于规则网格或扇区划分的层次化离散化方法用于表示三维空间[4]；构建了基于网络的建模框架进行路径优化[5]；并探索了自适应边界调整和层次化空域管理策略[6]。此外，结合了张量注意力和可微分架构搜索来增强特征表示，同时减少冗余计算[7]。然而，这些方法大多采用固定分辨率或静态划分策略，缺乏根据环境复杂性动态调整感知粒度的能力。这种限制往往导致关键区域的表示不足或不必要的计算开销，从而限制了在复杂场景中的建模精度和效率。
在路径规划方法方面，传统算法如A*和快速探索随机树（Rapidly-exploring Random Trees）[8]在已知或低维环境中表现良好，但存在维度灾难、实时性能有限以及在高维任务空间中处理多智能体协作的困难。群体智能优化方法，如蚁群优化（Ant Colony Optimization）和粒子群优化（Particle Swarm Optimization）[9]提供了一定的全局优化能力。然而，它们仍然面临收敛速度慢、易陷入局部最优解和在线协作能力有限的挑战。最近，强化学习（RL）方法通过与环境的持续互动，在自主决策方面显示出显著的优势[10]。尽管如此，在多UAV路径规划场景中，RL仍然面临高维状态空间、强烈环境动态和复杂多约束耦合的挑战，难以平衡训练效率和策略稳定性。
奖励函数设计在确保强化学习中的高效学习和稳定收敛方面起着至关重要的作用，直接影响探索效率和最终性能。为了解决奖励稀疏、多目标冲突和环境动态等问题，现有研究主要集中在稀疏奖励缓解[11]和多目标奖励整合[12]上。然而，具有固定结构或静态权重的传统奖励机制无法适应不同飞行阶段中安全、效率和协调等目标的重要性的变化。这通常会导致探索空间扩大、训练成本增加和策略收敛困难，从而限制了RL方法在复杂低空环境中的有效性。
基于上述分析，现有方法尚未充分解决三个具体瓶颈：
1) 现有的状态表示不完整，通常依赖于固定分辨率的环境离散化。低空UAV群体路径规划涉及空间、时间和电磁的耦合约束。然而，现有方法往往将同步和电磁干扰视为外部约束，而固定分辨率的表示可能会丢失局部风险信息或引入冗余状态。
2) 约束表示在策略学习中没有得到充分利用。现有方法通常使用空间、时间或通信约束来构建奖励函数，从而通过标量反馈指导策略学习。然而，表示的约束信息很少被纳入策略网络的状态输入。
3) 现有的优化策略无法在不同飞行阶段自动调整学习优先级。路径效率、碰撞避免、同步到达和通信可靠性的相对重要性在飞行过程中会发生变化。然而，固定奖励权重保持不变的目标优先级可能导致单一目标主导优化过程，从而导致策略更新方向的冲突。
这些限制可能导致不安全的局部决策、到达时间不一致、不必要的电磁干扰暴露、状态复杂性过高和策略收敛不稳定。
为了解决这些瓶颈，本文提出了一种基于时间注意力的多智能体双延迟深度确定性策略梯度与动态奖励（DRTA-MATD3）框架，用于UAV群体路径规划，该框架建立了从约束建模到状态表示，再到策略优化的连续信息流。具体来说，五维任务空间首先将三维位置、时间同步偏差和电磁干扰风险转换为明确的、与行动相关的任务变量。然后，这些变量作为自适应弹性网格（AEG）的输入，AEG为障碍物密集、同步敏感或干扰密集的区域分配高分辨率，并输出固定维度的局部特征表示。AEG增强的状态由MATD3网络和DRTA模块共享。基于该状态的历史演变，DRTA为分解后的奖励项生成自适应权重，由此产生的综合奖励指导MATD3产生连续的协同控制动作。执行的动作随后改变空间、时间和电磁状态，从而在下一个决策阶段更新五维任务空间和AEG表示。本文的主要贡献如下：
- 与那些不完全表示多个约束并依赖固定分辨率环境离散化的现有方法不同，本文构建了一个五维任务空间，明确整合了三维位置、时间同步和电磁干扰。在此基础上，开发了一种AEG表示方法，以细化任务敏感和高风险区域，同时粗化非关键区域，从而减少局部信息丢失和不必要的状态冗余。
- 为了充分利用策略学习中的约束表示，通过直接将五维任务建模和AEG编码的输出纳入策略网络的状态输入，开发了一个紧密耦合的MARL框架。这种设计使智能体能够隐式学习局部空间-时间-电磁条件与行动选择之间的关系，允许约束信息直接指导决策过程。
- 为了解决现有优化策略无法在不同飞行阶段自动调整学习优先级的问题，提出了一种DRTA机制。它使用GRU编码AEG增强状态的历史演变，并使用注意力模块评估其与其他奖励目标的相关性，从而为目标到达、障碍物避免、UAV间分离、同步到达和干扰抑制生成依赖于状态和阶段的奖励权重。

**任务建模和网格表示方法**
传统的任务建模方法主要基于三维空间表示，其中无人平台的空间坐标被视为核心状态变量，环境被建模为静态或弱动态的3D空间。Gao等人[13]建立了一个包含轨迹、高度、平滑度等其他空间约束的数学模型，从而将路径规划转变为一个受约束的优化问题。

**五维任务空间建模**
低空UAV群体任务同时受到密集障碍物、UAV间碰撞风险、同步到达要求和电磁干扰的约束。这些约束是强耦合的，因为飞行轨迹的变化可能直接影响时间协调和通信可靠性。因此，需要将这些复杂约束明确纳入状态表示中，使策略网络能够学习它们之间的相互作用。

**提出的方法**
在完成五维任务空间建模并通过AEG表示复杂环境后，路径规划过程仍面临多阶段任务目标动态变化以及不同优化目标之间缺乏有效权衡机制的挑战。为了解决这些问题，本文提出了一种基于多智能体强化学习的UAV群体路径规划方法DRTA-MATD3，如图1所示。

**仿真实验**
本节全面评估了所提出的DRTA-MATD3框架在复杂低空UAV群体路径规划任务中的有效性和泛化能力。首先介绍了仿真环境、任务配置和训练参数。其次，介绍了定量评估指标和采用的比较算法的结构，以建立统一的评估协议。第三，探讨了收敛特性和轨迹规划。

**结论**
本文提出了DRTA-MATD3，用于复杂低空建筑环境中的协作UAV群体路径规划。所提出的框架构建了一个五维任务空间，共同表示空间位置、时间同步和电磁干扰约束。基于该模型，基于八叉树的AEG自适应调整环境表示分辨率，从而能够详细建模关键区域，同时减少低风险区域的计算量。

**作者贡献声明**
张欣：撰写——原始草稿、软件、方法论、调查。
程光：撰写——原始草稿、方法论。
刘宇：撰写——审阅与编辑、可视化、调查。
陶德进：可视化、监督、软件。
博宇明：撰写——审阅与编辑。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。
张欣于2006年在南京工业大学获得应用数学硕士学位，目前正在东南大学攻读电子信息工程博士学位。他的研究方向是电子信息工程。
张欣|程光|刘宇|陶德进|博宇明
东南大学网络科学与工程学院，南京210096，中国