基于多智能体深度强化学习的分布式多无人机3D轨迹规划

《IEEE Transactions on Cognitive Communications and Networking》：Distributed Multi-UAV 3D Trajectory Planning Based on Multi-agent Deep Reinforcement Learning

多无人机协同轨迹规划方法在智能城市中的应用，通过改进遗传算法确定无人机数量并综合奖励因素，结合MADRL框架将问题建模为多目标MDP实现自主优化，采用贪心算法调整飞行速度提升资源利用率。

　　

摘要：

在万物互联（IoT）背景下，无人驾驶飞行器（UAV）在智慧城市场景中得到了广泛应用，多UAV协同轨迹规划面临诸多挑战，包括成本限制、碰撞风险以及复杂的行动空间。为了解决这些问题，提出了一种分布式多UAV三维轨迹规划协同优化方法，该方法通过联合优化UAV的能耗和信息时效（AoI）来提升系统效率。首先，设计了一种基于改进遗传算法的优化机制，通过引入威胁因素和综合奖励因素来确定UAV的数量。随后，建立了一个基于多智能体深度强化学习（MADRL）的协同规划框架，将轨迹规划问题建模为多目标马尔可夫决策过程（MDP），从而通过分布式策略网络在复杂的城市环境中实现自主轨迹优化。最后，系统利用贪心算法对UAV进行自适应速度调整，以提高资源利用率。仿真结果表明，与基线算法相比，所提出的方法在降低能耗、提升信息时效以及优化轨迹规划策略方面表现更优，验证了其在智能城市空中移动系统中的有效性。