基于高效探索的多智能体强化学习在多无人机协同目标搜索中的应用

《Drones》：Efficient Exploration-Enabled Multi-Agent Reinforcement Learning for Multi-UAV Cooperative Target Search

　　

摘要

多无人机协同目标搜索（MCTS）是低空感知应用中的关键任务，要求智能体在复杂约束下高效探索未知环境。然而，传统搜索方法大多不具备扩展性，在动态的多无人机环境中表现不佳。作为一种有前景的替代方案，强化学习（RL）通过使智能体能够直接从环境互动中学习适应性策略来克服这些限制。当前RL方法的一个主要问题是缺乏高效的探索机制，这成为了无人机发现更多目标的关键瓶颈。为了解决这一问题，我们提出了一种名为AEQMIX的新方法，该方法将轨迹熵最大化集成到了QMIX（一种先进的多智能体强化学习（MARL）方法）中，以促进高效探索。我们将MCTS问题构建为一个去中心化的部分可观测马尔可夫决策过程（Dec-POMDP），并设计了一个多目标奖励函数。为了应对高维空间中密度估计的复杂性，我们采用了一种基于粒子的非参数熵估计器来量化无人机轨迹的空间多样性。这种熵估计被用作内在奖励，激励智能体最大化自身轨迹与邻居轨迹之间的距离。广泛的仿真表明，在搜索速度、覆盖效率以及碰撞避免方面，AEQMIX显著优于基线强化学习和传统优化方法。与DNQMIX相比，AEQMIX在（40 × 40）环境中将搜索速度提高了9.52%，覆盖率提高了11.54%，同时平均碰撞次数减少了70.59%。