基于改进的多智能体双软演员-评论家模型的无人机编队控制用于多目标跟踪

《Scientific Reports》：UAV formation control for multi-target tracking based on an improved multi-agent double soft actor–critic

　　

摘要

近年来，基于多智能体深度强化学习（MADRL）的形成控制策略在协调无人机（UAV）执行多目标跟踪（MTT）任务方面展现了巨大潜力。然而，在复杂、高维的决策环境中，MADRL中的价值评估网络容易产生过度估计偏差，从而影响策略学习的稳定性。此外，无人机之间的碰撞风险以及空间分布不均进一步限制了多无人机系统的协调效率和跟踪性能。为了解决这些挑战，本文提出了一种改进的多智能体双软演员-评论家（i-MADSAC）框架，用于协作式MTT任务。具体而言，该框架采用基于注意力机制的集中式双评论家网络来减少方差并适应不同的输入维度。同时，设计了一种基于距离的平方反比排斥函数以有效降低碰撞风险。另外，还构建了一个基于空间信息熵的奖励函数来优化无人机的空间分布和覆盖范围，该奖励函数与排斥函数协同工作，确保高效的碰撞避免。实验结果表明，随着无人机数量和任务复杂性的增加，所提出的i-MADSAC展现出更强的鲁棒性、可扩展性和跟踪性能，为MTT应用提供了高效可靠的解决方案。