面向合作多无人机路径规划的群体级异构相位控制强化学习优化方法

《Drones》：Group-Level Heterogeneous Reinforcement-Learning-Guided Jellyfish Search Optimization for Cooperative Multi-UAV Path Planning Under Dynamic and Adversarial Conditions

　　**摘要**合作式多无人机路径规划必须生成耦合轨迹，以在包含移动障碍物、风、GPS 干扰和通信中断的环境中遵守无人机间分离约束。基于种群的元启发式算法能够很好地处理由此产生的非凸动态目标函数，而强化学习（RL）指导可以在线自适应其搜索行为；然而，现有的学习控制器对整个集群统一应用同一决策，即使部分机队正在穿越杂乱的通道，而其余部分在开放空间巡航。本文介绍了用于强化学习引导的蛋黄虫搜索优化（RL-JSO）的群体级异构相位控制：无人机被划分为基于风险或随机的群体，并通过 Dueling Double DQN 从枚举的群体级动作空间（大小为 [公式]）中选择联合相位分配，从而使不同群体在同一优化器迭代内执行不同的搜索相位。在三种不同的随机训练副本和五次难度递增的评估活动中，群体级控制相对于全局 RL-JSO 控制器（Global 3A）将平均任务成本降低了 21–71%，将课程掌握度从九阶段中的 4.0 提升至 7.3–8.7，并在所采用的评估器下实现了 95–100% 的硬碰撞无事故率，尽管在最严苛条件下软分离余量经常被违反。风险-随机消融实验表明，特定的风险启发式方法并非收益的唯一驱动因素，这些收益与异构相位多样性和群体成员动态的重要作用是相一致的；在部署时的敏感性分析中，固定的基于风险策略对适度的风险权重和群体比例扰动表现出局部鲁棒性，并且整体方法排序在各种目标适应强度下得以保持。结果表明，在所采用的仿真框架下，群体级学习优化器控制可作为合作无人机任务规划中的一种鲁棒性机制。