EO-MADDPG：一种用于多无人机追逃博弈的改进强化学习方法

《Aerospace》：EO-MADDPG: An Improved Reinforcement Learning Approach for Multi-UAV Pursuit–Evasion Games Xiao Wang, Mengyu Wang, Xueqian Bai, Zhe Ma, Kewu Sun and Jiake Li

　　

为了推进多智能体强化学习（MARL）在追逃场景中的研究，本文提出了一种名为专家知识和对手建模多无人机深度确定性策略梯度（EO-MADDPG）的新算法。EO-MADDPG包含两个关键组成部分：专家知识与实时采样数据的整合，以及对逃逸无人机行动的预测。专家知识包括多无人机编队控制算法和包围策略，其中融合了一致性算法和阿波罗尼奥斯圆引导。此外，通过整合固定策略下对手行动的信息优化了网络训练框架，以提高预测准确性。实验聚焦于三对一和三对二场景，其中追捕无人机使用EO-MADDPG，逃逸无人机遵循带有高斯扰动的固定策略。实验结果表明，EO-MADDPG在三对一和三对二追逃模拟中分别达到了99.9±0.3%和97.5±1.4%的成功率（五个随机种子的均值±标准差），优于基线MADDPG（72.7±6.0%和64.4±34.4%）。消融实验和合作地标任务进一步证明了改进的训练稳定性和可解释性。

**论文解读：EO-MADDPG——融合专家知识与对手建模的多无人机追逃博弈强化学习方法**

**研究背景与问题**

追逃博弈是智能体系统在动态对抗环境中决策能力的重要考验，在智能交通、军事防御等领域具有广泛应用。深度强化学习（DRL，Deep Reinforcement Learning）虽已在追逃问题中展现出潜力，允许智能体从与环境交互中学习有效策略，但仍面临策略探索次优、模型可解释性差、收敛速度慢等挑战。传统控制理论方法（如一致性算法、阿波罗尼奥斯圆引导）虽能提供可解释的引导，却依赖于精确模型且难以应对复杂对抗行为；而纯强化学习方法需要大量实时采样数据，训练耗时且环境非平稳性影响策略更新。此外，追捕方需预测逃逸方可能采用的反制策略。上述不足促使研究人员探索一种兼顾鲁棒性、可解释性与样本效率的多智能体强化学习（MARL，Multi-Agent Reinforcement Learning）框架。

**研究内容与结论**

为应对上述挑战，本文提出了一种名为专家知识和对手建模多无人机深度确定性策略梯度（EO-MADDPG，Expert Knowledge and Opponent Modeling Multi-UAV Deep Deterministic Policy Gradient）的新型算法。EO-MADDPG将专家知识（基于一致性算法的编队控制和阿波罗尼奥斯圆引导的包围策略）与对手建模（预测逃逸无人机在固定策略下的行动）相融合，在“集中训练、分散执行”（CTDE，Centralized Training Decentralized Execution）框架下优化训练网络。在三对一和三对二追逃仿真中，EO-MADDPG分别达到了99.9±0.3%和97.5±1.4%的成功率（五个随机种子的均值±标准差），显著优于基线MADDPG（72.7±6.0%和64.4±34.4%）。消融实验证实了各子模块的有效性，合作地标任务进一步展示了改进的训练稳定性和可解释性。该论文发表在《Aerospace》。

**主要关键技术方法**

1. **专家知识预处理**：基于一致性算法（维持智能体间距与速度一致性）和阿波罗尼奥斯圆引导（计算包围半径_R），为追捕无人机生成控制策略的轨迹数据（状态、动作、奖励、下一状态），并存入专家知识回放缓冲区（replay buffer—knowledge）。
2. **对手建模**：为每个逃逸无人机训练一个预测网络^π_pred，通过KL散度损失（Kullback–Leibler divergence loss）最小化预测行动与实际行动间的差异，并将预测行动作为追捕方评论家网络的额外输入，以减轻环境非平稳性。
3. **双缓冲混合采样**：维护专家知识缓冲区和真实经验缓冲区（replay buffer—real experience），在训练过程中按比例^?₁和^?₂（随训练进程单调变化）从两者中抽取样本组成小批量数据，用于策略优化。
4. **基于MADDPG的集中训练分布执行框架**：每个追捕智能体拥有独立的行动者（actor）网络与集中式评论家（critic）网络；评论家网络在训练时接收全局状态和预测的对手行动，在测试时仅依靠自身行动者网络生成行动。仿真环境为二维有界空间，追捕者与逃逸者初始状态设定见表2（原文）。

**研究结果**

**4.1 实验设置**
实验在二维有界空间中进行，该空间是对无人机群博弈原始场景的抽象。追捕组所有成员共享基于追捕者与逃逸者距离的奖励函数：当距离大于捕获阈值ΔX_max时，奖励与距离负相关；当距离≤ΔX_max时，给予额外奖励10。评估指标为单次博弈中累积奖励之和。三对一场景由3个追捕者和1个逃逸者组成；三对二场景由3个追捕者和2个逃逸者组成。逃逸者采用带有高斯扰动^n(t)~N(0,I)的固定策略（公式19）飞行。

**4.2 三对一场景性能比较**

* **4.2.1 奖励学习曲线与成功率**
训练过程中的累积奖励曲线显示，EO-MADDPG收敛最快且达到最高最终奖励。成功率测试结果表明，EO-MADDPG（99.9±0.3%）优于O-MADDPG（90.7±14.5%）、E-MADDPG（79.2±20.6%）、MADDPG（72.7±6.0%）和MASAC（16.1±4.3%），反映专家知识与对手建模共同提升追捕性能。

* **4.2.2 专家知识与实际经验的比例**
通过改变混合比例系数c（0.1、0.01、0.001）比较E-MADDPG的表现。c=0.001时获得最佳奖励收敛和最高成功率（93.6%），表明更早转向使用实际经验的策略更有效。

* **4.2.3 实际行动与预测的差异**
O-MADDPG中预测网络的KL散度损失随训练迅速下降，约2000回合后接近0.0005，说明预测行动与实际行动高度相似。采样示例显示预测行动在各个维度上与实际行动吻合。

**4.3 三对二场景性能比较**

* **4.3.1 奖励学习曲线与成功率**
EO-MADDPG再次获得最高的奖励曲线和成功率（97.5±1.4%），高于O-MADDPG（88.0±15.5%）、E-MADDPG（82.3±7.3%）和MADDPG（64.4±34.4%）。MASAC仍保持在低奖励水平。

* **4.3.2 专家知识与实际经验的比例**
c=0.001时E-MADDPG表现最佳，成功率为90.7%，高于c=0.01（89.3%）和c=0.1（86.5%）。所有c值均优于MADDPG。

* **4.3.3 实际行动与预测的差异**
针对两个逃逸者的预测网络KL散度损失均迅速下降，约5000回合后接近0.0002。采样示例显示预测行动与实际行动高度一致。

**4.4 合作地标环境中的算法性能比较**

* **4.4.1 三对一追捕地标场景**
E-MADDPG（c=0.001）在奖励曲线上持续优于MQMIX，且比MADDPG和MATD3表现出更稳定的奖励轨迹，显示更快的初始学习效率和收敛稳定性。

* **4.4.2 三对二追捕地标场景**
E-MADDPG的奖励曲线比MQMIX更高且波动更小，虽未绝对主导，但保持了更集中的奖励分布和更好的适应性。

* **4.4.3 比较分析**
三对二场景增加了协调难度，E-MADDPG通过有效利用专家经验平衡多目标追击策略，在奖励保持、探索与利用平衡方面展现出优势，而MQMIX和MATD3在稳定性或规模扩展方面存在不足。

**讨论与结论**

**总结讨论**：
本文聚焦于MARL在追逃博弈中的可解释性、收敛速度和策略探索次优挑战。所提出的EO-MADDPG通过融合专家知识（一致性算法与阿波罗尼奥斯圆引导）和实时对手建模（预测逃逸者行动），提升了算法的可解释性并加速了训练收敛。消融实验验证了各子模块的有效性，合作环境中的测试表明E-MADDPG在多智能体合作任务中具有潜力。然而，当前研究存在局限性：逃逸者采用固定策略（含高斯扰动），未考虑自适应学习逃逸者；实验在简化二维环境中进行，未纳入高保真动力学、通信约束和感知不确定性等实际因素。未来工作可针对合作动态微调专家知识并优化探索机制，以进一步释放混合架构的优势。

**研究结论**（翻译自原文5. Conclusions第一段）：
本研究聚焦于多智能体强化学习在追逃博弈中的可解释性、收敛速度和次优策略探索等挑战。研究人员提出了一种专家知识和对手建模多无人机深度确定性策略梯度（EO-MADDPG）算法，该算法结合了专家知识与实时对手建模。EO-MADDPG整合了多无人机编队控制算法和阿波罗尼奥斯圆引导，增强了可解释性并加速了训练收敛。其对手建模组件能够准确预测逃逸者行动，从而促进更有效的合作策略。在三对一和三对二追逃仿真中，EO-MADDPG分别取得了99.9±0.3%和97.5±1.4%的成功率（五个随机种子的均值±标准差），优于基线MADDPG（72.7±6.0%和64.4±34.4%）。对E-MADDPG和O-MADDPG的消融实验验证了其关键组件的有效性。在合作博弈环境中，E-MADDPG展现出一定优势，凸显其优越性。通过利用混合设计，它整合专家经验，为处理复杂多智能体交互带来了独特见解。尽管探索-利用平衡和专家知识对齐可进一步优化以获得更佳性能，该算法已展现出巨大潜力。