在竞争性多智能体强化学习（MARL）中训练鲁棒策略仍然是一个基本挑战，原因包括非平稳性、对抗性交互和严重的探索困难。这些问题在高维连续动作空间中尤为突出，在这种空间中，去中心化智能体必须适应其行为以响应同时学习的对手。尽管单智能体深度强化学习（RL）取得了显著进展，但将基于学习的方法扩展到竞争性多智能体设置仍然很困难，因为独立学习往往表现出不稳定的动态和非收敛行为 [3], [27]。最近的调查进一步强调了非平稳性和可扩展性作为 MARL 中核心的未解决挑战 [19]。
缓解非平稳性的一种常见策略是集中训练去中心化执行（CTDE），它通过联合观察或集中式评论家来稳定学习。代表性的 CTDE 方法包括 MAPPO [29]，它将 PPO 扩展到集中式评论家设置，以及 QMIX [20]，它使用单调值函数混合网络。虽然在某些领域有效，但基于 CTDE 的方法往往受到智能体数量增加导致可扩展性差、协调复杂度增加以及在去中心化或部分可观察环境中适用性有限的困扰 [19]。相比之下，独立强化学习（IndRL）提供了线性可扩展性和去中心化执行，但众所周知在竞争性环境中由于循环策略和无效探索而失败 [9]。这种张力激励了寻找替代训练范式的努力，在保持去中心化的同时稳定学习动态。
构建学习过程已成为解决这些挑战的一个有前景的方向。课程学习（CL）已被证明可以通过根据任务难度或智能体能力组织训练经验来提高学习效率和鲁棒性 [4], [10], [18]。同时，自我博弈（SP）通过使智能体暴露于不断演变的对手分布，在竞争性设置中稳定学习方面被证明是有效的 [15], [21]。虽然这些机制在离散或回合制领域已经取得了成功，但它们在稳定连续控制竞争性 MARL 中的独立学习方面的作用仍然探索不足。
高速多智能体无人机竞速为研究这些学习挑战提供了一个特别苛刻的基准。该领域结合了连续时间动力学、严格的安全约束和对抗性交互，推动了学习稳定性和可扩展性的极限 [5], [17]。虽然 RL 已在单智能体无人机竞速中实现了冠军级表现 [12], [13], [16]，但由于严重的非平稳性和样本效率低下，将这些成功扩展到多智能体竞争仍然很困难 [24], [27]。
虽然像 MAPPO 这样的 CTDE 框架已在合作设置中取得了成功，但它们在训练期间依赖集中式评论家。这种假设在现实世界的临时团队或隐私敏感场景中可能具有限制性，在这些场景中共享梯度信息或观察是禁止的。此外，在我们测试的设置中（第 4.3 节），评估的 MAPPO 和 MAPPO-SP 基线在评估的保存检查点中未学会成功的竞速行为。这一结果表明，评估的集中式评论家设计在我们的实验中是不够的，尽管我们并不声称所有 CTDE 方法都会在该领域失败。因此，本工作的主要方法论重点仍然是 IndRL 范式。
在本工作中，我们提出了CRUISE（通过迭代自我博弈的课程结构强化学习），这是一个旨在竞争性多智能体设置中稳定独立深度强化学习的训练框架，而不依赖集中式评论家、联合策略或显式的智能体间通信。CRUISE 通过一个逐步增加交互复杂度的渐进课程来构建学习过程，并结合与冻结的高性能对手策略进行迭代自我博弈。
我们在多无人机竞速基准上评估了提出的框架，使用基于高保真物理的模拟器 [6], [22]。经验结果表明，标准 IndRL 随着智能体密度增加而失败收敛，而 CRUISE 实现了稳定学习、高成功率和一致的可扩展性。与 MAPPO 和 MAPPO-SP 的直接 CTDE 比较进一步表明，在我们测试的设置中，评估的集中式评论家设计在评估的保存检查点中未解决该任务。消融研究进一步表明，课程结构是测试设置中收敛的主要贡献者，而奖励设计和训练架构仍然是相关因素。
本文的其余部分介绍了 CRUISE 方法论（第 3 节），报告了经验结果（第 4 节），讨论了含义和局限性（第 4.6 节），并以未来工作的方向作为结论（第 5 节）。
