分批次的多智能体策略优化，以实现性能与效率之间的平衡

《Neurocomputing》：Batch-by-batch multi-agent policy optimization to balance performance and efficiency

　　• 提出了一种新颖的批量多智能体策略优化方案B2MAPO，该方案具有理论上的单调改进保证。
• 设计了一个符合CTDE范式的B2MAPO层次框架，能够与现有的MARL模型实现即插即用集成，充分利用并结合它们的优势。
• 引入了基于随机、启发式和DAG的批量序列生成方法，其中基于DAG的生成方法表现出最佳性能。
• 开发了基于DAG的B2MAPO算法，实验结果表明其在性能和稳定性方面都有显著提升，同时显著提高了训练和执行效率。

**引言**
合作多智能体强化学习（MARL）方法在虚拟和现实世界场景中取得了实质性成果，例如交通信号控制[1]、[2]、机器人控制[3]、[4]、模拟游戏[5]、[6]以及自动驾驶[7]、[8]。合作MARL旨在训练一组智能体协同完成任务，以最大化预期累积奖励。现有的MARL策略优化方法主要分为两类：同时策略优化和顺序策略优化。同时策略优化（图1a）如MAPPO[9]通常假设智能体的策略是独立的。在这种方法中，所有智能体同时更新它们的策略，而不考虑其他智能体策略的动态变化。因此，由于其他智能体策略的动态改进，从任何单个智能体的角度来看，环境都会动态变化，导致非平稳性问题[10]。因此，非平稳性问题直接导致在复杂任务场景中性能不佳。为了解决这个问题，广泛采用了集中训练-分散执行（CTDE）范式[11]。在CTDE范式下，智能体的策略在集中式环境中进行训练，并可以访问全局信息，而在分散执行过程中，每个智能体仅根据其局部观察结果独立做出决策。然而，非平稳性问题仍然存在，尤其是在部分可观测的设置中，使得策略优化更加具有挑战性。

另一方面，顺序策略优化遵循顺序更新方案。顺序更新方案允许智能体感知前面智能体策略产生的动态变化，为分析智能体之间的交互依赖性提供了另一种视角[12]。顺序策略优化包括多种展开和单一展开方法。RPISA[13]作为多种展开方法的代表（图1d），通过将非平稳的多智能体强化学习问题转换为平稳的单智能体强化学习（SARL）问题，有效解决了非平稳性问题。尽管RPISA表现出强大的性能，但它需要多次在线展开来顺序更新所有智能体，其执行效率低于同时更新MARL方法。然后提出了单一展开顺序方法（图1c），这些方法允许使用从单次展开中收集的样本来更新所有智能体。例如，异构智能体近端策略优化（HAPPO）[14]利用单次展开中的样本来估计局部优势，从而在一个展开中更新所有智能体。尽管HAPPO引入了首个具有理论证明的单智能体信任区域方法，但由于缺乏对个体策略改进的理论保证，其性能较低。此外，由于其顺序的、预定的策略更新方案，HAPPO在训练阶段的效率仍然较低。最近，智能体对智能体策略优化（A2PO）[15]从理论上保证了联合策略和个体策略的单调改进。然而，由于顺序更新方案，A2PO的训练效率较低，并且随着智能体数量的增加，训练时间也会增加，使得在大规模智能体集群中联合策略优化成本较高。此外，由于优势函数估计的误差，A2PO仍可能陷入次优状态。同时，HAPPO和A2PO的顺序更新是基于每个智能体的更新既不依赖于也不影响其他智能体策略的假设。在参数共享的情况下，这个假设不再适用，因为更新一个智能体的策略可能会改变其他智能体的网络参数，这可能会引入额外的不稳定性，并在实际中破坏理论最优性。A2PO通过启发式方法缓解了这个问题，该方法优先更新优势函数较大的智能体。然而，仅依赖于优势来确定更新顺序可能过于简化，因为它忽略了智能体之间的动态依赖性。

为了提高训练效率，可以同时更新独立策略，而相互依赖的策略应该顺序更新。为此，我们提出了一种“批量-by-Batch”更新方法，将策略分成组，每组以批量方式更新。这允许按批量顺序而不是按智能体顺序进行策略优化。为了防止非平稳性，同一批次内的所有策略必须是独立的。然而，在实践中，准确确定智能体之间的策略依赖性是具有挑战性的。此外，确定最小批次数量可以表述为一个集合覆盖问题（SCP）[16]，这被认为是NP难问题。因此，除了将策略分成批次外，还需要确定批次的有效更新顺序，这进一步复杂化了优化过程。

为了确保最佳性能，提出了基于离线策略校正的替代目标，该目标从理论上保证了联合策略和个体策略的单调改进的逐步收紧。这些理论特性激发了批量多智能体策略优化（B2MAPO）的设计（图1b）。在B2MAPO方案的基础上，我们设计了一个通用的、模块化的、即插即用的层次框架，该框架满足CTDE原则，并可以方便地将不同的批量序列生成方法与MARL模型集成，以利用它们在策略最优性和效率方面的优势。在B2MAPO框架的底层网络中，同时并行训练两个联合策略，并定期最小化它们之间的KL散度。为了实现批量顺序更新同时保持分散执行，一个联合策略根据预定的B2MAPO批次顺序进行顺序更新，而另一个派生的联合策略则使用MAPPO进行同时更新。派生的联合策略通过B2MAPO获得的联合策略收集的多样化经验进行训练。在分散执行过程中，仅使用派生的联合策略进行决策，从而提高执行效率。

基于B2MAPO框架，我们设计了基于DAG的B2MAPO算法，为生成批量序列提供了基于DAG的实现。此外，我们还开发了各种启发式和随机批量划分及排序方法作为替代的批量序列生成策略。我们在流行的合作和混合合作竞争多智能体基准测试中测试了基于DAG的B2MAPO算法：StarCraft II多智能体挑战（SMAC）[17]、SMACv2[18]、Google Research Football（GRF）[19]和MAAgent[20]。在评估的基准测试中，B2MAPO在包括MAPPO、HAPPO和A2PO在内的比较方法中获得了最强的最终性能，同时还提供了显著的效率提升和稳健性。实验结果进一步表明，派生的联合策略在训练和执行效率方面可与同时更新MARL算法相媲美，同时明显优于顺序更新算法。值得注意的是，与A2PO相比，我们的算法分别将训练时间和执行时间减少了75.9%和83.7%。总之，我们工作的主要贡献如下：
• 我们提出了一种通用的B2MAPO方案来提高训练效率。我们证明，在具有离策略校正方法的单次展开B2MAPO方案下，可以保持联合策略和个体策略的单调改进保证。我们进一步证明了在执行B2MAPO方案时，联合单调界限是逐步收紧的。我们的B2MAPO方案是第一个批量顺序更新方案。
• 我们设计了一个通用的、模块化的、即插即用的B2MAPO层次框架，该框架采用CTDE原则。B2MAPO框架支持方便地集成任何MARL模型，几乎不需要修改即可充分利用和合并它们的优势，包括最佳性能和推理效率。
• 我们基于B2MAPO框架设计了基于DAG的B2MAPO算法。实验表明，B2MAPO算法优于现有的MARL方法，并实现了高效率和最优性。对随机、启发式和基于DAG的批量序列生成方法的消融研究表明，基于DAG的方法提高了整体策略优化效果。

**相关工作**
层次强化学习。层次结构[21]已被认为是提高长视距任务中有限交互下的学习性能的强大机制。最近，层次强化学习（HRL）框架[22]、[23]、[24]将复杂问题分解为结构化的子任务，实现了更可扩展的学习和更好的时间抽象。早期的层次MARL尝试采用了手工制作的子任务或宏动作来促进多层次学习。

**问题定义**
合作多智能体系统的决策问题可以表述为分散的部分可观测马尔可夫决策过程（Dec-POMDP）[45]。本节中使用的符号首先在表1中总结。Dec-POMDP由一个元组表示。 是智能体的有限集合。 是状态空间。 是联合动作空间，其中 是智能体的动作空间。 是转移函数。所有智能体共享奖励函数。 是观察空间。

**批量策略优化方法**
为了在保持最佳性能的同时减少训练时间，我们在第4.1节提出了B2MAPO方案，并提供了其最优性的理论保证。在此方案的基础上，第4.2节提出了一个通用的、模块化的、即插即用的层次B2MAPO框架。在B2MAPO框架的较高层次，生成最优的策略组分割并确定它们的顺序是一项必要的功能；然而，这个问题是NP难问题。

**B2MAPO算法**
在本节中，我们介绍了基于B2MAPO框架的算法实现。第5.1节介绍了上层批量序列生成中的随机和启发式方法。第5.2节描述了一种启发式批量排序方法，可以应用于任何批量序列生成方法生成的批量序列的重新排序。最后，第5.3节详细介绍了基于DAG的B2MAPO算法，它不仅提供了完整的实现。

**实验**
在本节中，我们进行了一系列实验来探究以下问题：（1）B2MAPO在复杂的合作环境以及混合合作竞争场景中是否优于同时和顺序策略更新MARL方法？（2）B2MAPO是否比现有算法具有更高的训练和执行效率，并且能否在大规模环境中保持强大的可扩展性？（3）基于DAG的批量序列生成方法是否更优越？

**结论**
总之，我们介绍了B2MAPO，这是一种批量多智能体策略优化方案，配备了离策略校正方法，提供了理论上保证的单调和逐步收紧的界限。在此基础上，我们设计了一个通用的、模块化的、即插即用的B2MAPO层次框架，该框架满足CTDE原则，可以方便地集成任何MARL模型，充分利用并合并它们的优势。在这个框架中，上层支持...

**CRediT作者贡献声明**
Wenjing Zhang：撰写 - 审稿与编辑，撰写 - 原始草稿，验证，软件，资源，项目管理，方法论，调查，形式分析，概念化。
Wei Zhang：撰写 - 审稿与编辑。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
Wenjing Zhang于2022年从哈尔滨工业大学获得学士学位，目前她正在该校的大数据计算实验室攻读博士学位。她的研究兴趣包括多智能体强化学习和多智能体系统。

Wenjing Zhang | Wei Zhang