利用掩码多智能体自编码技术实现多智能体强化学习的基线学习

《Neural Networks》：Learning to Ground Multi-Agent Reinforcement Learning with Masked Multi-Agent AutoEncoding

　　摘要：在多智能体强化学习中，数据效率一直是个突出的瓶颈，尤其是在部分可观测性条件下，每个智能体只能依据有限的局部观测信息来做出决策。现有的方法往往难以充分利用智能体间的共享潜在结构，从而导致收敛速度缓慢。我们提出了掩码多智能体自编码（MMAAE）这一全新的自监督表示学习框架，适用于集中训练、分散执行的多智能体强化学习场景。MMAAE引入了双空间掩码机制，同时在原始观测空间和 Learned表示空间中进行随机掩码处理与重构操作。通过使用非对称自编码器来重构被掩码的观测值，并借助对比目标函数将重构后的特征与目标表示对齐，MMAAE迫使编码器捕捉到智能体间的强关联以及全局状态信息。关键在于，这项辅助任务是与策略一起优化的，无需额外的环境交互。我们将MMAAE与常见的多智能体强化学习模型（MAPPO和MAT）相结合，并在SMAC、多智能体MuJoCo以及MAQC等多种测试基准上进行了评估。实验结果表明，MMAAE显著提升了样本效率，使达到阈值的时间缩短了多达42%，早期训练阶段的AUC值提升了多达38%，同时其最终性能可与强大的基准模型相媲美甚至更优。消融实验进一步证实，双掩码策略至关重要，因为单独去除观测空间或表示空间的掩码都会导致性能大幅下降。

引言：多智能体强化学习使得智能系统能够在机器人领域（Chen等人，2022；Deitke等人，2020）以及游戏领域（Berner等人，2019）处理复杂的协作任务。然而，数据效率仍然是一个根本性的挑战，特别是在部分可观测性条件下，智能体必须从有限的局部信息中推断出全局状态。在现实应用中，数据收集成本很高——每一次物理交互都可能带来硬件损耗、时间浪费或安全风险——因此需要能够从有限的环境交互中快速学习的算法。传统的多智能体强化学习方法通常采用策略梯度或价值优化技术对神经网络进行端到端优化。尽管这种思路符合常规的多智能体强化学习设计，但它存在一个重大缺陷：来自强化学习目标的梯度信息主要用于优化动作决策模块（如最后的MLP层），而编码器组件则主要负责提供信息，而非直接参与决策制定。因此，由于无法充分利用智能体局部观测中固有的共享信息结构，传统方法在数据效率方面往往表现不佳，尤其是在状态空间庞大、观测信息稀疏且智能体间依赖关系复杂的环境中。一个显而易见的思路是，要让编码器学习到更丰富的信息，就需要有针对性地设计表示学习任务。虽然近期的表示学习方法（Anonymous，2024；Dom和Prasant，2024；Guan等人，2022；Song等人，2023）旨在学习紧凑的表示形式，但它们尚未充分运用自监督学习，将表示形式与底层环境动态联系起来，并从部分观测信息中构建结构化的理解。为了解决这些难题，我们提出了掩码多智能体自编码（MMAAE），这是一种适用于集中训练、分散执行的多智能体强化学习的自监督表示学习框架。MMAAE采用了双空间掩码机制，同时对原始观测数据和潜在表示进行操作。如图1所示，该方法在两个空间中分别进行独立的掩码处理，随机划分并重构智能体的观测数据，从而迫使模型深入理解环境的底层结构。独立的掩码处理增加了重构难度，减少了无关信息的泄露，从实验上提升了学习的稳定性并增强了模型的鲁棒性。通过将多智能体强化学习优化目标与掩码自编码损失相结合，MMAAE确保所学到的表示既包含丰富信息，又能与协作目标保持功能一致性，从而在不增加额外环境交互的情况下提升数据效率。MMAAE被设计为一个可插入模块，能与常见的多智能体强化学习模型（MAPPO和MAT）兼容。通过在多种测试基准（SMAC、多智能体MuJoCo以及MAQC）上的广泛评估，我们证明了MMAAE能够提升样本效率，使达到阈值的时间缩短最多42%，早期训练阶段的AUC值提升最多38%，同时仅带来适度的计算开销（大约增加35% - 45%的墙钟时间）。这些优势在数据收集成本较高的领域，如多机器人协作和基于视觉的多智能体决策制定中，具有实际意义。我们的主要贡献如下：1. 我们提出了一种基于双空间掩码建模的、适用于集中训练、分散执行的多智能体强化学习的自监督框架，该框架在观测空间和表示空间中分别进行独立掩码处理，并优化联合重构 - 对比目标函数。2. 我们设计了一种非对称自编码模块，可接入标准的多智能体强化学习模型（MAPPO/MAT），能在不改变推理时输入的情况下提升编码器的质量。3. 我们提供了基于样本效率指标的定量评估、大量对比实验以及组件消融实验，阐明了双掩码机制在何时以及为何能发挥作用。4. 我们分析了计算开销，并证明了在实际的多智能体强化学习应用中，墙钟时间成本与交互效率之间存在良好的平衡关系。

章节摘录：样本效率在多智能体强化学习中，样本效率一直是个关键问题，因为智能体之间的交互复杂性往往会导致高样本复杂度。近期有一些研究提出了各种解决此问题的方法。例如，Qihan等人（2024）提出了MAZero，这是一种基于模型的多智能体强化学习算法，它结合了蒙特卡洛树搜索技术，以提高确定性环境中的样本效率。Linjie等人（2024）认为提高重放比率有助于提升样本效率。

分散式部分可观测马尔可夫决策过程：合作型多智能体强化学习问题可以被正式建模为分散式部分可观测马尔可夫决策过程（Dec-POMDPs，Oliehoek和Amato，2016）。一个Dec-POMDP由元组（N,S,{Ai},T,R,Ω,O,γ）定义，其中：•N={1,?,n}表示智能体集合•S代表状态空间•A=×iAi表示联合动作空间•T:S×A→Δ(S)规定了状态转移概率：T(s,a,s′)=P(s′∣s,a)•R:S×A→R表示共享的奖励函数•Ω:S×A→Δ(O)定义了观测值。

方法论：当前的多智能体强化学习方法通常采用策略梯度或价值优化技术，以端到端的方式优化整个神经网络。虽然这种思路符合传统的多智能体强化学习算法设计，但它存在一个重大局限：从强化学习目标中得到的梯度信息，本质上是为了优化智能体神经网络中的动作决策模块。

环境设置：为了全面验证我们所提出算法的有效性，我们遵循主流多智能体强化学习基准方法的评估规范，在三种不同的环境中进行了实验：具有视觉输入的多智能体四旋翼飞行器控制（MAQC，Panerati等人，2021）环境、多智能体MuJoCo环境（de Witt等人，2020），以及星际争霸多智能体挑战（SMAC，Samvelyan等人，2019）环境。下面我们将对这些环境进行详细说明。

结论：在本文中，我们提出了掩码多智能体自编码（MMAAE），这是一种全新的自监督表示学习框架，旨在解决集中训练、分散执行的多智能体强化学习中样本效率这一关键问题。通过引入一种同时在原始观测数据和潜在表示上运行的双空间掩码机制，MMAAE促使智能体从部分观测信息中学习到全局一致且稳健的表示形式。与那些仅关注潜在空间的现有方法不同……

CRediT作者贡献声明：冯明晓：撰写——初稿、可视化、验证、方法论、研究、形式分析、数据整理。刘琳：撰写——审阅与编辑、指导、资源协调、研究。周文刚：撰写——审阅与编辑、指导、项目管理、方法论、资金筹集。李厚强：撰写——审阅与编辑、指导、资金筹集。

利益冲突声明：作者声明不存在任何已知的可能影响本文所述工作的财务利益或个人关系。

致谢：本研究得到了中国国家重点研发计划（2022ZD0119802）以及中国科学院青年创新促进会的支持。同时，也得到了中国科学院大学MCC实验室的GPU集群的支持。

冯明晓|刘琳|周文刚|李厚强