MeMAT：具有深度长期记忆、短期记忆和持久记忆的多智能体变换器

《Neurocomputing》：MeMAT: Multi-agent transformer with deep long-term memory, short-term memory, and persistent memory

　　孙洁洁|金伟强|张宇|刘贵忠中国陕西省西安710049，西安交通大学信息与通信工程学院创新港摘要在部分可观测多智能体系统中进行学习仍然具有挑战性，因为长期交互和协调行为难以建模。传统的多智能体强化学习方法通常依赖有限的记忆或简单的循环网络，难以捕捉复杂的时序依赖关系。为了解决这一限制，本研究提出了带有记忆的多智能体Transformer模型（MeMAT），这是首个将深度神经长期记忆整合到在线多智能体强化学习中的框架。与以往依赖压缩向量值记忆（RNNs）或未压缩矩阵值记忆（Transformers）的方法不同，MeMAT引入了一种不同的记忆范式：一种深度MLP，其参数通过惊讶驱动的更新来编码压缩后的历史经验，同时结合持久记忆用于存储任务先验，以及短期记忆用于即时协调。此外，还研究了三种记忆交互变体：带有上下文记忆的多智能体Transformer（MeCMAT）、带有门控记忆的多智能体Transformer（MeGMAT）以及带有记忆层的多智能体Transformer（MeLMAT），每种都采用了不同的记忆访问策略。在StarCraft多智能体挑战赛和Google Research Football基准测试上的大量实验表明，MeMAT在超难场景下表现优于强大的基线模型。消融实验进一步表明，这三种记忆组件在长期决策中起着互补作用。MeMAT的实现代码可在https://github.com/suneexxhh/MeMAT上获取。引言多智能体强化学习算法在解决复杂的序列决策任务中发挥着关键作用，它们通过建模多个智能体及其共享环境之间的交互来实现这一目标。这一范式已在多个领域得到广泛应用，包括自动驾驶、交通管理、无人机控制以及游戏系统等。在多智能体强化学习中，部分可观测性始终是一个根本性的长期挑战，因为每个智能体只能感知自己视野范围内的实体信息，而无法获取完整的全球状态。这一限制严重阻碍了智能体之间建立有效的长期协调。为了解决这个问题，带有记忆增强的多智能体强化学习框架提供了一个有希望的方向，它通过提供专门的记忆机制来存储和检索过去的经验，从而提升协同决策能力。在多智能体强化学习中，记忆机制起着至关重要的作用，尤其是在部分可观测性、动态环境以及复杂智能体交互的情况下。通过引入明确的记忆结构，智能体能够根据认知科学中的“工作记忆”概念有效地存储、检索和推理过去的经验。这种能力对于做出明智的决策至关重要，它也反映了人类认知方式，即人们利用积累的经验在新的情况下产生适应性行为。有效的记忆模块不仅能让智能体回忆起自己的观察历史，还能让它们在多智能体强化学习中模拟、预测并适应其他智能体的行为。如图1所示，在StarCraft多智能体挑战赛场景中，智能体从共享的工作记忆中获取信息，该工作记忆整合了任务先验、个体经验和团队经验，从而实现协同决策。尽管记忆在多智能体强化学习中起着核心作用，但设计出适合且高效、专为多智能体强化学习定制的记忆结构仍然是一个重大的挑战，也是当前的研究热点。多智能体强化学习方法通常通过引入记忆机制来增强局部观察能力，从而捕捉决策中的时序依赖关系。大多数现有方法依赖RNNs（如LSTMs、GRUs）将历史数据压缩为固定大小的向量值状态。虽然这种方式能够实现高效的序列建模，但如此紧凑的表示形式无法有效捕捉非常长的上下文，从根本上限制了处理长期依赖关系的能力。与此同时，也有几种方法通过整合基于Transformer的模型和明确的工作记忆模块（如基于槽的结构、内容寻址记忆）来扩展带有记忆增强的架构，从而提升智能体在任务间的协作、协调和泛化能力。然而，基于Transformer的模型仍将历史数据作为未压缩的矩阵值记忆存储在固定的上下文窗口内，因此存在时间复杂度和内存复杂度呈二次方增长的问题。此外，这种记忆仍然是浅层且短期的，缺乏在长时间范围内压缩和保留知识的能力。这一限制在多智能体信用分配问题上尤为突出，因为在部分可观测性条件下，智能体必须回顾性地将延迟的团队奖励归因于过去在空间和时间维度上的各种行为。为了解决现有记忆方法的局限性，Behrouz等人最近提出了一种神经长期记忆机制。如图2所示，与向量值隐藏状态或矩阵值上下文窗口不同，Titans的长期记忆是通过深度神经网络（如MLPs）实现的，这类网络可以被更新和查询，充当元上下文学习器，从而更有效地捕捉长期依赖关系。此外，他们还提出了Titans及其三种变体，其中长期记忆分别以以下形式融入模型：(i)上下文形式，(ii)层结构形式，以及(iii)门控分支形式。尽管Titans在语言建模和通过自适应神经记忆进行推理等领域展现出了出色的性能，但它尚未在多智能体强化学习领域得到研究和评估。这一缺失值得注意，因为多智能体强化学习需要能够支持去中心化行动生成、智能体间依赖关系建模以及部分可观测性条件下的协调能力的记忆机制。Titans通过提供一种将任务先验、历史经验以及协作策略整合到多智能体强化学习中的原理性方法，满足了这一需求。因此，它非常适合用来解决多智能体强化学习中的核心问题，如部分可观测性、长期信用分配以及非平稳性问题。受此启发，本文提出了一种适用于部分可观测性条件下的多智能体强化学习新框架——带有记忆的多智能体Transformer模型（MeMAT）。MeMAT是一种编码器-解码器框架，其中的记忆系统能够捕获多尺度多智能体强化学习信息：持久记忆用于编码全局任务先验，长期记忆用于存储压缩后的历史经验，而短期记忆则用于动态建模智能体之间的即时协调交互。一个关键问题是如何最佳地整合这种长期记忆。为此，本文介绍了三种变体并进行了评估：(1)带有上下文记忆的多智能体Transformer（MeCMAT），它将长期记忆的输出视为额外的上下文，并将其与输入序列拼接在一起，供注意力模块使用；(2)带有门控记忆的多智能体Transformer（MeGMAT），它利用长期记忆生成一个门控向量，用以调节网络内的中间表示；(3)带有记忆层的多智能体Transformer（MeLMAT），它将长期记忆作为一个独立的并行处理层，其输出与观察嵌入值拼接后作为Transformer编码器的输入。我们在StarCraft多智能体挑战赛和Google Research Football基准测试上进行了大量实验。实验结果表明，MeCMAT在超难场景下表现优于强大的基线模型，这证明了结构化的多尺度记忆机制能够提升多智能体系统中的长期协调能力。本文的主要贡献如下：•我们提出了MeMAT，这是一种具有多尺度记忆架构的新型多智能体Transformer框架，其中的长期记忆、短期记忆和持久记忆机制通过专用模块相互作用，以捕捉不同时间尺度上的时序依赖关系。•我们系统地研究了三种记忆整合策略，即MeCMAT、MeGMAT和MeLMAT，分析了如何将长期记忆有效地融入基于Transformer的多智能体强化学习中。•我们在StarCraft多智能体挑战赛和Google Research Football基准测试上进行了大量实验，结果表明在各类变体中MeCMAT的表现最佳，且优于众多代表性基线模型，消融实验进一步证实了长期记忆和持久记忆的互补作用。本文的其余部分结构如下：第2节介绍正式背景，第3节回顾相关研究，第4节介绍MeMAT框架及伪代码，第5节报告实验结果，最后第6节对本文进行总结并指出未来的研究方向。章节片段初步介绍本节介绍了协同多智能体强化学习问题（2.1节），从统一的读写视角回顾了现有序列模型的记忆限制（2.2节），并介绍了MeMAT所基于的Titans神经长期记忆机制（2.3节）。相关研究在多智能体强化学习中为智能体配备记忆机制的现有方法大致可分为两类。一类基于向量值记忆模型（如RNNs[34]、LSTMs[45]、GRUs[46]），另一类基于矩阵值记忆模型（如Transformers[37]），这两种模型各自具有不同的表征能力和可扩展性权衡。带有记忆的多智能体Transformer为了将多尺度记忆机制整合到多智能体强化学习中，本研究提出了带有记忆的多智能体Transformer模型（MeMAT）。该框架灵感来源于记忆增强型神经网络的进展[36]，并且建立在[4]中提出的序列决策范式之上。在这一范式中，Transformer架构被用作一种序列到序列的模型，它可以将一系列联合观察结果映射为一系列相应的动作。所提出的MeMAT框架采用了一种实验设计这些实验旨在探讨以下问题：•所提出的MeMAT框架，尤其是MeCMAT变体，与最先进的多智能体强化学习基线模型相比表现如何？•包括MeCMAT、MeGMAT和MeLMAT在内的不同记忆交互机制的相对有效性如何？•长期记忆、短期记忆和持久记忆这三种独立记忆组件对MeMAT整体性能的重要性有多大？为了解答这些问题，结论本文提出了MeMAT，这是一种将结构化的多尺度记忆机制整合到基于Transformer的多智能体强化学习中的框架。该框架由三个专用组件构成：通过惊讶驱动的更新来保留重要历史信息的长期记忆，通过自注意力机制来建模智能体近期状态及智能体间交互的短期记忆，以及用于编码稳定任务特定先验的持久记忆。实验结果表明，记忆的整合方式对系统性能有着重要影响。代码可用性与可复现性MeMAT的实现代码可在https://github.com/suneexxhh/MeMAT上获取，代码版本为v1.0。该仓库包含了环境配置、依赖项说明、训练和评估脚本、随机种子设置以及重现本文中所报告主要结果的指南。作者贡献声明孙洁洁：写作——审稿与编辑，写作——初稿撰写，可视化，验证，方法论，研究，形式分析，概念构思。金伟强：写作——审稿与编辑。张宇：形式分析。刘贵忠：写作——审稿与编辑，指导。利益冲突声明作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。孙洁洁目前是中国陕西省西安交通大学信息与通信工程专业的博士候选人，她在中国农业大学获得了信息与通信工程硕士学位。她的研究兴趣包括多智能体强化学习、智能决策以及图神经网络。