Mamba-MAGAIL：基于Mamba的多智能体生成对抗式模仿学习方法，用于人群行为模拟

《Neurocomputing》：Mamba-MAGAIL: Mamba-based multi-agent generative adversarial imitation learning for crowd dynamics simulation

　　

周文|邱业辉

中国安徽芜湖市安徽师范大学计算机与信息学院，邮编241002

摘要

由于难以捕捉行人交互中的长时序依赖关系和多样化的运动模式，基于观测轨迹对真实人群动态进行建模仍是一项挑战。现有的多智能体生成对抗式模仿学习方法通常依赖基于MLP的架构，这类架构在处理涉及密集交互、突然的运动变化以及无序行为的复杂场景时表现不佳。我们提出了Mamba-MAGAIL框架，该框架引入了一种时间智能体编码器，将Mamba状态空间模型与因果缓冲机制相结合。该编码器将智能体状态分解为自我动态、交互环境以及外部障碍物三个部分，每部分都经过独立标准化处理，以便实现稳定的特征学习。带有因果屏蔽的时间状态缓冲区能够处理不同长度的轨迹，同时保持时间因果性。Mamba-SSM模块能够高效捕捉序列位置、速度和加速度之间的长时序依赖关系，从而使该框架能够学习到拥挤环境中多样化行人的复杂运动模式。在多个基准数据集上的实验验证表明，该框架在轨迹预测精度和真实度指标方面表现出色。这种基于分解状态表示和时间编码的原理性方法，为多智能体生成建模提供了比传统MLP架构更有效的替代方案。

引言

由于在自动驾驶、机器人导航、智能监控以及虚拟人类交互等领域的广泛应用，人群轨迹建模已成为人工智能、计算机视觉和智能系统领域的重要研究课题。一个可靠的人群模拟框架不仅要能够再现单个行人的空间演化过程，还要能够捕捉多变环境下多个智能体之间的动态交互。随着行人检测和多目标跟踪技术的快速发展，现在可以从视频中提取大量轨迹数据，这为基于学习的群体行为建模提供了重要基础。然而，从有限的观测数据中生成真实且符合物理规律的轨迹仍然是一项艰巨任务，尤其是在拥挤、不确定和异常的场景中。

一个关键难点在于，行人运动是由复杂的潜在规则所控制的，而不仅仅是位置观测值。现实世界中的轨迹会受到个体意图、周围交互、场景限制以及时间演变的影响。因此，当考虑速度和加速度等更高阶的动态因素时，相似的空间轨迹可能对应不同的运动趋势。在实际应用中，尤其是在紧急或混乱的场景中，这些细微的运动差异会极大地影响轨迹生成的真实性与安全性。因此，有效表示和利用这些虽微弱但具有信息量的动态特征，对于实现高质量的多智能体模拟至关重要。

现有的轨迹预测和生成方法[1]、[2]、[3]大致可分为基于规则的方法、基于优化的方法以及数据驱动的学习方法。基于规则的方法严重依赖于人工定义的行为假设，这往往限制了它们在复杂场景中的泛化能力。基于优化的方法虽然可以明确建模交互关系，但通常需要精心设计目标函数，且计算复杂度较高。相比之下，模仿学习提供了一种更为灵活的替代方案，它允许智能体直接从专家示范中学习策略。尤其是生成对抗式模仿学习，在无需显式设计奖励函数的情况下就能有效建模复杂行为，因此很适合用于多智能体人群轨迹生成。

尽管具有这一优势，许多现有的基于MAGAIL的方法仍然使用简单的MLP结构作为特征提取和策略表示的底层架构。这类架构在处理低复杂度映射时效果不错，但其在编码长时序依赖关系和细微运动变化方面的能力十分有限。因此，它们可能无法完全体现行人轨迹中蕴含的固有动态规律，尤其是在存在复杂交互或长时依赖关系的场景中。这一问题促使人们寻求更具表现力的序列建模机制，以更好地支持多智能体人群动态模拟。

近年来，状态空间序列模型因其在保持良好计算效率的同时具备强大的长上下文依赖关系建模能力而受到越来越多的关注。其中，Mamba在多种序列建模任务中展现了出色的性能。其结构化的状态空间机制为在保持高效计算的同时编码时间演化提供了有效手段。从人群行为建模的角度来看，这一特性尤为重要，因为行人轨迹具有序列性、依赖交互关系且处于动态演化之中。因此，将Mamba融入多智能体模仿学习中，有望提升潜在运动知识的表征能力，进而提高轨迹生成的质量。

基于上述观察，本文提出了Mamba-MAGAIL，这是一种基于Mamba改进的多智能体生成对抗式模仿学习框架，用于人群动态模拟。与传统MAGAIL框架不同的是，该方法用Mamba-SSM取代了MLP架构，从而强化了轨迹特征提取和动态表征能力。此外，为了提升专家示范的质量，该框架还采用了基于插值的数值处理方法来构建更精细的轨迹数据，并通过视角变换将图像坐标映射为世界坐标。另外，该框架还引入了多指标约束损失函数，用以共同引导基准轨迹和生成轨迹的优化过程，从而使框架能更好地适应不同的场景条件，生成更为合理的运动路径。

与现有研究相比，本工作的贡献不仅在于在已趋于饱和的基准测试上追求小幅改进，更重要的是，它通过将状态空间序列建模整合到对抗式模仿学习中，探索了一种全新的、以知识为导向的多智能体轨迹生成建模范式。这种整合提升了框架从多种动态因素中编码潜在运动知识的能力，也为模拟真实的人群行为提供了更为强大的表达基础。

本文的主要贡献总结如下：

• 1)
  用于处理状态异质性的基于Mamba的智能体编码器。这种时间状态编码器将Mamba-SSM与因果缓冲机制相结合，可统一处理不同类型的智能体状态（自我动态、交互、外部因素），并捕捉长时序依赖关系，从而替代了基于MAGAIL的模仿学习中的传统MLP架构。
• 2)
  具有标准化智能体表示的MAGAIL框架。该框架将智能体编码器整合到多智能体GAIL架构中，并对各个状态组成部分进行标准化处理和限制，从而在同步训练过程中确保判别器和演员-评论家模块之间能够实现平衡的梯度流动。
• 3)
  针对人群动态的实证验证。实验表明，经过Mamba编码的智能体在标准基准测试中能够更快收敛，且生成的轨迹更加稳定，这证明了基于SSM的智能体建模方法相较于基于注意力机制和RNN的基准方法更具优势。

本文的其余部分结构如下：第2节回顾了人群轨迹建模、模仿学习以及状态空间序列模型方面的相关研究；第3节详细介绍了所提出的Mamba-MAGAIL框架；第4节阐述了数据集、实验设置及评估指标；第5节报告并分析了实验结果；最后，第6节对全文进行总结，并指出未来的研究方向。

章节摘录

相关工作

近年来，由于在自动驾驶、人群模拟以及智能交通系统等领域的重要性，行人及多智能体轨迹规划已成为一个备受关注的研究方向。为了将我们所提出的方法置于当前研究格局中，我们从传统规划方法、强化学习方法以及结合先进序列模型的模仿学习这三个不同视角对相关文献进行了综述。

所提框架的详细说明

本节将详细介绍用于多智能体人群轨迹模拟的Mamba-MAGAIL框架。如图1所示，整个流程主要包括三个阶段：（1）专家轨迹数据的准备；（2）通过所提出的Mamba-MAGAIL网络进行对抗式模仿学习；（3）在虚拟环境中进行下游的多智能体轨迹生成。

在数据准备阶段，需要从真实的行人数据集中提取高质量的专家轨迹，例如

实验部分

本节的主要目标是严格评估所提出的Mamba-MAGAIL框架在多智能体人群模拟和轨迹生成方面的性能。我们旨在通过实验证明，将Mamba状态空间模型整合到该框架中，能够在捕捉密集人群交互中的复杂长时序依赖关系方面带来显著优势。

如第2节所述，传统的人群模拟方法大多依赖于严格的规则驱动

结论

本文提出了Mamba-MAGAIL，这是一种新颖的多智能体强化学习框架，旨在解决人群导航中存在的时间建模和奖励设计难题。通过将Mamba状态空间模型整合到演员-评论家网络和判别器网络中，该框架能够从专家示范中快速提取出复杂的、长时序的行人行为特征。

在ETH/UCY、Grand Central（GC）、Stanford Drone等数据集上进行的大量定量和定性实验表明

CRediT作者贡献声明

周文：论文撰写——初稿创作、可视化处理、验证工作、软件开发、项目管理、方法设计、资金获取、形式分析、数据整理、概念构思。邱业辉：软件开发、资源获取、调研工作。

作者们对所有匿名审稿人提供的宝贵反馈和建议表示衷心感谢，这些意见大大提升了本文的质量。

周文于2018年获得同济大学软件工程学院博士学位。自2018年起，他一直在中国安徽芜湖市的安徽师范大学计算机与信息学院工作，自2021年起担任副教授。此外，他还是中国图形学会的高级会员、IEEE会员以及中国计算机学会的成员。他的研究兴趣包括强化学习、数据可视化、虚拟现实、基于草图的