MADM：结合Mamba模型与自回归扩散技术实现文本到动作生成

《Pattern Recognition》：MADM: Bridging Mamba and autoregressive diffusion for text-to-motion generation

　　葛一辰|李成阳|朱丽萍|高健|林晓杰•MADM将Mamba与自回归扩散模型结合，用于文本到运动的生成。•令牌重排序使得Mamba能够高效地建模双向上下文。•SASA模块提升了语义对齐性，并增强了局部运动的平滑度。

引言
文本驱动的人类运动生成旨在从自然语言描述中合成真实且语义一致的运动序列。对于计算机动画、虚拟现实以及人形机器人等领域而言，生成自然且可控的运动至关重要；然而，这一任务面临着三大挑战。首先，建模长距离依赖关系在计算上要求很高，因为人类运动通常涉及数百帧，模型需要在保持计算效率的同时捕捉较长的时间上下文。其次，由于语言与运动之间存在固有的多对多映射关系，一个动作可能由多个句子描述，反之亦然，因此实现精确的语义对齐十分困难。第三，仅有全局一致性并不足以确保局部依赖性和空间合理性；即便整体序列在语义上是正确的，缺乏短期时间连贯性往往也会导致局部出现不自然或不一致的运动伪影。

为了解决这些挑战，现有研究将自回归Transformer[1]引入运动生成领域。例如，T2M-GPT[2]利用VQ-VAE将连续运动编码为离散令牌，再借助预训练的生成式Transformer（GPT）进行因果自回归建模。MoMask[3]和BAMM[4]进一步通过采用掩码建模范式结合双向注意力机制，提升了语义一致性和运动连贯性。然而，这些方法存在显著局限性：自注意力的二次复杂度限制了其在运动序列处理上的效率和可扩展性，而向量量化过程不可避免地会导致信息损失，从而影响生成运动的真实性。

与此同时，作为状态空间模型[7]的Mamba[5][6]在语言和视觉领域的长序列任务中表现出色，这得益于其线性复杂度和高效的时间建模能力。Mamba在基于扩散的运动生成框架[8][9]中也展现出了潜力。但如图2所示，其单向扫描的特性限制了其在依赖过去和未来帧双向上下文的掩码自回归范式中的应用。尽管有一些方法[9]试图通过序列反转和拼接来模拟双向性，但这会使序列长度翻倍，大幅增加计算成本，进而降低Mamba的效率。此外，无论是基于Transformer的方法还是基于Mamba的方法，往往都侧重于全局时间建模，而忽视了运动的空间结构及短期依赖关系，这可能导致运动在空间上不合理或局部不平滑。这就引出了一个关键问题：我们能否设计一种既保留Mamba高效性，又能确保语义对齐和局部连贯性的文本到运动掩码自回归框架？

为此，我们提出了基于Mamba的自回归扩散模型（MADM）。首先，我们设计了掩码自回归Mamba（MAM），它通过令牌重排序策略实现高效的双向上下文建模，从而使Mamba能够在不增加复杂度的情况下适配掩码自回归框架。其次，我们设计了语义感知空间增强（SASA）模块，该模块通过逐时间步的门控机制实现对文本特征的精细感知和对齐，从而显著提升语义一致性。此外，它还利用轻量级卷积来捕捉局部时间连续性，进而提高空间感知能力和局部平滑度。最后，我们加入了扩散头，直接对连续运动空间进行建模，避免向量量化带来的损失，从而生成自然且平滑的运动。在HumanML3D[10]数据集上，MADM的R精度（Top-1）达到了0.514，FID值则为0.052，如图1所示；在KIT-ML[11]数据集上，它的R精度（Top-1）也为0.389，FID值为0.336，充分体现了其有效性和泛化能力。

本文的主要贡献如下：
•我们提出了掩码自回归Mamba（MAM），该模型采用了一种新的令牌重排序策略，可实现高效的双向上下文建模。这一设计使得Mamba能够完全适配掩码自回归框架，且不会增加计算复杂度。
•我们开发了语义感知空间增强（SASA）模块，该模块通过逐时间步的门控机制实现精细的语义感知和对齐，同时利用轻量级卷积捕捉局部时间连续性，从而显著提升空间感知能力和局部平滑度。
•我们在自回归框架中加入了扩散头，形成了完整的基于Mamba的自回归扩散模型（MADM）。该架构直接对连续运动空间进行建模，避免了向量量化损失，在HumanML3D和KIT-ML两个基准测试中均取得了最优性能。

片段摘录
文本到运动生成
文本到运动生成的目标是从自然语言描述中合成语义一致、合理且真实的人类运动。现有的方法主要分为基于扩散的和基于自回归的两类。受DDPM[12][13]启发的基于扩散的方法已被广泛应用于运动生成领域。MDM[14]和MotionDiffuse[15]直接对高维运动序列进行扩散处理，虽然能生成高质量的运动，但采样速度较慢。MLD[16]

初步说明
问题定义。给定一个文本输入T，任务是生成一个在语义上一致且在时间上连贯的人类运动序列M={m1,m2,…,mT}，其中mt∈RD表示第t帧的姿态表示，D为特征维度。从形式上讲，我们将生成过程建模为条件分布p(M|T)。在推理过程中，模型通过从p(M|T)中采样来生成运动序列M?。

框架。如图3所示，我们提出的框架由两个核心部分组成。

数据集
我们在两个标准基准测试数据集上评估了我们的方法：HumanML3D[10]和KIT-ML[11]，并将结果与现有的最先进文本到运动生成方法进行了比较。

HumanML3D。HumanML3D[10]基于AMASS[36]和HumanAct12[37]构建，包含14,616个运动序列以及对应的44,970个文本描述。我们遵循[10]中规定的标准数据分割方案。值得注意的是，如图8所示，长序列在数据集中占比很大。为了专门评估……

结论
我们提出了MADM，这是一种将Mamba与自回归扩散模型相结合的新兴框架，用于文本到运动生成。首先，我们设计了掩码自回归Mamba，它通过一种新的令牌重排序策略实现高效的双向自回归建模，从而解决了运动序列中长距离依赖关系建模的难题。其次，语义感知空间增强模块将文本特征和运动特征相融合，以提升语义对齐性，同时还……

CRediT作者贡献声明
葛一辰：撰写——初稿、方法论部分。李成阳：撰写——审阅与编辑、监督、资源提供。朱丽萍：方法论部分。高健：可视化、验证工作。林晓杰：可视化、验证工作。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金青年科学基金（编号：62502538）、油气重大专项（编号：2025ZD1404600）以及北京石油大学科学基金（编号：2462025YJRC006）的支持。