基于跨门控注意机制和肢体交互的 holistic 共话语运动生成方法

《Expert Systems with Applications》：Holistic Co-Speech Motion Generation via Cross-Gated Attention and Cross-Limb Interaction

　　陆子翔|盛志翔|何志通|高平|李云岚|苗启光西安电子科技大学计算机科学与技术学院，中国陕西省西安市西丰路星龙段266号，邮编710126

摘要
共言语手势生成旨在合成与口语内容在时间上对齐的面部表情和身体手势，并展现出真实的情感表达。然而，现有方法通常难以在不同身体部位之间保持情感一致性和整体协调性。在本文中，我们提出了一种基于情感的共言语手势生成框架，该框架在统一架构内联合建模面部表情和全身手势。通过将情感信息作为高层全局语义先验，所提出的方法有效地整合了语音内容、说话者特征和情感语义。为此，我们设计了一种基于情感的跨门控注意力机制，以捕捉语音、文本和情感信号之间的细微交互，并引入了一种跨肢体交互建模策略，以明确建模局部肢体交互和整体身体协调性。此外，还结合了一个基于状态空间的时间建模模块，以高效且稳健地捕捉动作序列中的长距离依赖关系和微妙动态变化。在对BEAT2数据集进行的广泛定量评估和用户研究显示，所提出的方法在动作自然性、时间连贯性、结构合理性和表达多样性方面始终优于现有先进方法。更多可视化结果请访问：https://hgeneration.github.io/HG/。

引言
人类交流本质上是一个高度多模态的行为过程（Xue等人，2025年）。语音传达语义信息以及节奏、重音和情感等线索。这些信号与手势、面部表情和身体动作在时间上高度同步，共同形成了自然且富有表现力的交流行为。因此，生成受语音调控、具有语义一致性、情感连贯性和全身协调性的人体动作已成为具身智能、虚拟人、数字内容生成和人机交互领域中的核心研究问题（Chen等人，2025年；Kim, Chang, Kim, & Lee，2024年；Zhang等人，2025b年）。近年来，在人体动作生成方面取得了显著进展。早期的方法（Kucherenko, Hasegawa, Henter, Kaneko, & Kjellstr?m，2019年；Li等人，2021a年；Medina等人，2022年；Yi等人，2023年）主要依赖单模态建模来捕捉输入信号与动作动态之间的映射，实现了语义和动作之间的粗粒度同步。然而，这些方法往往忽略了与语言节奏和时间结构相关的限制，导致生成的动作缺乏清晰的节奏线索，容易产生时间不稳定性和无信息量的表达。为了克服这些局限性，后续研究（Liu, Ghaleb, Ozyurek, & Yumak，2025a年；Peng, Zhang, & Zhang，2024年；Zhi等人，2023年）结合了音频和文本信息，旨在通过联合建模语音韵律和语言内容来增强语义合理性。然而，大多数现有方法仍然采用简单化的多模态融合策略，如特征串联和单阶段门控机制，这些方法难以在细粒度时间尺度上精确对齐语音节奏与语言语义。当跨模态相关性较弱或输入数据嘈杂时，这些融合方案往往会引入额外干扰，从而削弱生成动作的稳定性和自然性。情感在人体动作生成中的调节作用也长期被低估。情感不仅塑造了语音的韵律模式，还在更高层次上影响了身体动作的幅度、速度和整体表达风格。情感线索的缺失或减弱会进一步降低动作的一致性和表现力（Peng等人，2023年）。为了增强动作细节和表达的丰富性，许多最新方法采用了基于部分的建模策略，将面部、手部、上半身和下半身的动作编码到独立的潜在空间中（Ghosh, Cheema, Oguz, Theobalt, & Slusallek，2021年；Liu等人，2024a年；Xu等人，2024a年）。尽管这种设计提高了局部动作细节的保真度，并允许对各个动作子空间进行细粒度控制，但它通常削弱了跨肢体依赖性的显式建模，因为在解码和生成过程中不同身体部位被视为相对独立。然而，人体动作本质上受到各部位之间强烈运动学和物理耦合的支配，其中上肢、下肢和躯干在时间和空间上都紧密相关（Thiebaut de Schotten & Forkel，2022年）。没有有效的跨肢体交互机制，基于部分的模型 tend to 生成在局部上合理但在整体上不一致的动作。这一限制在大幅度或复杂的全身动作中尤为明显，累积的不一致性会导致时间错位或违反物理合理性。同时，状态空间序列建模的最新进展为高效的长距离时间建模提供了有希望的方向。特别是，Mamba Gu & Dao（2024年）在捕捉序列生成任务中的长距离依赖关系和微妙时间变化方面表现出强大能力，并且最近也被用于人体动作生成的研究中。这些特性使其成为建模语音驱动动作时间动态的潜在选择。然而，直接将Mamba作为整体全身动作生成的统一时间模型并不简单。我们的实证分析表明，这种直接采用可能会引入明显的时间抖动。一个可能的原因是全身动作涉及不同身体部位之间复杂且强耦合的运动学关系。上肢、下肢和躯干在时间和空间上表现出显著的相关性，没有显式结构约束的单一全局时间建模机制可能会放大部分间的不一致性，从而导致随时间的不稳定局部振荡。相比之下，面部动作通常表现出更强的局部性、更平滑的时间连续性和较弱的跨部分运动学依赖性。在这种条件下，Mamba更适合捕捉微妙和平稳的时间变化，特别适合增强面部动作的细粒度动态表现力。为了解决这些挑战，我们提出了一个基于情感的全面共言语人体动作生成框架。核心思想是进行三个层面的系统设计：多模态融合、情感建模和跨肢体交互。首先，我们引入了一种基于情感的跨门控注意力（EC-CGA）模块，该模块基于模态特定的自注意力并结合了具有门控机制的情感感知跨模态注意力。这种设计使得语音节奏、文本语义和情感线索能够在细粒度时间尺度上动态对齐和互补融合。其次，为了缓解基于部分建模引起的全局协调性不足问题，我们设计了一个分层跨肢体交互模块（CLIM）。该模块首先基于运动链执行方向感知的局部消息传递，然后通过部分级全局注意力聚合跨部分上下文信息，最后通过残差门控自适应注入全局线索，从而显著提高整体动作的一致性和稳定性，同时保留局部表现力。此外，由于面部动作对细粒度时间连续性和动态局部变化的高度敏感，我们在面部生成分支中加入了Mamba模块，以更有效地捕捉微妙的时间变化。这增强了面部表情的细粒度动态表现力。最后，我们在统一的时间建模框架内共同优化了面部、手部、上半身和下半身的潜在表示，使得模型能够生成在节奏、语义、情感和空间协调性方面高度一致的全身动作序列。

本文的主要贡献总结如下：
- 提出了一种EC-CGA融合机制，能够实现语音、文本和情感信息的细粒度时间对齐。
- 我们设计了一个分层CLIM，有效缓解了基于部分动作建模引起的全局协调性问题。
- 我们构建了一个统一的全身动作生成框架，并在BEAT2数据集（Liu等人，2024a年）上进行了广泛实验，证明了我们的方法达到了先进性能。

本文的其余部分组织如下。第2节回顾了语音驱动人体动作生成的相关工作。第3节介绍了所提出的基于情感的全面动作生成框架。第4节展示了实验设置、定量和定性结果以及使用BEAT2数据集进行的消融研究。最后，第5节总结了本文并讨论了未来的工作。

人类动作生成是计算机图形学、计算机视觉和具身智能领域的一个重要研究方向，通常可以分为基于回归的判别方法和基于生成模型的方法（Zhu等人，2023年）。前者（Cervantes, Sekikawa, Sato, & Shinoda，2022年；Le等人，2023年；Tevet, Gordon, Hertz, Bermano, & Cohen-Or，2022a年）直接在监督学习范式下学习将输入条件映射到目标动作序列。

方法
我们提出了一个基于情感的全面人体动作生成框架，旨在通过结合多模态融合和显式的跨肢体交互建模来合成连贯且协调的动作。在深入技术细节之前，第3.1节首先提供了所提出框架的概述。第3.2节介绍了本研究的初步内容。在这些基础上，第3.3节详细介绍了基于情感的跨模态节奏-语义对齐模块。

数据集
BEAT2是由EMAGE Liu等人（2024a年）提出的一个高质量共言语手势数据集，基于原始的BEAT数据集（Liu等人，2022b年）。它包含大约60小时的数据，来自25位说话者（12名女性和13名男性），包含1,762个序列，配有高质量的手指和细粒度动作注释。在我们的实验中，数据集被分为训练集、验证集和测试集，比例为85% / 7.5% / 7.5%。此外，为了确保与提出的方法进行公平比较...

结论
我们开发了一个基于情感的语音驱动人体动作生成框架，该框架在统一架构内联合建模面部表情和全身手势，实现了语音内容、说话者特征和情感语义的有效融合。通过将情感信息作为高层全局语义先验，并结合EC-CGA机制和分层身体交互建模策略，所提出的方法能够适应性地调节动作...

CRediT作者贡献声明
陆子翔：撰写 - 审阅与编辑、撰写 - 原始草稿、软件、方法论、调查、形式分析、资金获取、概念化、资源、监督。
盛志翔：撰写 - 原始草稿、概念化、方法论、数据管理、可视化。
何志通：撰写 - 审阅与编辑、可视化、调查。
高平：撰写 - 审阅与编辑、资源、监督。
李云岚：撰写 - 审阅与编辑、软件、验证。
苗启光：...

利益冲突声明
作者声明以下可能的财务利益/个人关系可能会被视为潜在的利益冲突：陆子翔报告称获得了中国国家自然科学基金会的财务支持。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。