IBMM++：基于隐式贝塞尔曲线的改进通用动作生成

《Computers & Graphics》：IBMM++: Improved and versatile motion generation with implicit Bézier curves

　　

• •
  改进的骨干网络。采用两阶段自注意力后接交叉注意力方案（取代原有的单一联合序列），使注意力更集中于局部条件并提高约束精度；同时用旋转位置编码（RoPE）替代正弦编码，使模型能够生成长度超出训练序列的序列。
• •
  自适应切线缩放。采用改进的贝塞尔曲线公式，其入切线/出切线不对称，并根据控制点间距进行缩放，从而减少脚部接触点附近的足部滑动。
• •
  随机化约束采样。消除了固定边界帧的要求（仅需要两个任意锚点），实现了运动扩展，并增加了对朝向约束的支持。
• •
  新的推理时方法。包括Top-k注意力掩码（用于密集手柄集）、平滑噪声建模（连续稳定的迭代编辑）以及跨窗口混合（拼接片段间的连续性）。
• •
  新的评估。对交叉注意力和RoPE进行了定量分析，针对朝向控制和运动扩展提供了新的定性结果，并对切线缩放、平滑噪声和Top-k注意力进行了消融实验，在更大且更多样化的内部数据集上进行评估。
• •
  更新的相关工作与讨论。更新了文献综述，纳入相关最新运动生成工作，并讨论了RoPE外推（$～$25%更长的序列）以及一种新的自回归布局工作流。

引言

动画化3D角色仍然是一项具有挑战性且耗时的任务。传统的工具如控制组件和逆向运动学（IK），以及它们的现代学习对应方法[1]、[2]，可以加快单帧姿势的制作。然而，制作令人信服且连贯的运动仍然需要大量的人工努力，几秒钟的动画就需要数百个关键帧。

近年来，生成式运动模型在促进动画任务方面展现了显著进展[3]、[4]。这些模型可以从文本[5]或音乐[6]中生成高质量的人体动作，可以被用来改进动作捕捉[7]、[8]，或帮助传统动画任务如补帧[3]、[9]。然而，尽管它们在生成合理的运动先验方面表现出色，但往往缺乏专业动画工作流所需的细粒度和交互式控制。

尽管运动是每一个关节的3D变换的密集序列，但艺术家通常只控制少得多的控制手柄集。在关节层面，这是通过控制多个关节的控制组件来实现的，例如通过IK。在时间层面，艺术家依赖于关键帧的概念，这些关键帧通过参数曲线插值来构建运动。这些稀疏表示的概念最近已被引入生成式运动设置中，以提高生成运动的质量[10]、[11]和可控性[12]。特别是，贝塞尔运动模型（BMM）[12]通过在艺术家友好的贝塞尔曲线的空间和时间稀疏表示中工作，提供了精确的关节级控制。尽管BMM提供了精确的空间控制，但它仅限于预测固定数量、均匀时间间隔的控制点。这阻碍了艺术家进行细粒度的时间控制，例如在时间上移动控制点或在需要更多细节的区域添加控制点。

在V?geli等人[13]的工作中，我们提出了一个隐式贝塞尔运动模型（IBMM），这是一个专为克服预定义时间步长这一关键局限性而设计的新框架。IBMM在训练过程中隐式学习贝塞尔拟合，适用于任意时间控制点，消除了对数据进行预拟合的需要。因此，IBMM允许艺术家既能精确控制曲线的任何部分，也能进行稀疏级别的制作。除了新的训练方法外，我们还修改了基于Transformer的架构以进一步提高约束精度。最后，我们引入了一种新颖的风格参数——受到现有艺术概念的启发——从高层次捕获全局运动动力学。艺术家可以利用这一控制来实现生成运动的缓入缓出。

通过提供更灵活和精确的控制，IBMM为动画师提供了一种更强大、更直观的工具，弥合了生成能力与艺术控制之间的差距。

尽管IBMM的初步版本[13]建立了任意时间控制，但在迭代式艺术工作流中部署模型时也揭示了某些实际局限性。当同时指定多个手柄时，约束精度会下降——例如在编辑或拼接动捕片段时——因为对附近条件的注意力被远处的条件所稀释。固定的正弦位置编码阻止了模型生成长于训练期间所见序列的序列，而始终要求以首尾帧为条件则妨碍了超出输入边界的运动扩展。最后，在已预测的曲线上简单地添加新控制点可能导致大的突变，破坏迭代编辑。

本扩展版本（IBMM++）针对每一个这样的局限性进行了改进。我们更新了Transformer骨干网络以使用两阶段自注意力后接交叉注意力方案，结合旋转位置编码[14]，使注意力更集中于相关的局部条件并让模型能够外推超出训练序列长度。我们修改了贝塞尔切线公式以使用不对称的入/出切线，并根据控制点间距进行缩放，当控制点在时间上接近时（例如在脚部接触期间）自然会减少足部滑动。我们用随机化约束采样策略取代边界帧对齐，该策略仅需两个任意锚点约束，从而实现了运动扩展。在推理时，我们利用Top-k注意力掩码使模型在存在大量手柄时专注于最相关的附近约束，利用平滑噪声建模使添加新控制点成为连续编辑操作，并利用跨窗口混合维持拼接运动片段间的连续性。我们在补帧任务上评估模型以与[12]进行比较，此外还对每项架构和推理时扩展相对于初步IBMM[13]进行了消融实验。我们在各种指标上定量验证这些改进，并在一个涵盖比LaFAN1[15]更多样化运动的更大内部数据集上进行定性验证。

本扩展版本的贡献如下：

• •
  一个改进的Transformer骨干网络，将交叉注意力和旋转位置编码与不对称的、距离缩放的贝塞尔切线公式相结合，共同提高了约束精度、减少了足部滑动，并实现了超出训练序列长度的生成。
• •
  一种训练时的随机化约束采样策略，消除了固定边界帧的要求，并增加了对朝向约束和运动扩展的支持。
• •
  推理时的机制，如Top-k注意力掩码、平滑噪声建模和跨窗口混合，可扩展到密集约束集、稳定的迭代编辑和拼接的运动片段。

章节摘要

相关工作

在传统运动制作软件如Maya[16]和Blender[17]中合成角色运动的范围限于关键帧设定组件参数和传统插值。[18]构建了一个基于优化的关键帧系统以加速这一过程。最近，研究已转向更复杂的数据驱动生成模型。

早期的数据驱动方法如[15]、[19]采用自回归方法，根据当前状态和一个单一目标来预测密集运动

方法论

IBMM基于BMM[12]，将运动分解为子集关节的参数化（三次）贝塞尔曲线，然后通过学习到的IK模型[1]映射到完整的FK骨架。但不同于贝塞尔控制点之间的固定步长，我们的方法允许任意的时间离散化，如图1所示。通过训练，IBMM有效地学会通过预测可变数量的任意时间贝塞尔控制点来生成可控的运动曲线。在

评估

鉴于需要生成无伪影的运动以及我们对艺术家可控运动生成的关注，我们测量足部滑动和控制手柄精度来分别评估运动质量和对艺术家输入的泛化能力。

直接基于BMM构建，我们定量和定性地将随机化令牌选择相对于其均匀间隔令牌的益处进行比较，以及将我们的运动生成性能与它们进行比较。我们评估了缓入/缓出手柄在改变方面的有效性

讨论

我们的工作在运动扩散中的新见解[10]、[11]、[12]之上构建，即稀疏化输入信号可以提高运动生成，在BMM[12]的情况下还能实现更精确的空间控制。

然而，BMM将艺术家限制为只能在固定的贝塞尔时间间隔处控制姿势——从而限制了可创建的动画类型。

通过IBMM，我们允许任意数量的控制点在任意时间处，消除了这一限制。这不仅增加了

结论

在V?geli等人[13]的工作中，我们引入了隐式贝塞尔运动模型（IBMM）。我们克服了之前的贝塞尔运动模型（BMM）的一个核心局限性，即控制点的固定时间步长。IBMM完全消除了步长的概念，使艺术家能够在任何时间帧约束任何末端执行器关节。

我们还为用户引入了一个新的全局控制：运动全局缓入和缓出的直接手柄。据我们所知，这是第一个全局控制

CRediT作者贡献声明

Dhruv Agrawal：写作 – 审阅与编辑，写作 – 原稿撰写，可视化，验证，方法论。Luca V?geli：可视化，验证，方法论。Dominik Borer：验证。Robert W. Sumner：监督，资金获取。Martin Guay：监督。Jakob Buhmann：写作 – 审阅与编辑，监督。

利益冲突声明

作者声明他们不存在可能影响本论文所报告工作的已知的竞争性经济利益或个人关系。

Dhruv Agrawal|Luca V?geli|Dominik Borer|Robert W. Sumner|Martin Guay|Jakob Buhmann