HumanBBD：基于布朗桥扩散的人体运动预测

《Neurocomputing》：HumanBBD: Human motion prediction with brownian bridge diffusion

　　张一鸣|韩宝佳|王伟辰|李希明|福斯托·朱恩基利亚|杨波|庞伟|冯晓月|关仁楚中国长春市吉林大学计算机科学技术学院，教育部符号计算与知识工程重点实验室，邮编130012

摘要：基于扩散的方法在随机人类运动预测方面展现出巨大潜力，但现有方法通常将任务视为从高斯噪声出发的条件扩散过程。这导致了高斯先验与条件未来运动流形之间的显著分布不匹配，增加了逆向推断的难度，且往往需要大量去噪步骤。尽管标准的布朗桥扩散提供了一种更具条件感知能力的替代方案，但它将终点固定为确定性目标，导致终端点方差为零，可能限制其模拟人类未来运动的随机性和多模态特性。为解决这些问题，我们提出了HumanBBD，这是一种用于随机人类运动预测的广义布朗桥扩散框架。HumanBBD明确构建了观测运动域与未来运动域之间的桥梁过程，从而减少初始化不匹配，并实现更强的条件感知生成。此外，通过将零方差终端点改为分布型终端点，HumanBBD提升了桥梁扩散在模拟多模态未来时的灵活性和表达能力。在此基础上，我们进一步开发了一种统一的时空生成架构，能够同时捕捉长距离时间动态和关节间的结构化空间依赖关系。在HumanEva-I、Human3.6M和AMASS数据集上的广泛实验表明，HumanBBD仅需5–10次逆向步骤即可实现出色的预测性能，相比传统基于扩散的方法大幅提高了采样效率。全面的实证分析进一步验证了该框架的有效性、高效性及鲁棒性。总体而言，HumanBBD为随机人类运动预测提供了一种高效且有效的标准条件扩散替代方案。

引言：人类运动预测是计算机视觉领域的一个基础问题，在人机交互[1]、自动驾驶[2]、虚拟/增强现实[3][4]以及动画制作[5]等领域有着广泛的应用。通过从观测序列中预测未来运动，人类运动预测提升了系统的响应能力、安全性及用户体验。例如，自动驾驶车辆依靠运动预测来预判行人行为以避免碰撞，而虚拟和增强现实系统则通过具备运动感知能力的反馈实现更流畅的交互。在动画制作中，人类运动预测可通过自动生成逼真的运动连续帧来大幅减少人工工作量。尽管其重要性不言而喻，但由于人类行为的随机性、结构复杂性以及长期不确定性，实现准确、连贯且多样的运动预测仍然极具挑战性。

近年来，扩散模型作为一种强大的生成模型类别，在图像生成[6]、视频生成[7]以及其他条件生成任务[8][9][10][11]中取得了显著成就。受这些进展的启发，基于扩散的方法也被引入到人类运动预测领域[12][13]。如图1(a)所示，现有方法通常将运动预测视为条件扩散过程，其中历史观测值被编码为条件，未来运动则是通过从高斯噪声出发的逆向扩散轨迹生成的。虽然这些方法已展现出良好的性能，但它们继承了标准条件扩散的一个根本缺陷：逆向过程始于与条件未来运动分布严重不匹配的高斯先验。在人类运动预测中，由于观测到的运动已经为合理的未来运动提供了较强约束，这种不匹配使得生成过程更加困难，往往需要大量去噪步骤。尤其是，在人类运动预测中，未来运动分布受到观测历史的极大限制，其熵值更低且结构更为清晰，不同于无条件数据分布。在这种情况下，从高斯先验逆向推导至条件未来流形尤其具有挑战性，尤其是在少步采样情况下。因此，诸如MotionDiff[14]、HumanMAC[12]和TransFusion[13]等现有方法通常需要约100次去噪步骤才能达到令人满意的精度，这在实时场景中限制了它们的实际应用效率。

另一个关键挑战在于平衡多样性与时真实性。在传统的基于扩散的人类运动预测方法中，预测多样性主要源自随机高斯初始化。虽然随机采样可以提高多样性，但它也可能产生与观测上下文关联度较低的未来运动，从而影响连贯性和物理合理性。在少步采样情况下，这一问题更为突出，因为模型必须在有限的去噪轨迹内同时保持条件一致性、维持关节的 articulated 结构，并生成多样化的未来运动。因此，开发一种既高效又能更好地符合人类运动预测条件特性的生成框架仍是一个重要的未解问题。

为应对这些挑战，我们从基于桥梁的角度重新审视人类运动预测。如图1(b)所示，标准布朗桥通过使用确定性条件终点，为观测运动条件与目标未来运动之间提供了更直接的过渡路径。与高斯初始化相比，这种桥梁式建模提供了更强的条件引导作用，可视为缩小了条件先验与目标未来运动分布之间的差距。

然而，标准布朗桥扩散将终点固定为确定性目标，这可能会限制终端分布的支持范围。虽然这一约束提升了条件一致性，但它往往会使生成的轨迹集中在运动空间的有限区域内，从而限制了模型捕捉人类运动预测中固有的随机性和多模态特性——因为同一个观测序列可能对应多个合理的未来运动。如图1(c)所示，我们的广义布朗桥将这种确定性终点改为分布型条件终点，允许在观测运动条件周围进行随机探索。

为克服这一局限，我们提出了一种广义布朗桥扩散建模方法。具体而言，在保留桥梁式均值插值的同时，我们通过广义随机过渡机制以分布形式对零方差终端点进行建模。对于人类运动预测而言，这一改进尤为重要，因为其条件未来分布本质上是复杂且多模态的。在这种情况下，学习确定的点对点映射存在内在的难题，因为同一历史序列可能存在多个合理的未来运动。相比之下，所提出的广义建模方法将学习目标从点对点映射转变为分布对齐。通过允许终端状态以分布而非固定点的形式表示，模型获得了更大的灵活性，能够捕捉运动空间中的多样化运动模式和复杂依赖关系。这使得模型在保持强条件一致性的同时，具备了更高的表达能力，能更好地模拟多模态未来运动，并在真实的运动不确定性条件下实现更稳定的生成。

基于这一建模方法，我们为人类运动预测开发了一种统一的时空生成架构。时间分支负责捕捉长距离运动动态，而空间分支则用于建模关节间的结构化依赖关系与协调性。通过对时间演化和空间交互的联合建模，该框架提升了运动的连贯性和关节结构的合理性。得益于更好的分布对齐和更高的表达能力，HumanBBD仅需5–10次逆向步骤即可实现精确的随机运动预测，相比传统基于扩散的方法通常所需的约100次步骤，大幅降低了推理成本。此外，该框架还支持通过在逆向推理过程中调整目标域来实现运动切换，从而实现不同运动模式之间的平滑过渡。总体而言，我们的框架为标准基于扩散的人类运动预测提供了一种合理且高效的替代方案。

本文的主要贡献如下：
•我们提出了HumanBBD，这是一种广义布朗桥扩散框架，它架起了观测运动条件与未来运动目标之间的桥梁，减少了高斯初始化条件扩散的初始化不匹配问题。
•我们提出了一种广义布朗桥扩散建模方法，将标准布朗桥扩散从固定终端点扩展为分布型终端状态。理论分析表明，这种建模方式在保证后验过渡可行性的同时，提升了少步推理时的条件感知初始化能力。
•我们证明了HumanBBD仅需5–10次逆向步骤即可实现高效的随机运动预测。在HumanEva-I、Human3.6M和AMASS数据集上的广泛实验验证了其有效性、高效性及通用性。

章节片段：
扩散模型与条件扩散模型：在深度生成模型领域，扩散模型已成为备受关注的研究方向。去噪扩散概率模型（DDPM）[6]利用非平衡热力学的原理，为深度生成建模开辟了新范式。这些模型通过学习逆向扩散过程，逐步将随机高斯噪声转化为数据分布，展现出极高的样本合成能力。

问题定义与符号说明：人类运动预测的任务是根据历史观测数据来预测未来的人类运动序列。正式地，给定一段包含N帧的人类运动历史序列，其中N代表人体关节的数量，目标则是预测接下来的M帧中的人类姿态序列。

条件扩散模型：扩散模型通过学习逆向处理逐步加噪的过程来生成样本。在标准扩散模型中，正向过程会逐渐……

方法：图2展示了HumanBBD的整体流程。首先将观测运动和目标运动投影到DCT潜空间中，以此构建相应的潜空间表示。然后在该潜空间中定义广义布朗桥，其终端状态以分布形式建模，以支持随机未来预测。统一的时空生成架构则通过结合时间动态建模和空间依赖建模来预测纯净的潜空间目标状态。在推理过程中，预测结果……

理论分析：我们首先明确了HumanBBD与DDBM等通用扩散-桥梁框架之间的关系。DDBM学习成对端点分布之间的随机桥梁，并为条件分布转换提供了通用建模方法。HumanBBD遵循相同的桥梁原理，但在终端状态的处理上有所不同。它没有采用在预定终点附近方差趋近于零的端点固定型桥梁，而是引入了广义方差……

数据集：我们在三个基准数据集上评估了我们的模型：HumanEva-I[43]、Human3.6M[44]和AMASS[45]。为确保公平比较，我们采用了先前研究中常用的评估方案。具体而言，HumanEva-I和Human3.6M的实验设置遵循[34]，而AMASS的评估方案则遵循[39]。
•HumanEva-I是一个规模较小的数据集，包含三名受试者。每位受试者执行5种动作，人体姿态由15个关节表示。我们使用的观测窗口为15帧（0.25秒）。

结论：本文提出了HumanBBD，这是一种用于随机人类运动预测的广义布朗桥扩散框架。与那些从无条件高斯先验开始逆向推理的传统条件扩散模型不同，所提出的方法将预测视为观测运动域与未来运动域之间的桥梁过程，从而减少了初始化不匹配问题，并增强了条件感知生成能力。此外，通过放宽确定性……

CRediT作者贡献声明：
张一鸣：写作——审阅与编辑，写作——初稿撰写，软件，方法论，数据整理。韩宝佳：验证，软件。王伟辰：验证，数据整理。李希明：写作——审阅与编辑，形式化分析。福斯托·朱恩基利亚：写作——审阅与编辑，资金获取。杨波：写作——审阅与编辑，资金获取。庞伟：写作——审阅与编辑，方法论。冯晓月：写作——审阅与编辑，项目管理，资金获取。

利益冲突声明：作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：
杨波表示其研究得到了中国国家重大科技项目的资助。关仁楚和冯晓月表示其研究得到了中国国家自然科学基金的资助。福斯托·朱恩基利亚表示其研究得到了欧盟的资助。其他作者则表示他们没有已知的利益冲突。

致谢：我们的工作得到了国家科技重大专项（项目编号2021ZD0112500）以及中国国家自然科学基金（编号62172187和62372209）的支持。福斯托·朱恩基利亚的研究则得到了欧盟“地平线2020”计划FET Proactive项目（编号823783）的资助。张一鸣于2022年在中国长春的吉林大学获得软件工程学士学位，目前他在吉林大学计算机科学技术学院攻读博士学位，导师为关仁楚教授。他的研究兴趣主要集中在时间序列预测和人类运动预测领域。