通过时空专家的混合模型，学习用于高动态姿态估计的鲁棒表示方法

《Pattern Recognition》：Learning Robust Representations for Highly Dynamic Pose Estimation via Mixture of Spatiotemporal Experts

动态人体姿态估计框架DPE-MSTE通过自适应时空专家机制解决高动态动作中的异质身体部分运动、不一致时间尺度及快速时空关联问题，结合动态感知对比学习（DACL）和新型动态体育动作数据集DynSports，实验表明DPE-MSTE在多个基准数据集上达到最优性能。

　　

Jiangning Wei|Hao Yu|Lixiong Qin|Bo Yu|Dandan Xiao|Ke Li|Jun Liu

北京邮电大学人工智能学院，中国北京

摘要

3D人体姿态估计是计算机视觉中的一个基本问题，其应用范围从人机交互到体育分析。尽管最近取得了进展，但现有方法在处理涉及突然加速、快速方向变化和大范围身体位移的高动态动作时，性能会显著下降，而这些在现实世界的体育场景中非常普遍。这类动作表现出异构的身体部位动态、不一致的时间尺度以及快速变化的时空相关性，这从根本上挑战了大多数现有方法的固定建模配置。为了解决这些挑战，我们提出了基于自适应时空专家机制的动态姿态估计框架（DPE-MSTE）。DPE-MSTE整合了空间身体部位注意力（SBPA）用于特定身体部位的运动建模、时间块保留注意力（TCRA）用于多尺度时间动态，以及一个轻量级的专家匹配路由器，以实现灵活且具有运动意识的时空表示学习。除了算法设计之外，我们还引入了DynSports，这是一个用于高动态体育姿态估计的大规模真实基准数据集，它包含了细粒度的专业动作和不受限制的连续比赛录像。我们进一步提出了动态感知对比学习（DACL）策略来增强表示的鲁棒性。在Human3.6M、SportsPose和DynSports上的广泛实验表明，DPE-MSTE在建模高动态动作方面取得了最先进的性能。

引言

3D人体姿态估计旨在从视觉观测中恢复准确的3D关节坐标，对于人机交互[1]、[2]、虚拟现实和增强现实[3]、[4]、动作理解[5]、[6]以及体育分析[7]、[8]等应用至关重要。得益于2D姿态估计[9]、[10]的最新进展，通过建模时空依赖性[11]、[12]将2D姿态序列提升到3D已成为一种广泛采用的范式，因为它具有高效性和部署灵活性。

尽管最近取得了进展，但现有的3D姿态估计方法在处理以突然加速、快速方向变化和大范围身体位移为特征的高动态动作时仍然会显著下降。这类动作在现实世界的体育场景中很常见，例如篮球中的旋转动作和球拍运动中的快速挥拍动作，但目前的方法仍然不足以应对这些问题。与时间演变相对平滑的日常动作相比，高动态动作带来了三个根本性的挑战，如图1所示：i) 不同身体部位的异构运动模式，ii) 不一致且依赖于动作的时间尺度，以及 iii) 快速变化的时空相关性。这些特性从根本上打破了大多数现有方法所隐含的假设，即固定的时空建模配置可以适用于多种运动情况。

我们观察到，无论采用顺序（例如PoseFormer [11]、GraFormer [13]、MixSTE [12]、KTPFormer [14]）还是混合（例如MHFormer [15]、MotionBert [16]、STCFormer [17]）设计，最近的3D姿态估计架构在应用于高动态动作时都存在一些固有的局限性。从空间角度来看，大多数基于骨架的方法依赖于具有预定义解剖学连接性的全身图结构[13]、[18]。虽然这些设计对于整体运动建模有效，但它们忽略了在高动态动作中只有特定身体部位主导运动动态的事实，而其他部位则相对稳定。因此，强制统一的全身交互可能会引入无关关节的干扰，并掩盖关键的局部运动线索。

从时间角度来看，现有方法主要使用全局注意力机制来捕捉长距离依赖性[11]、[15]、[16]、[17]。然而，高动态动作同时需要对细粒度的局部时间变化（例如，爆炸性的肢体运动）和更广泛的时间背景（例如，乒乓球发球时的稳定躯干运动）敏感。因此，单一的固定时间感受野不足以平衡这些相互竞争的需求。此外，现有方法通常使用僵化的预定义方案来融合空间和时间特征，缺乏适应不同动作和身体部位多样运动动态的灵活性。

这些观察结果表明，高动态动作需要一种根本不同的建模原则：时空表示应根据运动动态进行自适应配置，而不是静态定义的。受此启发，我们提出了一个基于自适应时空专家机制的动态姿态估计框架，该框架明确考虑了身体部位的特定运动异质性和可变的时间尺度。

具体来说，我们引入了动态姿态估计与时空专家混合（DPE-MSTE），如图2(c)所示。核心思想是构建一个互补的空间和时间专家池，并根据运动特征动态选择合适的专家组合。为此，我们设计了三个紧密耦合的组件。首先，空间身体部位注意力（SBPA）将人体划分为具有解剖学意义的部位，并在每个部位内实现自适应交互建模，使网络能够专注于运动主导区域，同时抑制不相关的全球干扰。这一设计直接解决了高动态动作中观察到的明显身体部位异质性问题。其次，时间块保留注意力（TCRA）通过操作不同长度的时间块来建模多时间粒度的运动动态。通过保留短期局部变化和长期上下文依赖性，TCRA适应了动态体育动作中固有的不一致时间尺度。第三，我们引入了一个轻量级的专家匹配路由器，为每个身体部位动态选择和融合空间和时间专家。基于这种路由机制，我们将SBPA和TCRA整合到一个统一的时空适配器（ST-Adaptor）中，作为我们DPE-MSTE框架的核心模块。通过将不同身体部位适配到适当的时间粒度和空间表示，ST-Adaptor使模型能够根据不同的运动模式调整其时空配置，从而缓解了传统固定融合策略的刚性。除了提高建模灵活性外，ST-Adaptor中的显式专家选择机制还提供了关于在高动态动作下如何自适应强调不同身体部位和时间尺度的可解释视角。

除了算法挑战之外，对高动态动作的研究还受到现有数据集限制的制约。最常用的3D姿态基准数据集，如Human3.6M [19]、3DPW [20]、HumanEva [21]和MPI-INF-3DHP [22]，主要关注日常或最小动态活动，因此无法捕捉由快速运动和大范围身体位移引起的复杂时空模式。尽管最近的努力[23]、[24]已将数据收集扩展到体育场景，但现有数据集通常提供粗粒度的动作注释、强制性的空间设置或仅关注孤立的短片段，这限制了它们反映真实和连续体育动态的能力。

为了解决这些不足，我们引入了DynSports²，这是一个为高动态体育动作设计的大规模3D姿态估计基准数据集，适用于真实条件，并具有细粒度的专业动作注释。DynSports包含110万个高质量注释的3D姿态，涵盖了羽毛球、网球、乒乓球和篮球中的22个细粒度专业动作。该数据集特别强调了运动动态，具有明显的速度变化、突然加速、不受限制的空间运动和连续的比赛录像。此外，我们提出了动态感知对比学习（DACL）策略，通过结合日常和体育运动模式来增强表示的鲁棒性。

我们的主要贡献总结如下：

• •
  我们提出了DPE-MSTE，这是一种新的3D姿态估计框架，它引入了自适应的时空专家机制，用于稳健地建模高动态动作。
• •
  我们开发了一个时空适配器（ST-Adaptor），它整合了空间身体部位注意力（SBPA）、时间块保留注意力（TCRA）和一个轻量级的专家匹配路由器，明确解决了身体部位运动异质性、不一致的时间尺度以及现有方法中固定时空融合的刚性问题。
• •
  我们引入了DynSports，这是一个用于高动态体育姿态估计的大规模真实基准数据集，具有细粒度的动作注释，并提出了动态感知对比学习（DACL）来增强表示的鲁棒性。
• •
  广泛的实验表明，DPE-MSTE在Human3.6M、SportsPose和DynSports三个基准数据集上取得了最先进的性能。

章节片段

3D姿态估计中的时空建模

将2D姿态提升到3D本质上依赖于对姿态序列中时空依赖性的有效建模。一个主流的工作方法是采用解耦的范式，其中空间和时间相关性分别进行建模。代表性方法如PoseFormer [11]采用这种设计以提高效率和可扩展性，后续研究通过加强空间表示[25]、[26]、[28]或时间建模[29]、[30]、[31]进一步提高了性能。

整体架构

我们的方法旨在通过根据动作特定的运动属性自适应选择时空感受野来学习高动态动作的稳健运动表示，从而提高3D姿态估计的准确性。如图3所示，模型以$S_{N,T}\in R^{N\times T\times C}$作为输入，通过联合嵌入模块将其投影到潜在嵌入中。然后，嵌入由L个堆叠的时空块（ST-Blocks）进行处理

DynSports：一个用于高动态体育动作的真实且细粒度的3D姿态数据集

最近的3D姿态估计数据集大致可以分为日常动作数据集和面向体育的数据集。日常动作数据集主要关注最小动态活动，并提供多样化的动作类别，但运动强度有限。相比之下，现有的面向体育的数据集部分捕捉到了动态运动，但往往缺乏体育真实性、粗粒度的动作注释或注释姿态的足够规模。我们分析了最广泛使用的

数据集

我们在三个数据集上评估了我们的方法：Human3.6M、SportsPose和我们新提出的DynSports。Human3.6M是一个大规模的室内日常动作基准数据集，包含大约90万个注释的3D姿态。SportsPose是第一个针对体育场景的多视图3D姿态数据集，涵盖了五个体育类别，有17.7万个注释的姿态。然而，SportsPose在体育真实性和细粒度动作多样性方面仍然有限。为了解决这一差距，我们引入了DynSports

结论

本文研究了高动态动作的3D姿态估计问题，在这种情况下，异构的身体部位运动、不一致的时间尺度和快速变化的时空相关性使得固定建模配置不再适用。我们展示了在这样的场景中，需要能够适应动作动态的具有运动意识的时空表示，而不是依赖于静态结构。因此，我们提出了一种自适应的时空建模范式

未引用的参考文献

表5。

生成式AI声明

在准备本手稿期间，作者仅使用ChatGPT（OpenAI）进行语言编辑和可读性改进。作者根据需要审查和编辑了输出，并对发表文章的内容负全责。

CRediT作者贡献声明

Jiangning Wei：写作——审阅与编辑，写作——原始草稿，方法论，调查，数据管理，概念化。Hao Yu：方法论，数据管理。Lixiong Qin：方法论，调查。Bo Yu：调查。Dandan Xiao：资金获取。Ke Li：写作——审阅与编辑，写作——原始草稿，监督。Jun Liu：写作——审阅与编辑，监督，项目管理。

利益冲突声明

作者声明以下可能的财务利益/个人关系可能被视为潜在的利益冲突：

Jun Liu报告称获得了中国自然科学基金会的财务支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了中国国家自然科学基金（项目编号62476065）的支持。