AOG-BAT：基于注意力有序图和身体感知Transformer的3D人体姿态估计

《Pattern Recognition》：AOG-BAT: 3D human pose estimation via Attention-Ordered Graph and Body-Aware Transformer

　　

• •
  使用注意力排序图（AOG）提取空间骨架特征。
• •
  使用身体感知Transformer（BAT）进行时序建模。
• •
  关节级注意力（JWA）和身体中心多头注意力（BCMA）。
• •
  AOG和BAT共同解决空间和时序局限性，提升性能。

引言

三维人体姿态估计是从二维图像或视频序列中预测三维身体关节位置的任务。在过去，获取三维人体姿态需要使用配备多个摄像机、可穿戴传感器和红外设备的昂贵动作捕捉系统。近年来，得益于计算机视觉和模式识别领域中基于深度学习方法的进步，趋势转向使用图像和视频进行三维姿态估计。现有的三维姿态估计方法主要分为两大类：直接姿态估计和二维到三维提升方法。第一类方法直接从输入图像/视频中预测三维身体关节位置 [1]、[2]，但面临深度模糊的挑战。为解决这一挑战，第二类方法首先利用现成的二维姿态估计模型的强大性能从单目图像中提取二维骨架，然后使用二维到三维姿态估计模型恢复对应的三维姿态 [3]。先前的研究表明，使用二维骨架序列比依赖单个二维骨架能获得更准确的三维姿态估计。此外，二维到三维姿态估计方法进一步分为中心帧预测和序列预测方法。在中心帧预测中，模型仅估计输入二维序列中心帧的三维姿态，从而实现更高的效率和更低的延迟 [4]、[5]。相比之下，序列预测方法通过利用相邻三维姿态的时序上下文重建整个三维姿态序列，在增加计算复杂度的代价下获得更高的精度 [6]、[7]。

由于骨架可以表示为以关节为节点、骨骼为边的图，现有技术利用图卷积网络（GCN）有效建模关节间的连接关系 [8]。GCN显式编码运动链（例如肩、肘、腕）以保留骨架层级模式，并学习关节运动范围等生物力学约束。替代方法利用Transformer中的自注意力机制 [9] 选择性地关注每个姿态中信息丰富的关节。与关注固定骨架连接的GCN不同，Transformer使用自注意力动态建模关节和帧之间的依赖关系以捕获复杂的运动模式。

尽管各自具有优势，但基于GCN和基于Transformer的方法都面临着限制其表示能力的挑战，影响对时序关节运动和身体层级的准确建模。GCN方法通常依赖静态拓扑进行图表示 [10]。虽然已有尝试使用高阶GCN整合多个骨架表示 [11]，但使用所有阶次的特征可能会引入噪声，因为每个关节最适合由特定阶次表示，以捕获其局部邻域的 informative 特征。此外，使用图表示来建模时序依赖关系可能会由于跨帧多种多样的骨架间关节连接选择而导致混淆 [12]、[13]。这种复杂性源于缺乏类似于同一骨架内骨架内连接的那种固有连接。另一方面，基于自注意力的方法将输入作为序列处理 [4]、[5]，忽略了关节并非按顺序排列这一事实；相反，一个关节可以与多个关节相连，基于图的表示在建模空间关系模式方面更高效。然而，自注意力的威力在于其对序列建模的有效性 [6]。

鉴于上述局限性，我们提出了一种三维人体姿态估计方法，同时利用GCN在骨架内关节关系空间建模方面的优势和注意力机制在骨架间时序建模方面的优势。遵循基于中心帧的方法 [4]、[5]，我们的模型以二维姿态序列为输入，预测中心帧的三维姿态。为克服静态图拓扑在表示多样化姿态方面的局限性，我们采用多阶GCN来更灵活地建模每个姿态。现有方法通常不加区分地组合所有图阶次的特征，可能忽略了每个关节最具信息量的邻域关系 [11]。为解决这一局限性，我们引入了一种可学习的注意力排序图（AOG）模块，动态强调每个关节最具代表性的图阶次。这使得网络能够捕获随姿态变化而改变的、具有判别性的、关节特定的结构线索。在使用GCN提取骨架特征序列后，应用带有自注意力的原始Transformer进行时序建模面临两个关键挑战 [4]、[5]。首先，它主要关注全局骨架表示，而忽视了单个关节的时序演变。其次，它对所有帧一视同仁，没有优先考虑中心姿态周围的帧。为克服这些局限性，我们提出了一种时序身体感知Transformer（BAT），集成了两个互补组件：关节级注意力（JWA）机制，独立建模每个关节的时序演变并实现对关节层面运动动力学的细粒度分析，以及身体中心多头注意力（BCMA），通过逐步降低对远离中心帧的帧的注意力来使自注意力感知中心姿态。这种设计使模型能够同时捕获关节级时序动力学和中心感知的上下文信息。在三个公开基准数据集（Human3.6M、MPI-INF-3DHP和HumanEva-I）上的实验结果和消融研究证明了所提方法的有效性。本文的主要贡献总结如下：

• •
  一个三维人体姿态估计框架，集成了新引入的基于注意力的GCN来建模空间关节关系，以及新的注意力机制来增强时序序列建模。
• •
  提出了注意力排序图（AOG）模块，自适应地学习选择每个关节最具代表性的图阶次以实现特定姿态表示。
• •
  身体感知Transformer（BAT），通过关节级注意力（JWA）建模关节级时序依赖，并使用身体中心多头注意力（BCMA）结合中心帧关注增强身体级时序建模。

章节摘要

三维人体姿态估计中的GCN

首次成功将GCN用于骨架表示的工作是为基于骨架的动作识别提出的 [14]，通过帧内边建模空间依赖，通过连接连续帧的帧间边建模时序演变。随后，GCN以不同方式被整合到二维到三维人体姿态估计的学习过程中。

单帧二维姿态方法专注于建模关节的空间关系而不涉及时序信息。Zhao等人 [8] 针对

概述

图1展示了整体网络架构，图4详细说明了主要组件。使用多阶GCN（MO-GCN）从每个骨架中提取特征。这些特征被拼接后传递到AOG模块，在其中使用查询-键投影生成注意力权重，接着进行非线性变换和Softmax。这些权重用于自适应地强调不同的GCN阶次，然后所得特征经过批归一化和ReLU处理以

Human3.6m [20]

Human3.6m [20] 是一个广泛用于单人三维人体姿态估计的室内数据集，包含从4个视角采集的11名受试者执行17种动作的360万标注姿态。遵循先前工作 [12]、[21]，受试者S1、S5、S6、S7和S8用于训练，S9和S11用于测试。评估使用MPJPE（预测关节与真实关节之间的平均欧氏距离）和P-MPJPE（Procrustes对齐的MPJPE）指标，同时使用真实二维姿态

结论

所提方法在Human3.6M上使用二维检测输入取得了具有竞争力的性能，使用GT输入取得了优越结果，在MPI-INF-3DHP和HumanEva-I上进行中心帧三维姿态预测也表现优异，这主要归功于所提出的模块解决了静态图表示和原始自注意力的局限性。消融研究（表6）突出了每个组件的有效性。所提出的AOG模块通过在适应姿态方面优于简单的多阶融合

CRediT作者贡献声明

Kamel Aouaidjia： 撰写——初稿，软件，方法论，概念化。Aofan Li： 软件。Wenhao Zhang： 软件。Chongsheng Zhang： 撰写——审阅与编辑，监督。

利益冲突声明

作者声明他们不存在任何可能影响本论文所报告工作的已知的竞争性财务利益或个人关系。

致谢

Aouaidjia Kamel和Chongsheng Zhang部分受中国国家自然科学基金（编号：62250410371）和河南省重点研发项目（编号：232102211021）资助。

Kamel Aouaidjia|Aofan Li|Wenhao Zhang|Chongsheng Zhang