AAGFormer：一种自适应图变换器与拓扑归一化相结合的方法，用于3D人体姿态估计

《Image and Vision Computing》：AAGFormer: A self-adaptive graph-transformer synergy with topological normalization for 3D human pose estimation

3D人体姿态估计中提出融合Transformer与自适应GCN的AAGFormer架构，通过动态图卷积ADGC和归一化拓扑融合NTF-Net，有效捕捉局部关节关系与全局时空依赖，显著提升复杂动作下的估计精度和时序一致性，在Human3.6M和MPI-INF-3DHP数据集上达到最优性能。

　　

Xing Liu | Hao Tang

同济大学计算机科学与技术学院，上海 201804，中国

摘要

尽管基于Transformer和图的模型在3D人体姿态估计（HPE）方面取得了显著的成功，但传统的GCN（图卷积网络）由于其固定的图拓扑结构，在处理复杂动作中的动态关节交互时存在困难。为了解决这个问题，我们提出了一种混合架构——自适应注意力GCNFormer（AAGFormer）。AAGFormer有效地结合了Transformer流（用于全局上下文建模）和自适应GCNFormer流（用于局部关系学习）。在AAGFormer框架中，自适应动态图卷积（ADGC）模块通过一个可学习的亲和矩阵动态调节图连接性，捕捉相邻关节之间的关节运动模式，同时补充了Transformer的整体视图。为了进一步增强多尺度特征融合，我们引入了标准化拓扑融合网络（NTF-Net）。NTF-Net利用图拉普拉斯矩阵的谱归一化来统一关节级别的交互与整个骨骼的动态。这种归一化通过减少节点连接性的尺度变化来稳定训练，确保所有关节无论拓扑密度如何都能做出相应的贡献。AAGFormer中Transformer和GCNFormer流的自适应融合，再加上NTF-Net的平衡局部-全局表示，显著优化了时空特征学习。在公开可用的基准测试中进行的实验表明，AAGFormer达到了最先进的性能，在3D HPE领域取得了更高的准确性和时间一致性。代码和预训练模型将公开发布，以支持进一步的研究。

引言

从单目视频中进行3D人体姿态估计（HPE）是计算机视觉中的一个核心任务，旨在从2D视觉线索（图像或视频帧）中推断出3D关节坐标。通过解码人体的几何配置和动态运动模式，3D HPE成为了一个多功能工具，具有广泛的应用。具体来说，它促进了运动分析在运动学和生物力学方面的研究[1]、[2]、[3]、[4]，通过手势识别实现了直观的人机交互[5]，通过患者运动监测支持医疗保健[6]，并帮助在监控系统中检测异常行为[7]。

最近的3D HPE方法通常将任务分解为两个连续阶段：首先是2D关键点检测，然后是3D提升——将这些2D坐标映射到3D空间[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]。常见的流程包括使用CPN[17]等网络提取2D关键点，然后使用深度架构进行3D姿态回归。最近，基于Transformer的模型成为3D HPE的主流范式，利用自注意力机制来捕捉长距离依赖性[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25]。以ViT[26]、Swin Transformer[27]为代表的Transformer架构逐渐取代了传统的CNN，在各种视觉任务中表现出色。例如，DETR[28]在Transformer首次应用于视觉领域时展示了最先进的物体检测性能，为其在多种应用中的优越结果铺平了道路[29]。MixSTE[20]通过提出一种时空Transformer架构，在3D HPE方面取得了显著的成功。

在一项开创性的工作中，Poseformer[30]巧妙地使用了Transformer架构进行3D HPE。它以一种能够有效捕捉时间和空间相关性的方式处理连续的图像帧，然后进行精确的回归以确定3D人体关节坐标。这种突破性的方法达到了最先进的性能，为3D HPE领域树立了新的标准。在Poseformer的基础上，最近的方法[10]、[18]、[31]、[32]、[33]通过结合相邻帧进一步增强了时间建模。然而，如[34]所强调的，仅仅依赖全局注意力可能并不适合人体姿态估计，因为人体姿态结构本质上具有局部时空依赖性。同时，基于图的方法[9]、[35]将骨骼序列建模为时空图，在捕捉局部依赖性方面表现出色，这与Transformer在建模长距离依赖性方面的优势形成对比。然而，传统的基于图的方法存在两个关键限制：

(1) 固定的时间图构建。它们依赖于基于KNN的时间图构建，这引入了关键的限制。KNN中的固定邻域严重限制了对动态运动的适应性，导致在复杂姿态下的连接性较差。而且其静态图忽略了对于长期准确性至关重要的非局部时间依赖性。

(2) 静态图引起的双重脆弱性。在整个训练过程中使用固定的邻接矩阵同时引入了两个问题。非局部依赖性盲视，无法捕捉对身体各部分运动连贯性至关重要的长距离关节交互。尺度偏差的特征聚合，未归一化的图拉普拉斯矩阵导致权重分配不均，从而影响了精细的姿态恢复性能。

为了解决这些问题，我们提出了ADGC模块和NTF-Net来动态优化图拓扑结构。这个创新模块通过利用可学习的亲和矩阵动态细化时间图结构，超越了传统的固定KNN方法。通过将时空注意力机制与图重新加权策略相结合，ADGC实现了自适应特征聚合，有效地捕捉了局部细节和全局上下文信息。NTF-Net结合了图拉普拉斯矩阵的谱归一化，通过将邻接矩阵与归一化的度矩阵融合，确保了超连接节点和低度节点之间的特征权重比例均衡。在本文中，我们提出了AAGFormer，一种Transformer-图融合架构，以提高3D HPE的表示能力（见图1）。

我们的贡献可以总结如下：

• •
  混合Transformer-GCN架构。我们设计了一种新颖的AAGFormer框架，将全局上下文建模与细粒度的局部关系学习相结合。我们提出了一种混合Transformer-GCN架构，将全局时空建模与自适应的局部关节关系学习统一起来。
• •
  引入ADGC模块和NTF-Net到GCNFormer流中。我们提出了两项互补的创新来提升3D HPE。ADGC模块：一种动态图学习方法，用可学习的亲和矩阵替代了静态邻接矩阵，结合了跨帧注意力和空间先验，以在遮挡情况下稳健地建模关节相关性。NTF-Net：一种标准化的拓扑融合机制，将局部关节交互和全局骨骼动态合并，以稳定训练并保持结构真实性。
• •
  在Human3.6M和MPI-INF-3DHP基准测试上的性能评估。通过利用全局（Transformer）和局部（GCN）表示的自适应融合，AAGFormer实现了平衡的时空特征学习。在Human3.6M和MPI-INF-3DHP上的实验评估表明，这种设计使AAGFormer在准确性和效率方面优于之前的方法，特别是在部分遮挡和快速运动等具有挑战性的条件下。

章节片段

3D人体姿态估计

从视频数据中估计3D人体姿态是一项具有挑战性且有趣的任务，深度学习方法已经解决了这个问题。这些方法大致可以分为两类：基于Transformer的和基于图的。例如，MixSTE[20]提出了一种基于Transformer的方法，将2D关键点提升到3D关节位置。Anatomy3D[10]将从2D检测到的关键点预测骨骼方向和长度的任务分解为确保时间一致性。

总体结构

所提出的AAGFormer的概要在图2中简洁地展示，主要包括两个复合模块：一个Transformer编码器，用于捕捉跨帧的长时间人体姿态动态；以及一个具有动态可重构图拓扑的自适应GCNFormer编码器。AAGFormer旨在充分利用Transformer和GCN模块中的空间和时间信息来重建3D人体姿态。一个2D关节点坐标序列

数据集和评估指标

我们的方法在成熟的3D HPE数据集上进行了全面评估，即Human3.6M[8]和MPI-INF-3DHP[55]，这些数据集在该领域被广泛认可为基准。

Human3.6M是最突出和最广泛采用的室内3D HPE基准数据集，包含由四个相机以50 Hz的频率同步捕获的360万张图像。该数据集记录了11名受试者（6名男性，5名女性）在受控室内环境中进行的15项常规活动。

结论

在这项研究中，我们对基于Transformer和图的方法进行了全面的探索，强调了它们在建模时空动态方面的互补优势。尽管取得了显著进展，但我们发现了一个关键限制：传统的GCN由于依赖于静态图拓扑结构，限制了它们在不同姿态和时间帧之间动态表示关节交互的能力。为了克服这一限制，我们提出了自适应注意力GCN（AAGFormer）。

CRediT作者贡献声明

Xing Liu：撰写——原始草稿、可视化、软件、方法论、调查、概念化。Hao Tang：撰写——审稿与编辑、验证、监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了江苏省高等教育机构基础科学（自然科学）研究计划（编号：23KJD520008）的支持。