MorphoLift：基于形态学先验的2D至3D人体姿态提升

《Neurocomputing》：MorphoLift: Morphology prior guided 2D-to-3D human pose lifting

　　

## 摘要

现有的单帧2D到3D人体姿态提升方法在加强空间依赖和骨骼拓扑建模方面取得了显著进展。然而，这些方法通常在学习共享坐标映射的同时受关节位置监督，并将个体间的形态差异隐式地编码到网络中。训练主体之间有限的形态多样性可能导致学习到的先验偏向群体平均形态，从而难以表征与输入相关联的个体形态。单帧2D姿态固有的深度和尺度模糊性进一步加剧了这种不匹配，损害了结构一致性和关节定位精度。基于这些观察，我们提出了MorphoLift——一个形态先验引导的框架，该框架显式建模由骨长表示的骨骼形态先验，并将其用作3D坐标回归的引导，以及回归后自适应校正的参考。MorphoLift由三个模块组成：骨骼形态先验学习模块、人体姿态提升模块和自适应校正模块。在第一模块中，BoneShapeNet通过SMPL形状采样、骨长分布的主成分分析以及姿态-形态重组，从单个2D姿态推断骨骼形态先验。第二模块利用推断出的先验引导3D坐标回归前的中间特征，使模型在生成初始姿态时能够显式考虑骨骼形态。第三模块使用BoneAlphaNet预测自适应的逐骨融合权重，将初始姿态的骨长与形态先验指定的骨长进行组合，从而在保持初始骨方向的同时生成精细化的3D姿态。在Human3.6 M和MPI-INF-3DHP上的大量实验验证了MorphoLift的有效性和泛化能力。结果表明，MorphoLift在相应评估协议下达到了最先进的3D姿态估计性能，同时显著提高了预测姿态的形态一致性。

## 引言

3D人体姿态估计旨在从图像或2D姿态中恢复人体关节的3D坐标，是运动检测[1]、动作识别[2]、[3]、[4]、[5]、[6]、行人重识别[7]、人机交互[8]、增强现实和虚拟现实[9]等应用的基础。与直接从RGB图像回归3D姿态的方法[10]、[11]、[12]相比，先使用现有的2D关键点检测器获取2D姿态，然后执行2D到3D姿态提升的方法[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]能够将外观建模与几何推理解耦，因此在该领域被广泛使用。然而，由于单个2D姿态对应多个有效的3D姿态，3D人体姿态估计仍然是一个病态问题。

一种常见的缓解策略是利用连续帧之间的时序信息来提高预测性能。不幸的是，多帧估计方法[21]、[22]、[23]会带来相当大的计算成本。相比之下，单帧方法[24]、[25]、[26]具有高效的推理能力，更适合受限于计算资源和严格时间预算的场景。除此之外，这些方法还支持静态图像上的姿态预测，为基于图像的3D人体姿态估计任务建立了必要的基础。因此，单帧3D人体姿态估计的研究不仅能提高基于单张图像的预测质量，还能为视频序列提供有效的推理选项。然而，由于仅从单个2D姿态中可用的信息有限，单帧估计仍然是一个具有挑战性的问题。

早期工作尝试采用全连接网络（FCN）[27]从2D关节坐标中挖掘3D姿态线索。近年来，一些方法[15]、[24]、[28]、[29]、[30]、[31]使用图卷积网络（GCN）在关节之间传播局部和非局部信息。这些基于GCN的方法自然地将人体骨骼视为图结构。尽管GCN取得了令人满意的性能，但它们仍然存在固有的局限性。当堆叠更深的GCN层时，众所周知的过平滑问题就会出现。随着网络层数的增加，相邻节点产生高度同质化的表示，导致信息丢失和节点特征不清晰。因此，这些方法进一步采用浅层网络架构来缓解这一效应。然而，这种策略可能会限制网络学习不同节点之间全局依赖关系的能力。随着Transformer在计算机视觉领域的快速发展，Transformer及其图结构变体[13]、[22]、[32]通过全局注意力建模长程关节依赖关系[13]、[22]，而时间卷积和时空Transformer利用运动连续性来解决单帧模糊性[33]、[34]、[35]。总而言之，这些方法在强调更强的空间依赖和骨骼拓扑建模方面取得了实质性的进展。然而，大多数方法仍然主要依赖关节坐标监督，并将个体间的骨骼形态隐式编码在网络中。此外，当训练主体的形态多样性有限时，学习到的先验可能偏向群体平均形态，无法准确表征与当前输入相关联的骨骼形态。在本文中，我们使用骨长来表征骨骼形态先验，并明确定义"骨骼形态"为固定17关节骨架上的16维骨长向量。

图1进一步通过比较GraphMLP [24]、DC-GCT [25]和HTNet [21]在Human3.6 M上的逐关节MPJPE和骨长误差来考察这些局限性。从该图中可以看出，三种方法对相应关节产生了相似的MPJPE值，同时也表现出相似且持续的骨长误差模式。特别地，几处四肢骨的误差明显大于躯干。这些观察表明，仅靠更强的姿态表示并不能确保重建姿态中的骨长一致性。一个有前景的解决方案是将骨骼形态先验作为可学习的条件和可控的结构目标进行显式建模，并将其整合到网络中以改善姿态估计精度。

基于这些观察，我们提出了一个形态先验引导的2D到3D人体姿态提升框架（称为MorphoLift）。该框架由三个模块组成：骨骼形态先验学习模块、人体姿态提升模块和自适应校正模块。在第一模块中，BoneShapeNet通过SMPL [36]形状采样、骨长分布的主成分分析以及姿态-形态重组，从单个2D姿态推断骨骼形态先验。第二模块利用推断出的先验引导3D坐标回归前的中间特征，使初始姿态能够显式考虑骨骼形态。第三模块使用BoneAlphaNet进一步预测自适应的逐骨融合权重，将初始姿态的骨长与形态先验指定的骨长进行组合，在保持初始骨方向的同时生成校正后的3D姿态。我们在两个广泛使用的数据集Human3.6 M [37]和MPI-INF-3DHP [38]上进行了大量实验，以说明MorphoLift的有效性和泛化能力。实验结果表明，与现有其他方法相比，我们所提出的方法在从单个2D姿态进行3D人体姿态估计方面达到了最先进的性能。

我们框架的主要贡献总结如下：

- 我们引入了一种骨骼形态先验学习策略，该策略结合了基于SMPL的形状采样、骨长分布的PCA建模以及姿态-形态重组。BoneShapeNet使用生成的训练数据从单个2D姿态推断骨骼形态先验。
- 我们将推断出的骨骼形态通过坐标回归前的特征引导整合到3D姿态提升中。这使得提升网络在预测初始姿态时能够显式考虑骨骼形态。
- 我们开发了BoneAlphaNet用于回归后的自适应校正。它从初始姿态的骨长和推断出的先验中预测逐骨融合权重，在保持初始骨方向的同时估计校正后的3D姿态，从而降低了直接替换骨长带来的误差传播风险。
- 在Human3.6 M [37]和MPI-INF-3DHP [38]上的实验证明了MorphoLift的有效性和泛化能力。我们的方法在相应评估协议下达到了最先进的性能，同时改善了骨长一致性。

本文其余部分组织如下。第2节回顾了相关的3D人体姿态估计方法。第3节描述了我们所提出方法的内容。第4节呈现了大量的实验结果及相应的分析。第5节总结全文。

## 3D人体姿态估计

3D人体姿态估计方法分为两大类别。第一类技术直接从RGB图像输入回归人体关节的3D坐标[39]、[40]、[41]、[42]、[43]、[44]。第二类是2D到3D姿态提升[14]、[27]、[35]、[45]、[46]，这是一个两阶段过程，首先使用现有的2D姿态检测器获取2D坐标，然后利用专门的网络从中推断3D姿态。在2D人体姿态快速发展的驱动下……

## 方法

图2展示了所提出的MorphoLift的整体框架。给定单帧2D姿态 $X \in \mathbb{R}^{J \times 2}$，我们的方法旨在恢复其对应的3D姿态 $Y \in \mathbb{R}^{J \times 3}$，其中 $J=17$ 表示关节数量。MorphoLift由三个模块组成：骨骼形态先验学习模块、人体姿态提升模块和自适应校正模块。具体而言，第一模块采用SMPL [36]构建体形数据集，使用PCA建模骨骼形态空间，并训练BoneShapeNet……

## 数据集

**Human3.6 M：** Human3.6 M [37] 是3D人体姿态估计中广泛使用的基准数据集，包含360万个视频帧及注释。它记录了11名演员执行的15种不同活动，由四台相机从多个视角捕获。遵循先前工作中的常见实验策略[21]、[27]、[29]、[30]、[61]，我们在五个主体（S1、S5、S6、S7、S8）上训练模型，并在两个主体（S9、S11）上评估。

**MPI-INF-3DHP：** MPI-INF-3DHP [38] 是一个具有挑战性的……

## 结论

在本文中，我们提出了一种新颖的形态先验引导框架，称为MorphoLift，用于单帧2D到3D人体姿态提升。我们的框架由三个核心模块组成：骨骼形态先验学习模块、人体姿态提升模块和自适应校正模块。第一模块训练BoneShapeNet通过SMPL形状采样、骨长分布的主成分分析以及姿态-形态重组从2D姿态推断骨骼形态先验，从而……

## CRediT作者贡献声明

**高君娜（Junna Gao）：** 原始稿件撰写、可视化、软件、方法论、调查、资金获取、概念化。
**杨红雪（Hongxue Yang）：** 稿件审阅与编辑、监督、方法论、概念化。
**马磊（Lei Ma）：** 稿件审阅与编辑、监督、方法论、形式分析。
**陈东攀（Dongpan Chen）：** 可视化、验证、调查。
**张万方（Wandong Zhang）：** 验证、监督、项目管理。

## 利益冲突声明

作者声明不存在可能影响本文所述工作的已知的竞争性经济利益或个人关系。

**高君娜** 于2024年在北京工业大学信息科学与工程学院人工智能研究所、北京多模态认知计算与智能软件技术重点实验室获得博士学位。她目前是北京工业大学人工智能学院讲师。此前，她曾在新加坡南洋理工大学联合攻读博士学位。

高君娜 | 杨红雪 | 马磊 | 陈东攀 | 张万方