SCDIP：结构感知协同动力学学习用于基于稀疏 IMU 的增强人体姿态估计

《Pattern Recognition》：SCDIP: Structure-aware coordinated dynamics learning for enhanced human pose estimation with sparse IMUs

　　

• •
  我们提出了一种用于稀疏 IMU 人体姿态估计（HPE）的新型知识引导框架。
• •
  所提出的渐进式回归网络用于提升关节级先验。
• •
  所提出的全局关系图学习部件级运动动力学。
• •
  大量实验表明了我们方法的优势和鲁棒性。

引言

人体姿态估计（HPE）旨在利用各种传感器重建 3D 人体运动，并在动作识别、异常检测、生物医学应用以及体育和体育锻炼等多个领域引起了广泛关注。人工智能（AI）的最新进展显著推动了视觉感知任务 [1], [2]，并提高了使用一台或多台 RGB 摄像头的无标记人体姿态估计的可行性 [3], [4]。然而，基于视觉的方法仍然对光照变化、隐私担忧、遮挡和有限的捕获范围敏感。RGB 图像在快速运动期间也容易受到运动模糊的影响，这进一步限制了它们在现实场景中的应用。相比之下，直接将惯性测量单元（IMU）安装在身体上能够实现鲁棒的运动捕获，并有效缓解这些限制 [5]，使 IMU 成为 HPE 的一个有前景的替代方案 [6]。

与 Xsens [7] 等商业运动捕获系统不同，后者需要将许多传感器紧密附着在多个身体段上，基于稀疏 IMU 的 HPE 由于其成本效益和低侵入性，为日常运动捕获提供了一种实用的解决方案。虽然它显示出潜力，但它仍然是一个高度不适定的逆问题：多种合理的人体配置可能对应于同一组稀疏 IMU。

基于学习的方法已被证明在解决姿态歧义方面有效 [8], [9], [10]。作为基于稀疏 IMU 的 HPE 的开创者，Deep Inertial Poser (DIP) [11] 采用双向循环神经网络来学习从六个 IMU 测量到 SMPL 姿态参数的映射。在 DIP 的基础上，TransPose [12] 引入了一种多阶段细化管道，首先推断中间关节位置以实现更可靠的姿态估计。Physical Inertial Poser (PIP) [13] 进一步引入了基于学习的 RNN 状态初始化和物理信息优化以缓解姿态歧义。最近，DynaIP [14] 通过引入具有伪速度的部件级运动建模来改进这一范式，取得了更好的性能。尽管取得了这些进展，现有方法依赖于隐式关系建模，这可能导致姿态估计模糊以及跨不同运动的泛化能力有限。我们的关键见解是，人体运动表现出结构依赖性和协调运动模式。通过显式利用这些关系，我们可以从稀疏 IMU 信号中推断出更可靠的全身体运动。

首先，可靠的关节级先验对于减少姿态歧义至关重要。以前的方法通常统一对待所有关节，并依赖全局建模来预测关节级先验，这可能会在关节之间引入误导性的运动信息 [12], [15]。关节运动通常表现出明显的动态异质性和层次依赖性。与近端段相比，肢体的远端段往往表现出更大的运动幅度，而核心保持相对稳定 [16]。此外，远端关节受运动链上其近端祖先的约束。受这些观察的启发，我们利用人体骨骼的结构先验作为生物力学约束，从而促进从稀疏观测中准确推断未观测到的关节。

其次，基于图的方法对于建模复杂人体运动是有效的，并已在基于视觉的 HPE 中得到广泛验证 [17], [18]。大多数基于视觉的工作基于自然骨骼拓扑构建预定义图，以学习可靠的结构关系 [19], [20]。一些研究进一步引入了非相邻关节之间的长程连接，表明人体运动涉及超越局部物理关系的协调 [21]。最近的研究探索了动态图学习，以自适应地捕获不同运动类型之间的协调关系 [22]。然而，与在完全观测的关节位置或热图上操作的基于视觉的方法不同，基于稀疏 IMU 的 HPE 必须从有限的一组惯性传感器信号中推断全身体运动。在这种设置下，密集的关节级图引入了无关噪声，因为关节未被直接观测。为解决这些限制，我们提出了与可用传感器测量的空间粒度对齐的部件级运动表示。在此基础上，我们进一步构建了一个具有异质边的全局关系图，以学习肢体间协调动力学，同时减少计算冗余。

在本文中，我们提出了 SCDIP（结构感知协调动力学惯性姿态估计器），这是一个两阶段框架，显式利用先验知识来增强基于稀疏 IMU 的姿态重建的鲁棒性。在第一阶段，为不同动态尺度的关节构建专用子模块，以从六个 IMU 传感器的观测中渐进式估计关节级先验。在第二阶段，引入全局关系图和分组姿态回归方案来捕获部件级关系。具体来说，所提出的图包含异质边，其中静态边编码解剖学依赖关系，动态边捕获部件间协调模式，使模型能够表示复杂的运动动力学。分组姿态回归方案然后分别预测每个身体部位的关节旋转，从而保留肢体级的运动独立性。本文的主要贡献总结如下：

1. 我们提出了 SCDIP（结构感知协调动力学惯性姿态估计器），这是一个两阶段框架，显式利用结构依赖性和协调运动模式，以从稀疏 IMU 中实现准确和鲁棒的人体姿态估计。

2. 为了生成用于姿态消歧的可靠关节级先验，我们提出了一种基于关节级动态异质性和层次依赖性的渐进式回归网络，以增量估计关节速度。

3. 为了增强跨不同运动的泛化能力，我们提出了一种具有异质边的部件级全局关系图，以捕获复杂的运动动力学。

4. 我们在广泛使用的真实世界惯性运动捕获数据集上进行了大量实验，定量和定性结果均表明 SCDIP 持续优于最先进 的竞争对手。

章节摘要

基于稀疏 IMU 的人体姿态估计

早期研究通过数据库匹配从稀疏加速度计重建人体运动 [23]，但这些方法需要频繁更新且支持的运动类型有限。后来的研究使用骨盆、头部、手腕和脚踝的运动数据采用数值逆运动学 (IK) 以提供更通用的解决方案 [24]，但它们存在计算成本高、不稳定和姿势不真实的问题。

为解决这些挑战，Marcard 等人 [25] 提出了 Sparse Inertial

问题表述

在本任务中，我们旨在从放置在左/右前臂、左/右小腿、头部和骨盆上的六个 IMU 信号的 $T$ 帧序列中准确估计人体姿态 $\mathit{\Theta }$，如图 1 所示。遵循先前的工作 [12], [13], [14]，我们使用每个 IMU 的加速度和旋转测量作为输入，表示为 $\mathbf{X}\in {\mathbb{R}}^{T\times 6\times 12}$，其中每个 IMU 提供 3D 加速度和 9D 旋转矩阵。

概述

如图 2 所示，所提出的框架包含两个阶段：

数据集

我们在一系列多样化的真实世界惯性运动捕获数据集上训练和评估所提出的模型，包括基于 SMPL 的 DIP-IMU 数据集 [11]，以及几个基于 Xsens 的数据集，包括 AnDy [35], UNIPD [36], CIP [37], Emokine [38] 和 Virginia Natural Motion [39]。遵循 DynaIP [14]，我们在 Xsens 和 SMPL 格式之间建立了统一的骨骼表示。 specifically，在基于 SMPL 的 DIP-IMU 数据集上的评估以及可视化期间，我们移除了

结论

在本文中，我们提出了 SCDIP，一种仅使用六个惯性测量单元 (IMU) 进行人体姿态估计的两阶段建模方法。我们的关键见解是，显式学习结构感知协调动力学能有效提高模型的性能。具体来说，我们有效利用关节动态特性和运动链传播来增强第一阶段的关节级先验生成。在随后的第二阶段，我们构建了一个全局图

CRediT 作者贡献声明

卢宇: 撰写 – 初稿，软件，方法论，概念化。 李翔文: 撰写 – 审阅与编辑，验证。 王少南: 撰写 – 审阅与编辑，验证。 徐扬: 撰写 – 审阅与编辑。 周旭: 验证。 姚志明: 项目管理。 孙一宁: 资源。 杨先军: 撰写 – 审阅与编辑，资金获取。

竞争利益声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本论文报告的工作。

致谢

本研究得到 国家科技重大专项 (2025ZD01902300) 的支持。

卢宇 |李翔文 |王少南 |徐扬 |周旭 |姚志明 |孙一宁 |杨先军