基于分层时空融合的稀疏可穿戴传感器全身体态估计方法

《Information Fusion》：Hierarchical Spatiotemporal Fusion for Full-Body Pose Estimation Using Sparse Wearable Sensors

　　

杨英豪|张三一|魏奇轩|李思远|叶龙

• •
  该框架受分形理论启发，整合稀疏可穿戴传感器数据，实现精准的全身动作追踪。
• •
  通过可学习的时空先验模型，捕捉关节层面的结构关联，提升动作连贯性。
• •
  FSS架构运用LSTM与Transformer技术，将局部预测与稀疏输入分层融合，从而实现更可靠的姿态估计。
• •
  在AMASS数据集及真实VR动作追踪任务中展现出顶尖性能，证明了其实际应用价值。

引言

在全身动作追踪方面，它对于提升用户在虚拟现实环境中的沉浸感起着关键作用[1]。高精度的动作追踪能够增强身体化交流的表现力，让用户在与虚拟角色互动时更有身临其境的感觉。因此，准确的化身追踪对于传达用户意图以及提升VR体验的真实性至关重要。

全身人体动作追踪方法通常根据所使用的感知技术分为三类：专业动作捕捉系统、基于IMU的方法以及基于VR设备的追踪方案。诸如Vicon¹和Xsens²这类专业动作捕捉系统，借助先进的感知与数据处理技术，可实现高精度的全身追踪。不过这类系统主要面向商业应用，价格高昂，普通消费者难以承受。为降低全身动作追踪的成本，有多项研究[2]、[3]、[4]探讨了使用成本较低的惯性测量单元来估计人体姿态。这些方法通常仅需要六个稀疏的IMU，大幅降低了整体系统成本。然而，基于IMU的方法依赖于初始动作校准，随着时间推移可能会出现误差累积，进而降低姿态估计的准确性。此外，这类方法独立于主流VR平台运行，因此需要针对特定环境进行校准与适配。为便于与VR/AR系统无缝集成，近期有研究[5]、[6]、[7]、[8]尝试仅利用头显和手持控制器来实现全身动作预测，从而无需额外硬件。但这些方法仅依靠三个上半身传感器的数据来推断下半身的动作，导致追踪精度不高，尤其在动态场景下，用户的沉浸感会明显下降[9]。因此，实现精准的全身动作追踪仍是推动VR技术发展的核心挑战之一。

解决这一挑战的一个潜在途径，就是利用人体动作所具有的固有结构规律性，这类规律往往表现为模块化与自相似性。模块化特性使得复杂的动作可以分解为多个简单关节组的协同动作。例如，手臂动作可以从肩部开始进行分层分析，肘部和腕部则是相互关联的子单元。在动作过程中，这些子关节的角度变化往往遵循一致或相关的模式。更广泛地说，尽管人体由多种不同的关节组构成，但手臂和腿部等部位的角动量却具有很强的一致性。这些观察结果促使人们设计出一种受分形理论启发的建模框架，以便更有效地捕捉人体动作中的这种相似性关系。

与这一思路相辅相成的是，基于Transformer的架构在各类序列学习任务中取得了优异成绩，这也为将其应用于稀疏动作追踪提供了可能。不过，直接使用普通的Transformer往往会导致预测结果出现抖动，且姿态估计的精度也会下降[10]，因为自注意力机制是为变长序列设计的，缺乏处理固定结构数据的先验信息。在人体动作序列中，时间维度对应的是不同帧，空间维度则对应传感器，而解剖学上相邻的关节之间存在较强的关联性，同时连续帧之间的时间依赖性也较为平滑。这类固定长度的序列具有独特的时空结构，而普通的Transformer无法有效捕捉到这些结构，从而导致全身姿态估计的效果不佳。

为应对这两个核心问题，我们提出了一种受分形理论启发的时空结构（FSS）追踪架构，如图1所示，该架构仅通过头显和控制器，采用数据驱动的方式优化全身姿态估计。具体而言，受到局部关节组之间自相似动作模式的启发，我们设计了一种模块化、分层式的架构，用于捕捉人体动作的固有结构规律。该框架首先运用结构相似的解码器模块来估计身体关键部位（如头部、躯干和四肢）的旋转角度。随后，这些局部预测结果会通过全局Transformer模块逐步整合与优化，最终得到完整的全身姿态。这种递归式架构能够同时模拟局部一致性以及全局结构关联，从而利用稀疏的多传感器输入实现更准确、更可靠的姿态估计。此外，为弥补自注意力机制在处理短长度固定序列时的不足，我们设计了一种全新的时空结构先验模块，专门用于捕捉人体动作数据中的固有空间与时间关联。该模块包含了从训练数据中统计得到的、用于编码关节旋转模式、空间关联和时间动态的可用矩阵。这些可学习的先验信息会在Transformer的时空特征提取阶段与稀疏输入数据相结合，进而提升姿态估计的精度，有效抑制预测抖动，使动作重建结果更加稳定且逼真。

本文的主要贡献如下：

• •
  受到人体动作的自相似性和层次化结构的启发，我们提出了一种基于分形理论的全身姿态追踪框架。该框架将结构相似的模块对身体关键部位（如头部、躯干和四肢）的预测结果与稀疏的多传感器输入数据相结合，从而优化全身姿态估计。这种受分形理论启发的递归架构能够同时模拟局部一致性以及全局结构关联，进而提升预测精度。
• •
  为提升网络处理固定长度序列模式的能力，我们引入了一种基于人体先验信息的时空结构模块。这些通过统计分析得出的时空结构先验信息会与稀疏的多传感器输入数据结合，作为互补信息使用。这样的设计既能够有效捕捉关节之间的时空关联，又能降低整体估计的复杂度。
• •
  我们提出了一种简单且高效的数据驱动架构——FSS，它借助标准的LSTM和Transformer组件来整合稀疏的多传感器输入数据。通过精心设计的优化策略，FSS在大规模的AMASS动作捕捉数据集上实现了顶尖的性能，并展现出出色的泛化能力，能够在真实的VR环境中实现逼真的人身动作追踪。

章节节选

相关研究

人体动作追踪是一个涉及计算机图形学和计算机视觉等多学科的研究领域，此前已有大量相关研究[11]、[12]、[13]。本节重点探讨稀疏可穿戴传感器配置，主要研究两类方法：基于IMU的方法以及基于VR的方法。

方法论

如图2所示，本文提出的FSS系统的整体框架如图所示。

实验细节

我们使用AMASS数据集[28]来训练和评估模型，该数据集是一个大规模的人体动作数据库，它将15个基于光学标记的动作捕捉数据集整合在统一的框架和参数体系之下。与以往研究一致，除非另有说明，我们将输入序列的长度设置为41帧。在推理过程中，采用滑动窗口机制，利用当前帧以及之前的$T?1$帧来预测当前的姿态。训练是在相应系统上进行的

应用场景

为进一步评估该方法在VR应用中的实际表现，我们使用了HTC Vive Pro头显、一台参考级网络摄像头以及一台台式电脑来收集真实的VR数据。位置和旋转数据是通过OpenVR接口获取的，而网络摄像头则用于记录真实的参考姿态，以便进行定性评估。我们直接使用了原始的传感器数据，仅进行了最基本的格式转换，以满足网络传输的要求。实验结果如图所示

局限性及未来工作

尽管所提出的方法仅依靠稀疏的可穿戴传感器就能达到顶尖的性能，但由于无法直接观测到腿部动作，因此重建下半身动作仍然是一个约束条件较少的难题。虽然所提出的分层架构以及可学习的时空先验模型能够有效利用上下半身动作之间的运动关联，但对于那些上下半身耦合较弱或动作极为复杂的场景，仍可能出现识别模糊的问题

结论

在本文中，我们提出了一种名为“受分形理论启发的时空结构（FSS）追踪”的全新框架，该框架仅利用稀疏的VR传感器即可实现全身姿态估计。该框架受到关节动作模式自相似性的启发，通过模块化的解码器来预测身体关键部位的旋转角度，再基于这些预测结果进一步优化全身姿态。为克服传统自注意力机制在处理固定长度序列时的局限性，我们引入了一种时空结构模块，用于嵌入

CRediT作者贡献说明

杨英豪：撰写——初稿撰写、可视化处理、监督指导、资源提供、正式分析。 张三一：监督指导、数据整理、概念构思。 魏奇轩：撰写——审稿与编辑、监督指导、资源提供、正式分析。 李思远：资源提供、数据整理、概念构思。 叶龙：撰写——审稿与编辑、方法论设计、资金筹集、数据整理。

利益冲突声明

各位作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。