STA-TFM：融合时空信息的Transformer多视角三维人体姿态估计方法

《Sensors》：STA-TFM: Spatio-Temporal Aggregation Across Views Transformer for Pose Estimation

　　

摘要

由于深度歧义、遮挡以及对时间一致性的需求，单目三维人体姿态估计（HPE）仍然具有挑战性。虽然多视角方法比单目方法提供更优越的精度，但它们通常需要复杂的配置。我们引入了 STA-TFM，这是一种基于 Transformer 的架构，结合了空间和时间信息用于多视角姿态估计。该方法利用单目特征提取器 DSTFormer，来捕获每个视角内的长程姿态依赖关系。然后一个融合 Transformer 跨视角聚合信息，以产生连贯的三维估计。为了解决训练数据稀缺的问题，我们使用了一种数据生成流程，可以将任何现有的三维姿态数据集转换为具有可控参数的多视角配置。在各种数据集上的实验表明，STA-TFM 优于现有的无相机参数多视角方法。在 DHP19 数据集上，STA-TFM 实现了平均单关节位置误差（MPJPE）和平均单关节速度误差（MPJVE）分别降低 50.9% 和 49.5%。此外，在 HAA4D 上分别实现了 6.7% 和 7.7% 的降低，在 TotalCapture 上实现了 15.2% 的 MPJPE 降低。STA-TFM 能够处理嘈杂和缺失的二维输入，支持在健康监测、运动评估和沉浸式技术中的潜在部署。