SCALE-Pose：基于骨骼校正和语言知识辅助的3D人体姿态估计方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：SCALE-Pose: Skeletal Correction and Language Knowledge-assisted for 3D Human Pose Estimation

基于Transformer的3D人体姿态估计方法存在骨骼约束缺失和 prior knowledge整合不足的问题，本文提出SCALE-Pose方法通过时空骨骼精修网络、加权关节位置误差损失函数和角度基于的损失函数增强骨骼特征建模，并引入LLM训练策略生成类别语义知识辅助运动特征提取。

　　

摘要AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

基于Transformer的3D人体姿态估计方法通常使用2D关节序列作为输入，利用空间和时间Transformer编码器来建模3D人体姿态。然而，这些方法往往未能结合骨骼约束来限制关节运动。同时，也忽略了整合先验类别知识以增强关节表示的能力。为了解决这些问题，本文提出了一种名为SCALE-Pose的新方法。我们的方法首先基于时空骨骼细化构建了一个特征提取网络，在空间和时间骨骼编码器中设计了骨骼校正模块，以增强主干网络对骨骼特征的理解。同时，应用了加权平均关节位置误差损失函数来提高网络表示不同难度级别关节的能力。还设计了一种基于弧度的损失函数来处理骨骼关节角度，进一步增强了模型捕捉细微骨骼运动的能力。此外，提出了一种基于大型语言模型（LLM）先验的训练策略，从类别关键词中生成特定类别的先验语义知识，然后将其作为辅助信息用于提取运动特征。基于Human3.6M和MPI-INF-3DHP数据集的实验结果充分证明了所提方法的有效性。

AI摘要

AI生成的摘要（实验结果）

此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助发现、评估相关性，并协助来自相关研究领域的读者理解本文内容。它旨在补充作者提供的摘要，后者仍是文章的正式摘要。完整文章是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由AI生成的简单语言摘要，您必须具有高级访问权限。