基于三维姿态估计与生成对抗网络的智能武术虚拟教练系统

《Scientific Reports》：An intelligent virtual coaching system for traditional martial arts based on 3D pose estimation and generative adversarial networks

　　

摘要

传统武术难以传承。掌握技艺的宗师们日渐年迈，教学很少走出训练场，而口头纠正依然顽固地带有主观性。本文提出了一种智能虚拟教练系统，该系统将增强的三维姿态估计与生成对抗网络细化相结合。一种经过修改的高分辨率网络，辅以注意力和时间卷积，能够提取在快速打击和自遮挡情况下依然稳健的骨架，同时一个判别器引导的序列优化模块将带有噪声的轨迹拉回到生物力学合理的运动流形上。基于这些组件，一个分层反馈机制将定量的学习者与参考对比转化为实时的多模态纠正反馈。在公开基准和专门构建的武术数据集上进行评估，该流程达到了 38.6 毫米的平均每关节位置误差，同时维持了 28.4 帧每秒的处理速度，且其自动化质量评分与专家评分紧密吻合，相关系数为 0.847。综上所述，这些结果描述了一条可行的技术路径，用于保护非物质文化遗产并扩大高质量武术教学的普及渠道。