融合实时姿势估计、LSTM异常检测与RAG交互引导的多模态AI家庭健身教练系统

《Journal of Health, Population and Nutrition》：Multimodal deep learning architecture for gym exercise recognition and real-time posture error detection using LSTM and RAG-based expert chatbot

　　

摘要

家庭健身日益普及，导致居家健身训练增加。然而，缺乏受过专业人员的监督导致了动作不规范，从而增加了运动期间受伤的风险。人们也开发了自动计算机视觉系统来监控运动，但这些系统依赖于僵硬的关节角度阈值，或者需要大量的错误运动标注数据集。本文讨论了一种人工智能（AI）健身教练系统，该系统利用基于姿势的实时运动分析和具有专家知识的聊天机器人，与用户进行交互式沟通。该系统使用 MediaPipe 从网络摄像头流中进行实时二维姿势估计，然后利用时序深度学习模型处理生成的关键点序列。一个长短期记忆（LSTM）网络对正在进行的运动进行分类，一组基于 LSTM 的运动特定编码器 - 解码器网络仅通过正确重复次数进行训练，并通过重建误差异常检测准则评估动作的正确性。一个基于 Gemma-2B-IT 语言模型构建的检索增强生成（RAG）组件提供自然语言解释和情境化指导。在一个包含 9,414 个视频的自定义数据集上的评估涵盖了三种哑铃运动（肱二头肌弯举、肩部推举、侧平举），分类准确率为 95.9%，其中双向 LSTM + 注意力机制变体达到了 96.8%。编码器 - 解码器重建误差以数量级区分正确和错误的动作（平均比率 10×–15×）。聊天机器人的困惑度为 6.8，在 15 名评估员中的人评平均有用性评分为 4.4/5。所提出的多模态架构展示了通往智能家庭健身教练的一条实用途径。