混合视觉技术：结合惯性测量单元（IMU）与深度学习框架，运用图卷积网络（Graph Convolutional Networks）和注意力机制（Attention Mechanisms），实现个性化瑜伽姿势的识别

《Scientific Reports》：Hybrid vision–IMU deep learning framework with graph convolutional networks and attention for personalized yoga posture identification

　　

摘要

体式（Asanas）对于有效维护人类的身心健康至关重要。数字训练平台、健身监测设备和医疗应用程序都依赖于准确的瑜伽姿势检测。传统的基于视觉的姿势识别算法面临着诸如遮挡、背景干扰、不同相机角度以及人体比例个体差异等问题。为了解决这些问题，本研究提出了一种结合视觉和惯性测量单元（IMU）的深度学习架构，用于实现个性化的瑜伽姿势检测。在研究中，利用运动学姿态轨迹和Yoga-82视觉数据集构建了一个合成的IMU数据集。IMU信号是通过骨骼关节运动算法生成的，该算法基于生物力学运动模型在受控条件下再现加速度计和陀螺仪的读数。长短期记忆网络（LSTM）用于编码IMU数据，而图卷积网络（GCN）则用于解析视觉特征。最后，通过使用基于注意力机制的技术将这两种特征流结合起来，以提供针对用户的特定姿势分类结果。实验结果表明，在分类准确性和误报率方面，这种混合模型比仅依赖视觉或仅依赖IMU的模型表现得更好。这表明混合深度学习算法可以应用于实时、定制化的瑜伽姿势识别，从而服务于医疗领域。