mModPoEs：利用可穿戴传感器和计算机视觉实现的多模态姿态估计以及基于反馈的承重人体动作矫正

《Journal of Orthopaedics》：mModPoEs: Multimodal posture estimation and feedback-driven correction of load-bearing human movements using wearable sensors and computer vision

本研究提出一种多模态姿势评估与反馈框架，整合可穿戴传感器数据与计算机视觉分析，用于改善脊柱健康。通过IMU和柔性传感器量化姿势角度，结合MediaPipe多视角视频分析，采用随机森林等机器学习模型分类坐、立、行姿势，结果显示准确率在63%-95%，验证了多模态融合的有效性。

　　

Gokul Thilaak P | Malathi G | Thiagarajan D

印度金奈校区维洛尔理工学院计算机科学与工程学院

摘要

目的

在日常生活中，如坐姿、站立和行走等活动中的不当脊柱姿势，尤其是在承重条件下，已被认为是导致肌肉骨骼疾病（包括慢性背痛和椎间盘退化）的主要因素。本研究提出了一个多模态姿势估计和反馈框架，该框架整合了可穿戴传感器数据和计算机视觉分析技术，以支持脊柱健康。

方法

该系统结合了惯性测量单元（IMUs）和弯曲传感器的数据来量化姿势角度，同时利用MediaPipe框架从多视角（正面和侧面）的视频记录和照片中提取关键视觉特征。在物理治疗师的指导下，一个对照组在印度金奈的泰戈尔理疗学院进行了数据收集。这个对照组由40名年龄在19至22岁之间的受试者组成，选择时没有性别偏见。多模态数据的分析采用了逻辑回归（LR）、决策树（DT）、随机森林（RF）、KNN和SVM等方法。

结果

在所有评估的模型中，随机森林（RF）算法在男性和女性的所有活动中都表现出了有效的性能和平衡性。所使用的数据集包含了两种性别的样本，分别获得了75%、95%和63%的坐姿、站立和行走的准确率。

结论

研究结果表明，整合可穿戴设备和视觉技术可以提高姿势分类的准确性。尽管这些发现尚处于初步阶段，但它们为未来开发基于多模态和反馈的姿势评估系统奠定了方法论基础。

引言

根据统计数据显示，2020年全球约有6.19亿人经历过背痛和脊柱相关问题，预计到2050年这一数字将上升至8.43亿[1]。在日常活动（如坐、站、走）中，尤其是在承重条件下，不当的脊柱姿势是导致这些问题的关键因素之一。持续的姿势错位会增加对脊柱间盘、韧带和肌肉的机械压力，最终导致慢性疼痛和结构退化。因此，早期发现和纠正姿势偏差对于预防长期的肌肉骨骼并发症至关重要[2]。

姿势角度是量化姿势的指标，有助于评估姿势状况。通过分析不同的姿势角度可以获得有关姿势的宝贵信息。常用的测量方法包括测角法和摄影测量法，其中摄影测量法因其无需辐射暴露且可通过数字分析实现准确评估而成为首选的非侵入性技术。相比之下，传统方法受限于对复杂设备和成像技术（如倾角仪、MRI扫描、X光）的需求[3]。

当前的技术利用计算机视觉技术或加速度计、IMUs、弯曲传感器和陀螺仪等传感器进行姿势估计和后续矫正。然而，这两种方法单独使用时都存在局限性：像IMUs这样的传感器容易发生漂移和错位，而基于视觉的系统则容易受到遮挡、视角扭曲和光线变化的影响。现有研究的局限性在于无法同时高效地整合传感器和计算机视觉数据，而这对于获得更精确的结果至关重要。

为了克服这些挑战，人们探索了整合可穿戴设备和视觉数据的多模态融合方法。最近的研究（例如Leone, A., Rescio, G.等，2023年）表明，结合传感器和视觉数据可以提高运动分析的鲁棒性和准确性。但现有系统通常关注静态任务或孤立肢体运动，很少有研究关注在真实承重条件下的全身姿势[4]。此外，大多数系统缺乏实时反馈机制和双视图视觉整合功能，而这可以显著提高空间估计的准确性。

本研究旨在通过开发一个多模态姿势估计和反馈框架来填补这些空白，该框架同时整合了IMU和弯曲传感器数据以及双视图计算机视觉输入。该框架使用机器学习模型来分类坐、站、走等动作中的正确和错误姿势，并根据检测到的偏差生成纠正反馈。这种方法旨在通过有效的反馈机制提高姿势估计和矫正的准确性。

文献综述

最近关于姿势估计的研究大致可以分为三类：基于可穿戴传感器的、基于视觉的以及混合多模态系统。

可穿戴姿势监测系统主要依赖IMUs和弯曲传感器来测量脊柱曲度和确定关节方向。Papi, E., Koh, W. S.等人（2018年）在胸部和腰部区域放置IMUs来量化脊柱运动，并取得了良好的效果

参与者和数据集收集

数据集来自40名参与者，其中20名为男性，20名为女性，年龄在19至22岁之间，在印度金奈的泰戈尔理疗学院收集。数据集包括传感器数据和视觉数据。参与者在物理治疗师的监督下进行了日常活动，包括不带重物的坐姿、站立以及双手各持5公斤哑铃的站立，以及有重物和无重物的行走

从姿势角度观察到的总结

分析显示，如表1所示，女性受试者在所有姿势下的TA（角度值）相对较低。然而，根据Zappalá, M.等人的研究（2021年），性别并不影响TA，而种族和年龄等因素与TA的增加有关。因此，本研究的结果可以归因于受试者的年轻年龄组[21]。

在比较纠正前后的数据时

结论

本研究提出了一个多模态姿势估计和反馈框架，该框架在包括坐、站、走等日常活动中利用可穿戴传感器和计算机视觉技术，在有负载和无负载的情况下提供反馈。通过整合惯性测量单元（IMU）和弯曲传感器数据以及基于MediaPipe的视觉标志点，该系统在分类正确和错误的姿势方面表现出了一致的准确性。虽然这些结果表明了潜力

利益冲突

作者没有需要披露的利益冲突。

伦理声明

本研究遵循《赫尔辛基宣言》（世界医学协会，1964年及其后续修订版）中规定的伦理原则进行。所有涉及人类受试者的程序均符合适用的机构政策和程序。研究方案经过了泰戈尔理疗学院伦理委员会的审查和批准。研究对象的年龄在19至22岁之间，且没有性别偏见

知情同意

本研究已获得参与者的知情同意。他们同意将其数据用于研究和发表。

作者贡献声明

Gokul Thilaak P – 起草初稿；数据收集；方法论设计，可视化处理

Malathi G – 构思概念；审阅手稿

Thiagarajan – 数据收集；调查；审阅手稿

资金声明

本研究未获得任何资助机构的资金支持

利益冲突声明

作者声明彼此之间没有利益冲突。

致谢

作者感谢维洛尔理工学院和金奈泰戈尔理疗学院在整个研究过程中给予的持续激励和支持。