基于置信度门控的九轴IMU与视觉姿态估计双流融合运动识别及动作质量评估系统

《Sensors》:An Embedded Multi-Sensor IoT Platform for Agricultural Monitoring Using Meshtastic-Based LoRa Communication and Cloud Microservices

【字体: 大 中 小 】 时间:2026年09月16日 来源:Sensors 4.0

编辑推荐:

   在有监督的运动训练中,运动识别和动作质量评估仍然具有挑战性,特别是在视角变化和自我遮挡条件下。基于视觉的方法可提供空间姿态信息,但容易受到关键点丢失的影响;而惯性传感受遮挡影响较小,但提供的全局姿态几何信息有限。本研究提出了一个双流原型系统,将九轴惯性测量

  


在有监督的运动训练中,运动识别和动作质量评估仍然具有挑战性,特别是在视角变化和自我遮挡条件下。基于视觉的方法可提供空间姿态信息,但容易受到关键点丢失的影响;而惯性传感受遮挡影响较小,但提供的全局姿态几何信息有限。本研究提出了一个双流原型系统,将九轴惯性测量单元(Inertial Measurement Unit, IMU)与基于视觉的姿态估计相结合。其中,1DCNN-LSTM(一维卷积神经网络-长短期记忆网络)分支用于建模惯性动力学,自定义关键点时间分支用于建模归一化姿态序列,置信度门控规则根据视觉关键点可靠性调整两者的贡献。由于缺乏符合所需协议的公开同步多视角IMU-视觉运动数据集,研究人员构建了IMV-Exercise(IMU-Vision Multi-View Exercise Dataset,IMU-视觉多视角运动数据集),包含10名参与者、3种运动类型和900个重复级别样本,并记录了侧面、正面和后面视角的视频。在留一被试交叉验证(Leave-One-Subject-Out Cross-Validation, LOSO)下,系统达到了96.0%的运动识别准确率。在独立的视角特定评估中,融合输出在后方视角下达到了91.2%的动作窗口准确率。在50次在线试验中,报告的识别准确率为96.0%,平均端到端延迟为195毫秒,记录的最大延迟低于210毫秒。这些结果在所研究的队列和运动类型范围内确立了可行性;更广泛的泛化能力和反馈有效性需要更大规模、独立对照的评估来验证。
**论文解读**

**一、研究背景与问题**

在有监督的结构化运动训练场景中,参与者反复执行标准化动作,教练需要持续监测动作质量并及时提供纠正反馈。然而,在高频次或长时间训练中,仅靠直接观察难以对每一次重复动作提供一致且定量的评估,尤其涉及动作幅度、躯干稳定性、关节代偿和运动节奏等维度。因此,可穿戴传感器逐渐被研究用于实时运动学监测和训练支持。现有方法主要分为两类:基于视觉的方法通常利用RGB相机、深度传感器或人体姿态估计算法提取关键点,再应用时空图模型、卷积网络或Transformer等深度学习架构进行运动识别。此类方法能提供丰富的空间姿态信息,适用于分析关节角度和肢体轨迹,但其性能对相机视角、光照变化、背景杂乱和肢体自我遮挡高度敏感。在俯卧撑、仰卧起坐和深蹲等练习中,当参与者处于低体位、从后方观察或发生躯干遮挡时,肩、肘、腕、髋、膝等关键点可能部分或完全无法检测,从而降低识别和评估的可靠性。相比之下,基于可穿戴惯性传感器的方法不依赖相机视角,具有低功耗、易部署和对遮挡鲁棒性强等优势。IMU可采集加速度、角速度和姿态角等时间序列数据,适合表征运动节奏、加速度峰值和旋转状态。然而,单节点或稀疏惯性传感器主要捕获局部动态变化,提供的全局空间姿态约束有限,在检测精细姿态偏差(如肘关节屈曲不足、躯干倾斜和膝关节内扣)方面能力不足。上述分析表明,视觉和惯性模态在实际训练场景中提供互补信息:视觉模态提供空间姿态信息但在遮挡或视角变化下可靠性降低,惯性传感器提供连续动态信息但对全局姿态关系的洞察有限。然而,实时多模态运动系统仍面临三个主要挑战:不同模态的采样频率和数据结构不同,需要时间对齐;多模态模型带来额外计算成本,需在识别性能和响应速度之间取得平衡;训练辅助系统除分类运动类型外,还必须量化动作完成度、姿态偏差和节奏稳定性。

**二、研究概述与意义**

为应对上述挑战,本研究提出了一个双流动作质量评估原型系统,将九轴IMU与基于视觉的姿态估计相结合。该系统通过基于时间戳的对齐和线性插值同步IMU信号与视觉关键点序列,并使用预提取的人体关键点序列而非原始RGB张量作为时序视觉模型的输入。基于动态时间规整(Dynamic Time Warping, DTW)和欧拉角稳定性的指标用于量化动作完成度、姿态偏差和节奏变异。置信度门控融合规则根据平均视觉关键点置信度调整模态权重,并生成运动类别及基于规则的纠正提示。研究的主要贡献包括:开发了置信度门控IMU-视觉融合流程用于运动识别和姿态评估;引入了基于DTW和欧拉角稳定性的动作质量评估指标;构建了自采集的IMU-视觉多模态运动数据集IMV-Exercise;实现并评估了实时训练辅助原型系统。该研究的意义在于探索了在结构化训练辅助场景中联合部署可穿戴惯性传感和视觉姿态估计的可行性,为构建可量化的实时运动监测与反馈系统提供了技术方案。

**三、关键技术方法**

本研究采用的技术方法主要包括以下方面。硬件平台由JY901九轴微机电系统(Micro-Electro-Mechanical System, MEMS)惯性传感器、ESP8266 WiFi通信模块(ESP8266芯片来自乐鑫科技,上海)、3.7V 2500mAh锂聚合物电池、1920×1080 RGB相机和本地工作站组成。IMU数据以200 Hz采样率采集,RGB视频以30 FPS帧率录制。视觉姿态估计采用MediaPipe Pose从RGB视频帧中提取人体关键点,从原始33个关键点中选取17个核心关键点(包括肩、肘、腕、髋、膝、踝及头部和足部参考点)用于后续时序建模,并以髋关节中心为局部坐标原点进行归一化。研究人员构建了IMV-Exercise数据集,共招募10名参与者(6男4女,年龄23.5±2.8岁),包含俯卧撑、仰卧起坐和深蹲三种运动类型,每种运动每名参与者完成30次标准化重复,共计900个重复级别样本,并采集侧面、正面和后面三个视角的视频。IMU数据预处理包括滑动窗口结合多阈值决策的动作分割(窗口长度40帧、步长20帧)、移动平均滤波、多轴差分能量计算和Z-score标准化。时间对齐通过处理单元记录的时间戳进行,对于需要与IMU采样时刻匹配的视觉关键点,在相邻视频帧之间进行线性插值。IMU分支采用1DCNN-LSTM模型,卷积块提取局部波形变化,LSTM建模运动阶段间依赖关系。视觉分支为自定义关键点时间分支,接收髋中心归一化后的关键点序列,其多尺度时间表示和局部时间注意力的设计概念上受ActionFormer启发,但并非原始ActionFormer时序定位模型或其RGB/视频特征前端的实现。融合策略为置信度门控启发式规则:当17个核心关键点的平均检测置信度低于固定阈值0.45时,禁用视觉贡献;否则两模态权重随平均置信度线性变化。动作质量评估方面,姿态稳定性由动作周期窗口内欧拉角向量的变化量化,动作完成度和节奏偏差则通过DTW计算测试序列与标准模板序列之间的归一化距离进行评估。反馈标签按安全、正确性和节奏三个优先级分类,每个动作窗口最多触发一条主要反馈标签。

**四、研究结果**

(一)主要结果。融合系统在IMV-Exercise上采用LOSO交叉验证,达到了96.0%的整体重复级别运动识别准确率。该值衡量了对同一采样人群中未参与训练的个体的泛化能力。在相同LOSO协议下,作为参考基线的隐马尔可夫模型(HMM)准确率为94.8%,支持向量机(SVM)为89.0%,时空图卷积网络(ST-GCN)为76.2%,但基线结果来自不同传感输入和表征,差异仅为描述性参考。

(二)逐动作和逐视角性能。为评估视觉模态在不同视角下的识别能力,研究人员对三种运动类型在侧面、正面和后面视角下各采样1000帧进行逐帧分析。在侧面视角下,俯卧撑、仰卧起坐和深蹲的帧级准确率分别为100.0%、95.0%和99.2%;正面视角下分别为93.2%、88.5%和86.6%;后面视角下分别为0.0%、25.7%和66.2%。相应的微平均准确率分别为98.1%、89.4%和30.6%。错误模式以拒识(无有效类别预测)为主:在3000帧后面视角样本中,2013帧未被识别,包括全部1000帧俯卧撑、675帧仰卧起坐和338帧深蹲,仅68帧被记录为跨类错误且全部来自仰卧起坐子集。这表明后方自我遮挡主要导致姿态流程无法给出有效类别,而非持续混淆某对运动类型。未被识别帧率从侧面视角的1.9%上升至后面视角的67.1%。

(三)视角特定的融合输出。融合输出在侧面、正面和后面视角动作窗口子集上的准确率分别为100.0%、95.0%和91.2%。后面视角融合准确率的下降与视觉模态的高拒识率一致,可能的机制包括部分可见关节的残差误差、17个关键点在视觉置信度平均中的等权贡献、0.45阈值的突变门控以及快速运动阶段的时序对齐误差。

(四)延迟与部署性能。在50次在线检测试验中,完整流程的在线识别准确率为96.0%,平均端到端响应延迟为195毫秒,记录的最大延迟低于210毫秒。端到端延迟定义为从当前动作窗口所需最后输入帧到达处理单元到反馈输出生成并触发的完整时间间隔,涵盖数据解析滤波与动作分割、跨模态时间对齐、双分支模型推理、融合决策与反馈标签生成以及界面更新或语音提示触发等环节。

**五、讨论与结论**

讨论部分指出,融合设计基于互补的传感特性:IMU信号表征加速度、角速度和姿态变化而不依赖相机可见性,关键点序列提供图像平面关节几何信息。实验显示融合输出在三种视角下均保持在90%以上,但因缺少匹配的单分支逐样本预测,无法进行受控模态消融实验。视觉帧分析提供了更明确的失效信号:未被识别帧率从侧面视角的1.9%上升至后面视角的67.1%,表明可检测或足够置信的关键点丧失——而非两类运动间的系统性混淆——是主要的视觉失效模式。当前融合规则将全部17个关节等权贡献,采用固定不连续阈值0.45且未进行阈值敏感性分析,未来应比较不同操作点、使用运动依赖或学习的关节权重、校准置信度并用平滑过渡或不确定性感知融合规则替代硬门控。关于部署性,50次在线试验产生的平均端到端延迟为195毫秒,但日志仅保留了输入到达和反馈触发时间戳,无法计算各阶段延迟分布。反馈模块将分类和动作质量输出映射为一条优先化的文本或语音提示,但本研究未评估参与者是否因此改善技术动作,反馈有效性需要前瞻性设计的对照研究来验证。研究存在若干局限性:最终模型规格记录不完整,无法进行精确的架构复现;IMV-Exercise仅含10名年轻成人参与者,年龄分布狭窄;仅包含三种高度周期性的运动类型;相机和传感器放置条件相对固定;缺少独立帧级起止标注,无法评估分割精度和召回率;线性插值假设关键点局部匀速运动,在快速转向时可能不准确。

研究结论部分指出:本研究提出了一个双流原型系统,将九轴IMU传感与基于视觉的关键点序列相结合,用于运动识别和动作质量计算。在IMV-Exercise上,融合系统在LOSO评估下达到96.0%的重复级别准确率。在独立的50次在线试验中,报告的识别准确率为96.0%,平均端到端延迟为195毫秒,记录的最大延迟低于210毫秒。视角分析还量化了后方视角下视觉拒识率的显著上升,而融合动作窗口输出仍保持在91.2%的准确率。证据限于10名年轻成人、三种周期性运动、固定采集条件、聚合延迟日志和保留的汇总输出,尚不能确立受控的模态优势或反馈有效性。未来工作应保留可执行的模型规格、逐样本预测和内部时间戳,验证分割和阈值敏感性,采用匹配窗口消融实验,并在真实条件下对更大规模、更多样化的队列进行评估。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号