基于深度数据与上肢损伤对轻量化单目 RGB 人体姿态估计模型的影响研究:为康复领域开启新篇

【字体: 时间:2025年02月10日 来源:BioMedical Engineering OnLine 2.9

编辑推荐:

  为解决康复领域数据收集问题,研究人员开展了深度数据和上肢损伤对轻量化单目 RGB 人体姿态估计(HPE)模型影响的研究。结果显示早期融合深度数据可提升 HPE 模型的精度 - 效率平衡,且模型精度不受肢体损伤影响。这为康复数据收集提供了新方向。

  在康复医学的广阔领域中,精准量化运动表现对评估治疗效果和实现个性化治疗至关重要。传统的基于标记的光学运动捕捉(MoCap)系统虽精度高,却如同 “笨重的大象”,不仅设备昂贵、搭建耗时,还只能在实验室特定环境下收集数据,严重限制了数据的多样性和数量。随着深度学习的蓬勃发展,基于视频数据的人体姿态估计(HPE)技术崭露头角。它成本低、使用方便,能摆脱场地限制收集大量数据。然而,目前的 HPE 模型存在两大关键问题:一是深度数据利用不足,3D RGB HPE 模型常受深度模糊困扰,虽 RGB - D 数据能解决此问题,但多数模型未充分利用;二是模型多基于健康人数据训练,在康复场景中对有肢体损伤患者的适用性存疑。
为攻克这些难题,来自加拿大的 KITE 研究所、多伦多大学等机构的研究人员 Gloria - Edith Boudreault - Morales、Cesar Marquez - Chin 等人开展了深入研究,成果发表于《BioMedical Engineering OnLine》。

研究人员主要采用了以下关键技术方法:首先,选取了 CMU Panoptic、Human3.6M 公共数据集及自定义数据集(包含 15 名未受伤者和 12 名中风患者的 RGB - D 和光学运动捕捉数据)。其次,选择 Dite - HRNet(用于 2D HPE)和 MobileHumanPose(用于 3D HPE)这两个轻量化单目 RGB HPE 模型,并运用早期融合(CH)、简单中间融合(Cat)和复杂中间融合(Fuse)三种技术将深度数据融入模型。最后,通过平均关节位置误差(MPJPE)、浮点运算次数(FLOPs)和帧率等指标评估模型性能。

研究结果如下:

  1. 深度数据对轻量化单目 HPE 模型的影响
    • 对精度的影响:在不同数据集测试中,CH 方法通常能使模型获得更低的 MPJPE。以 Dite - HRNet 模型为例,在 CMU 数据集训练和测试时,CH 模型的 MPJPEpix为 18.86 像素,低于 RGB 模型的 25.70 像素;在 SUD 数据集上,CH 模型的 MPJPEpix均值为 11 像素,同样表现更优。MobileHumanPose 模型也呈现类似趋势,在 H3.6M 数据集训练和测试时,CH 模型的 MPJPEmm为 72.52 毫米,比 RGB 模型的 463.95 毫米低很多。不过,在 2D HPE 中,随着训练数据增加,深度数据带来的优势会减弱;而在 3D HPE 中,优势则会增强。
    • 对计算效率的影响:从 FLOPs 来看,RGB 版本模型最低,CH 版本紧随其后,Cat 和 Fuse 版本较高。在帧率方面,2D HPE 中 CH 方法与 RGB 模型相近或略高,Cat 和 Fuse 模型则较慢;3D HPE 中模型复杂度增加(FLOPs 增多)时帧率下降,CH 模型速度仅次于 RGB 模型。

  2. 身体损伤对轻量化单目 HPE 模型的影响:利用自定义 SUD 数据集,对比未受伤组和中风组的 HPE 精度。结果显示,所有模型在两组间的 MPJPE 差异均无统计学意义(所有 p 值 > 0.36),表明模型训练数据虽来自健康人,但对有身体损伤的患者同样适用。

研究结论和讨论部分意义重大。在深度数据利用方面,早期融合深度数据(CH 方法)在提升模型精度的同时,对计算效率影响较小,为 HPE 模型的优化提供了有效途径。在模型适用性上,研究首次证实身体损伤对 HPE 模型预测精度无显著影响,意味着基于健康人数据训练的模型可推广应用于康复场景,为康复医学中使用 HPE 技术提供了有力依据。这一成果有望重塑康复治疗流程,在患者层面实现更精准的运动评估和个性化干预;在系统层面,为康复过程中的数据收集提供可扩展方案,推动康复医学的发展,助力构建更完善的康复干预证据体系。但研究也存在局限性,如数据多样性不足,未来可探索更多样化数据对模型的影响,进一步优化 HPE 模型在康复领域的应用。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号