LiPE:为移动端自动化姿态分析打造的轻量级人体姿态估计利器

【字体: 时间:2025年05月06日 来源:Cognitive Robotics CS8.4

编辑推荐:

  当前人体姿态估计模型在追求高精度时忽略了实际应用中的效率需求。研究人员开展 LiPE(Lightweight Human Pose Estimator)的研究,采用轻量级模块。结果显示,LiPE 计算效率高、精度良好,还开发了相关系统,对体育教学等意义重大。

  在科技飞速发展的今天,人体姿态估计在众多领域都有着广泛的应用,比如体育教学、人机交互以及动画制作等。然而,现有的人体姿态估计模型却陷入了一个困境。为了追求更高的精度,它们纷纷采用厚重的骨干网络和复杂的特征增强模块,可这却导致模型在实际应用中的效率大打折扣。想象一下,在体育教学场景中,老师或教练想要实时分析学生的动作姿态,以便及时纠正错误,提升教学效果。但现有的模型计算资源需求大,他们根本无法携带高性能计算机随时随地进行分析。在传统民间体育的研究与传承中,研究人员需要处理大量的图像和视频资料,现有的模型也难以满足高效处理的需求。正是在这样的背景下,开展一项旨在解决模型效率问题的研究显得尤为迫切。
为了突破这一困境,研究人员开展了关于轻量级人体姿态估计器(LiPE,Lightweight Human Pose Estimator)的研究。最终,他们成功提出了 LiPE,并开发出基于 LiPE 的实时人体姿态估计和评估系统。这一成果对于推动体育教学智能化、助力传统民间体育的数字化保存与分析有着重要意义,相关研究成果发表在《Cognitive Robotics》上。

研究人员在开展这项研究时,主要运用了以下关键技术方法:首先是模型构建技术,采用轻量级的 MobileNetV2 作为骨干网络进行特征提取,利用深度可分离卷积降低计算量,通过倒残差结构提升模型性能;其次是设计了轻量级的上采样模块,基于深度可分离反卷积(DSDC)提高特征图分辨率;还使用了带有挤压激励(SE)模块的轻量级预测头,以动态分配不同通道权重。在训练和评估方面,以 MPII 数据集为样本队列,采用 PCKh@α 作为评估指标。

下面来详细看看研究结果:

  • 数据集和评估指标:选择 MPII 人体姿态估计基准数据集进行评估,该数据集包含约 25k 张图像,标注了约 40K 人的全身姿态,每人有 16 个关键点。采用头部归一化正确关键点百分比(PCKh@α)评估性能,若预测关键点与真实关键点距离在预设头部大小分数 α 内,则认为预测正确。
  • 实验细节:从图像中裁剪人体边界框并调整为 256×256 大小,使用随机旋转、缩放和水平翻转进行数据增强。采用标准 MobileNetV2 骨干网络,输出特征图大小为 320×8×8,经三个深度可分离反卷积模块上采样后,特征图大小变为 256×64×64,预测热图大小为 16×64×64。使用 AdamW 优化器训练 140 个 epoch,初始学习率为 1e?3 ,并在第 90 和 120 个 epoch 分别降至 1e?4 和 1e?5 ,推理时采用翻转测试。
  • 消融实验:以简单高效的 Simple Baseline 方法为基线,逐步替换其组件。结果表明,用 MobileNetV2 替换 ResNet50 骨干网络,计算量(MACs)下降 40.3%,参数数量减少 71.9%,PCKh@0.5 下降 2.6 点;用深度可分离反卷积模块替换传统反卷积模块,MACs 和参数数量进一步降至基线的 6.8% 和 6.0%,PCKh@0.5 受轻微影响;引入挤压激励模块后,PCKh@0.5 提高 1.0 点,效率未受影响。LiPE 与基线相比,参数数量减少 93.9%,MACs 减少 93.2%,PCKh@0.5 仅下降 3.2% ,实现了有效性和效率的良好平衡。
  • 与其他方法比较:在 MPII 基准上,LiPE 与其他方法相比,虽注重效率,但精度仍具竞争力,在多个关键点的预测上表现出色,总体 PCKh@0.5 达到 85.7%。
  • 定性结果:LiPE 能应对多种姿态的估计,包括站立、行走、坐、躺等。在一些具有挑战性的场景,如人物尺度小或部分身体被遮挡时,也能取得较好结果。但当人体严重遮挡时,LiPE 会出现错误。
  • 系统设计:提出归一化姿态距离(NPD)指标评估估计姿态与标准姿态的符合程度。基于 LiPE 和 NPD,开发了移动端实时姿态估计和评估系统。该系统可将估计姿态与标准姿态对比,根据 NPD 指标反馈给用户偏差程度。

研究结论和讨论部分指出,LiPE 基于轻量级模块实现了高效的人体姿态估计,在 MPII 数据集上展现出良好的有效性和效率,并开发出相关实时评估系统,适用于移动应用。然而,LiPE 也存在局限性,在遮挡情况下姿态估计不够准确。未来可通过在人体关键点层面进行数据增强、收集更多样化的数据集以及引入人体姿态结构的先验约束等方法来改进。这项研究为移动端人体姿态估计和自动化姿态分析提供了新的解决方案,对推动相关领域的发展有着重要意义,也为后续研究指明了方向。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号