DiMMPose:一种用于高效且鲁棒的三维人体姿态估计的多提示扩散 -Mamba 混合框架

《Sensors》:DiMMPose: A Diffusion-Mamba Hybrid Framework with Multi-Prompt for Efficient and Robust 3D Human Pose Estimation

【字体: 大 中 小 】 时间:2026年09月02日 来源:Sensors 4.0

编辑推荐:

   摘要

  

摘要

单目 3D 人体姿态估计 (3D HPE) 通常采用两阶段方法:从图像中估计 2D 关节位置,然后将它们提升为 3D 坐标,有效减少直接方法固有的数据集偏差。然而,当前的提升技术面临两个关键挑战:许多基于 Transformer 的方法依赖于基于注意力或分阶段的时空建模,这可能限制高效的长程帧 - 关节推理,而扩散模型支持姿态不确定性的概率建模,但对关节坐标噪声仍然敏感。我们提出了 DiMMPose,一个由 Mamba 状态空间模型增强的基于扩散的框架,用于鲁包且高效的 3D 姿态估计。其去噪过程由两个协调模块组成。时空 Mamba 块 (STMB) 作为核心特征提取模块,采用内部 Pose Mamba 组件,具有双向状态传播和线性复杂度,以高效建模长程帧 - 关节依赖关系。STMB 通过时空扫描与合并进一步细化这些特征,它以互补的帧 - 关节顺序遍历相同的骨骼 token 并融合所得表示。多提示 Mamba 去噪器 (MPMD) 结合了由 LongCLIP 编码的结构化提示与可学习提示表示,在去噪过程中提供解剖结构和运动相关的指导。DiMMPose 在 Human3.6M 数据集的 DET 设置下实现了 28.9 mm 的平均 MPJPE,其中 Walking 的动作特定误差为 21.2 mm,WalkTogether 为 22.0 mm。相比 FinePOSE 提升了 3.0 mm,推理延迟减少了 57.1%,并在 MPI-INF-3DHP (N = 243) 上实现了 23.0 mm 的 MPJPE。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号