DiMMPose:一种用于高效且鲁棒的三维人体姿态估计的多提示扩散 -Mamba 混合框架
《Sensors》:DiMMPose: A Diffusion-Mamba Hybrid Framework with Multi-Prompt for Efficient and Robust 3D Human Pose Estimation
【字体:
大
中
小
】
时间:2026年09月02日
来源:Sensors 4.0
摘要
单目 3D 人体姿态估计 (3D HPE) 通常采用两阶段方法:从图像中估计 2D 关节位置,然后将它们提升为 3D 坐标,有效减少直接方法固有的数据集偏差。然而,当前的提升技术面临两个关键挑战:许多基于 Transformer 的方法依赖于基于注意力或分阶段的时空建模,这可能限制高效的长程帧 - 关节推理,而扩散模型支持姿态不确定性的概率建模,但对关节坐标噪声仍然敏感。我们提出了 DiMMPose,一个由 Mamba 状态空间模型增强的基于扩散的框架,用于鲁包且高效的 3D 姿态估计。其去噪过程由两个协调模块组成。时空 Mamba 块 (STMB) 作为核心特征提取模块,采用内部 Pose Mamba 组件,具有双向状态传播和线性复杂度,以高效建模长程帧 - 关节依赖关系。STMB 通过时空扫描与合并进一步细化这些特征,它以互补的帧 - 关节顺序遍历相同的骨骼 token 并融合所得表示。多提示 Mamba 去噪器 (MPMD) 结合了由 LongCLIP 编码的结构化提示与可学习提示表示,在去噪过程中提供解剖结构和运动相关的指导。DiMMPose 在 Human3.6M 数据集的 DET 设置下实现了 28.9 mm 的平均 MPJPE,其中 Walking 的动作特定误差为 21.2 mm,WalkTogether 为 22.0 mm。相比 FinePOSE 提升了 3.0 mm,推理延迟减少了 57.1%,并在 MPI-INF-3DHP (N = 243) 上实现了 23.0 mm 的 MPJPE。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号