基于计算机视觉的二维人体姿态估计技术综述

《Electronics》：Techniques of 2D Human Pose Estimation Based on Computer Vision: A Survey

　　

摘要：二维（Two-Dimensional, 2D）人体姿态估计（Human Pose Estimation, HPE）是计算机视觉（Computer Vision, CV）的关键研究方向之一，在行为识别、手势追踪、智能监控及身份识别等领域具有广泛应用前景。尽管已有大量文献发表，现有综述往往缺乏统一的理论视角，且未能涵盖基础模型（Foundation Models）带来的最新范式转变。为此，研究人员通过级联方式综述了2010年至2025年深度学习在2D身体姿态估计领域的应用。首先，通过数学公式全面且具说服力地介绍了主流身体姿态数据集及相关评估指标（Evaluation Metrics）。随后，深入分析了单人与多人场景下算法的性能，综合比较了各算法模型的优缺点，涵盖了从传统架构到最新深度学习突破（特别是视觉基础模型（Vision Foundation Models, VFMs）、生成式扩散过程（Generative Diffusion Processes）及状态空间模型（State Space Models, SSMs））的对比分析。最后，总结了2D人体姿态估计领域的研究现状，指出了三大主要挑战、新兴解决方案及预期发展趋势。本综述详尽汇编了现有2D人体姿态估计研究成果，为该领域研究人员提供蓝图，并为未来研究工作奠定基础。

论文解读：基于计算机视觉的二维人体姿态估计技术综述

研究背景与意义

人体姿态估计（Human Pose Estimation, HPE）旨在从图像或视频中确定人体关键点（Keypoints，如头、肩、肘、腕、髋、膝、踝）的位置。作为行为识别、高级人机交互（Human-Computer Interaction, HCI）、智能监控及步态身份识别的前置条件，其准确性至关重要。早期基于手工特征（Hand-crafted Features，如SIFT、HOG）的方法难以应对复杂场景。深度学习的引入尤其是卷积神经网络（Convolutional Neural Network, CNN）显著提升了特征提取能力。然而，现有综述多缺乏统一的数学评估指标描述，未清晰分类热图（Heatmap）方法演进，且忽略了视觉基础模型（Vision Foundation Model, VFM）等新范式。该论文发表于《Electronics》，旨在填补上述空白，通过系统性回顾2010—2025年的2D HPE技术，明确算法设计哲学及精度、效率与鲁棒性之间的权衡，为后续研究提供架构路线图。

主要关键技术方法

研究人员采用文献综述与理论分析方法，系统梳理基于深度学习（Deep Learning, DL）的2D HPE算法演进。数据源为已发表的学术文献及主流基准数据集（Dataset），包括单人约束环境数据集（Leeds Sports Pose (LSP)、FLIC）、多人复杂环境数据集（MPII Human Pose Dataset、MSCOCO (Microsoft Common Objects in Context)、AI-Challenger (HKD)）及视频时序数据集（PoseTrack、Human-in-Events (HiEve)）。评估指标通过数学公式严格定义百分比正确部位（Percentage of Correct Parts, PCP）、关键点正确率（Percentage of Correct Keypoints, PCK，含PCKh@0.5）、目标关键点相似度（Object Keypoint Similarity, OKS）及平均精度（Average Precision, AP / mAP）。算法按检测人数分为单人姿态估计（坐标回归法与热图法）与多人姿态估计（两阶段Top-down/Bottom-up及单阶段One-stage、端到端框架、Transformer-based），并结合最新VFM、扩散模型（Diffusion Model）及状态空间模型（State Space Model, SSM）进行讨论。

研究结果

2. 相关数据集与评估指标（Relevant Datasets and Evaluation Metrics）

研究人员介绍了LSP、FLIC（早期单人）、MPII、MSCOCO、AI-Challenger（多人复杂）、PoseTrack、HiEve（视频时序）及新一代压力测试集UBody、HumanArt。详述了PCP（以肢体段长度为阈值）、PCK/PCKh（以头部骨骼长度为归一化因子）、OKS（引入关节归一化因子ki及人体框面积area的加权欧氏距离）及AP（基于OKS匹配的精度召回曲线下面积）的数学定义，并指出基于距离的指标忽略解剖学结构约束，建议未来引入运动学约束。

3. 二维人体姿态估计算法详细综述（Detailed Review Concerning 2D Human Pose Estimation Algorithms）

3.1 二维单人姿态估计（2D Single-Person Pose Estimation）

坐标回归法（Coordinate-Based Methods）：如DeepPose（多级直接回归）和迭代误差反馈（Iterative Error Feedback, IEF，多级逐步回归）及组合姿态回归（Compositional Pose Regression, CPR）。研究人员指出坐标回归因全连接层丢失空间拓扑而受限，引出热图法的优势。

热图法（Heatmap-Based Methods）：将关键点建模为二维高斯分布概率图，保留空间信息。分三方向演进：(1)引入人体结构先验（显式如马尔可夫随机场Markov Random Fields, MRF、树结构；隐式通过扩大感受野Receptive Field）；(2)网络结构优化——卷积姿态机（Convolutional Pose Machines, CPM）、堆叠沙漏网络（Stacked Hourglass Networks, SHN）、注意力机制（Hourglass Residual Units, HRU）、金字塔残差模块、多尺度结构感知（Multi-Scale Structure-Aware, MSSA）、生成对抗网络（Generative Adversarial Network, GAN）推断遮挡关节；(3)引入时序约束（光流Optical Flow、LSTM、时间延迟生成姿态估计器Generative Pose Estimator, GPE）。

3.2 多人姿态估计（Multi-Person Pose Estimation）

两阶段法（Two-Stage Approach）：

• •
  自上而下（Top–down Method）：先人检测（Faster R-CNN、YOLO等）后单人估计。演进轨迹含边界框优化与软非极大抑制（Soft Non-Maximum Suppression, Soft-NMS）、拥挤场景鲁棒关联（CrowdPose的Person-Joint Graph）、大核卷积高效网络（LKConvPose）、VFM结合知识蒸馏（ViTPose++、DWPose）及动态特征对齐。
• •
  自下而上（Bottom–up Method）：先检测所有关键点再聚类分组。典型技术含语义部件分割（Semantic Part Segmentation）、部位亲和场（Part Affinity Fields, PAFs）、DeeperCut图优化、HigherHRNet（多分辨率训练与关联嵌入Associative Embedding）。
• •
  混合方法（Top–down and Bottom–up Combination）：引入顶层反馈循环、时序整合及动态特征对齐修正级联误差。
  单阶段法（One-Stage Approach）：如PersonLab（无框Bottom-up）、单阶段多人姿态机（Single-stage multi-person Pose Machine, SPM，结构化姿态表示Structured Pose Representation, SPR）、InsPose（实例感知动态网络）、PoseDet（联合检测与关联）。
  端到端框架（End-to-End Framework）：如ED-Pose（显式框检测解码器统一人与关键点级上下文）、DiffusionRegPose（将关键点回归转化为扩散概率模型采样过程处理模糊姿态）。
  基于Transformer方法（Transformer-Based）：TransPose（CNN+自注意力捕获长距离依赖）、TokenPose（关键点表示为Token与视觉Patch交互）、SDPose（多循环Transformer Multi-Cycle Transformer, MCT与自蒸馏）。

3.3 主流数据集上经典算法的测试结果比较（Comparison of Test Results of Classical Algorithms on Mainstream Datasets）

给出MPII（PCKh@0.5）与LSP（PCK@0.2）单人算法结果，及MSCOCO（AP）多人算法与推理耗时对比，展示从DeepPose、Hourglass到HRNet、ViTPose等的性能演进里程碑。

4. 当前挑战与未来方向（Current Challenges and Future Directions）

研究人员归纳三大挑战：(1)复杂环境因素（自遮挡Self-occlusion、背景/物体遮挡、视角光照），需结合遮挡修复、网络感受野扩展及改进人体检测器/关键点关联（如Pose Residual Network, PRN）；(2)实时性要求（Timeliness Requirements），需轻量化网络（Lightweight OpenPose、Fast Pose Distillation, FPD、知识蒸馏）；(3)姿态数据不平衡（简单站立坐姿多、复杂扭曲弯腰少），需利用运动连续性（光流FlowCap）与生成式数据增强（Multi-Agent Diverse GAN, MADGAN、PacGAN）。未来趋势含轻量边缘计算、零样本生成数据增强、跨模态3D先验引入、多任务联合训练（分割、解析）及无源域适应（Source-free Domain Adaptation）。

总结讨论（结论部分翻译）

作为近年来计算机视觉的热门课题，2D人体姿态估计已广泛应用于动作识别、智能监控及人机交互。本综述对基于深度学习的2D人体姿态估计进行了全面系统的回顾，涵盖发展背景、数据集与评估指标、算法分析、挑战及未来趋势。通过详细对比各模型优劣可知，该领域进展根本上受空间定位精度与算法可扩展性之间权衡的驱动。传统基于CNN的算法虽有适用场景，但其依赖启发式后处理限制了鲁棒性。随着深度学习特别是全微分Transformer架构的出现，姿态估计模型的精度与全局推理能力显著提升。然而严重遮挡与高推理延迟仍是关键挑战。为解决这些问题，未来研究方向将转向面向近期边缘部署的轻量化网络优化，以及面向长期突破的零样本数据生成与跨模态3D先验。综上，技术的持续进步将拓宽人体姿态估计视野，逐步克服其固有架构挑战。