弥合准确性与效率之间的鸿沟：深度学习用于人体姿态估计的三元分类法与综合综述

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Bridging the Accuracy-Efficiency Disconnect: A Tripartite Taxonomy and Comprehensive Survey on Deep Learning for Human Pose Estimation

　　人体姿态估计领域存在严重的精度-效率脱节现象。模型部署效率（EQ）相差超过七个数量级。算法改进带来的效率提升高于结构扩展。纯结构扩展面临现实部署的收益递减问题。混合硬件-算法模型在精度-效率帕累托前沿上占据主导地位。

引言

人体姿态估计（HPE）是计算机视觉的基石，旨在二维（2D）和三维（3D）空间中定位和跟踪人体解剖关节点[1], [2], [3], [4], [5], [6], [7], [8]。其成功应用涵盖众多领域，从人机交互[9], [10]、运动生物力学[11]和监控[12], [13]，到自动驾驶[14]以及增强现实和虚拟现实[15], [16]。近年来，深度学习技术的快速普及推动了人体姿态估计领域前所未有的进步，在精度、鲁棒性和实时推理方面不断突破极限[17]。然而，随着研究数量的激增，文献变得越来越复杂。每年有数百个新模型被提出，每个都声称在Microsoft Common Objects in Context（MS COCO）[18]、Max Planck Institute for Informatics（MPII）[6]和Human3.6M[19]等基准数据集上取得了最先进的性能。然而，对这些贡献的批判性审视揭示了在进展实现和报告方式上存在显著的分裂[20], [21]。

为了给这一快速扩展的领域带来秩序，本综述引入了一种新颖的三分法分类体系，将最新进展系统性地归类为算法中心、结构中心和混合中心方法。我们认为，理解人体姿态估计的演变需要剖析这些核心维度，因为它们代表了解决姿态估计关键挑战（如遮挡、深度模糊、尺度变化和计算效率）的根本不同——但日益趋同——的哲学。在以下小节中，我们首先简要概述每个范式，然后识别现有文献中的关键空白，最后阐明本综述的独特贡献。

结构中心方法试图通过从根本上重新设计神经网络架构，在某些情况下还包括底层硬件平台，来解决人体姿态估计的挑战。该范式认为，人体姿态的空间和时间复杂性无法被通用网络完全捕获，需要专门的结构先验。我们的分析识别了这一范式下的大量文献，将其组织为四个关键子主题：高效构建模块（第1层）[22], [23], [24], [25], [26], [27]、网络架构设计（第2层）[8], [14], [15], [17], [19], [28], [29], [30], [31], [32], [33], [34], [35], [36], [37], [38], [39], [40], [41], [42], [43], [44], [45], [46], [47], [48]、硬件平台和加速器设计（第3层）[49], [50], [51], [52], [53], [54], [55], [56], [57], [58]以及基础设施和基准测试[6], [18], [21], [59], [60], [61]。该范式的核心优势在于能够将领域特定的归纳偏置直接嵌入网络拓扑中——从HRNet中的多尺度特征融合[8]和图卷积网络（GCNs）中的骨骼图先验[44], [45]，到Transformer的长程依赖建模[19], [39]——从而生成专门针对人体姿态估计独特空间和时间需求而构建的架构。

相比之下，算法中心方法主要专注于优化学习过程、数据表示和优化函数，而不必提出全新的神经网络架构。这些方法接受现有的结构框架（例如标准卷积神经网络（CNNs）或基础Transformer），但在这些结构如何训练、学习什么表示以及数据如何流经它们方面进行创新。我们的系统分析识别了这一范式下的大量研究，涵盖多个相互关联的子主题：表示与编码[11], [62], [63], [64], [65], [66], [67], [68]、学习范式与训练策略[69], [70], [71], [72], [73], [74], [75]、模型压缩算法[76], [77], [78], [79], [80], [81], [82], [83], [84], [85], [86], [87]、姿态特定算法[7], [88], [89], [90], [91], [92], [93], [94], [95], [96], [97], [98], [99], [100], [101]以及综述和基础方法[2], [3], [5], [102], [103], [104], [105]。该范式的主要优势在于能够从现有硬件和架构约束中榨取最大性能：更智能的训练机制、更合理的表示和自动化优化往往能够与更大更复杂的网络结构所实现的增益相媲美或互补[62], [63], [85], [103]。

虽然将方法严格分类为算法性或结构性在分析上有用，但最强大的最先进系统不可避免地同时运作在两种范式的交汇处。这些混合方法认识到算法创新和结构能力不仅是互补的，而且是深度协同的——新架构的全部潜力只能通过协同设计的训练策略来解锁，反之，先进的算法技术通常需要专门构建的结构基底来实现其理论增益。我们的分析识别了大量表现出这种双重特性的文献，将其组织为四个关键子主题：架构-算法协同设计[20], [86], [106], [107], [108], [109]、高效姿态网络[10], [110], [111], [112], [113], [114], [115], [116], [117]、边缘优化的人体姿态估计系统[12], [118], [119], [120], [121]以及多模态和鲁棒人体姿态估计[16], [93], [122], [123], [124], [125], [126], [127], [128], [129], [130]。混合方法的核心优势在于其架构设计和算法策略的有意协同优化，表明最有影响力的进展不是来自将单一范式推向极限，而是来自它们的协同整合[106], [108], [110], [120]。

尽管取得了上述显著进展，但对现有文献的全面分析揭示了几个系统性空白。如表1所总结，先前的综述格局主要通过任务表述、输入模态和结构流程对领域进行分类。广泛架构综述如Lan等人[131]、Zheng等人[1]和Kappan等人[5]提供了广泛的2D/3D模型目录、文献计量趋势和损失函数表述分类法。互补的专业综述研究了专门的子领域，包括单目2D/3D估计器[2]、两阶段自顶向下检测器[132]、显式与隐式3D网格恢复[133]、3D无标记运动学和传感器融合[105]以及从经典图形结构到深度学习的历史转变[3]。

虽然这些贡献在追踪主要数据集上的基准排名方面发挥了重要作用，但它们的评估协议几乎完全依赖孤立的几何/概率精度指标（如平均精度（AP）、正确关键点百分比（PCK）、平均关节点位置误差（MPJPE））和理论计算量（参数量、浮点运算次数（FLOPs））。至关重要的是，部署分析在很大程度上仍是定性的，或仅限于独立的延迟评述，使得物理边缘设备上的操作权衡基本未被探索。为了弥合这一关键空白，本综述解决了四个具体维度：

首先，关于分类学划分：现有综述主要按应用任务（如单人与多人场景、单目与多视角配置）或输入模态组织方法。这留下了问题：根本的计算创新实际发生在哪里？为了回答这个问题，我们引入了一个以创新为中心的三分法分类（算法中心、结构中心和混合中心范式），根据其核心设计机制而非输出格式对贡献进行分类。

其次，关于性能权衡：当前综述追踪主要基准上的精度排名。然而，它们很少回答：这些精度增益是以什么计算和硬件成本实现的？我们的综述明确研究了精度-效率脱节，分析了结构扩展如何在物理边缘设备上引发延迟和带宽瓶颈。

第三，关于评估工具：虽然先前的综述依赖标准几何或概率指标（如MPJPE、AP、PCK），但它们留下了一个关键的部署问题未解答：给定模型在真实世界硬件集成方面有多成熟？为了解决这个问题，我们形式化了两个联合评估指标：硬件无关的效率商（EQ）以量化理论效率密度，以及硬件感知的部署就绪指数（DRI）以捕获实际设备上的吞吐量。

第四，关于方法论框架：现有文献主要编目历史进展和模型分类法。这引出了一个问题：开发人员如何系统地构建下一代高效系统？超越被动分类，我们提出一个可操作的四阶段硬件-算法协同设计流水线，具有迭代闭环剖析反馈机制。

为了解决这些关键空白，本综述文章对人体姿态估计领域做出了几项独特而有力的贡献。

首先，我们引入了一个新颖的分类学框架，超越传统的基于任务的分类，建立了三分法分类体系。该框架将最先进的文献分为算法中心、结构中心和混合中心三个维度。这一创新视角使研究人员能够准确定位方法的核心创新所在——无论是在学习的数学优化、网络能力的物理或拓扑重新设计，还是两者的协同设计。所提出的分类学在图1中进行了可视化呈现。

其次，我们的工作揭示了精度-效率权衡。与先前几乎只关注模型精度的综述不同，我们的综述积极强调了算法复杂性与结构或硬件成本之间常被忽视的权衡。我们批判性地评估了庞大的结构架构如何瘫痪推理延迟，并论证了硬件感知评估的必要性。

最后，我们倡导硬件-算法协同设计。通过剖析纯算法和纯结构方法的成功与失败，我们为未来提供了清晰、可操作的路线图。我们有力论证，姿态估计的下一个前沿不是简单地构建更大的模型，而是有意的硬件-算法协同设计——创建固有地平衡峰值性能指标与真实世界硬件效率和能量约束的混合架构。

为了提供本综述所考察的整个人体姿态估计领域的全面而结构化的概述，我们在图1中展示了一个全面的三分法分类树。该分类学源自我们对大量研究的系统分析，将领域分解为三个基本支柱——结构中心、算法中心和混合中心——每个进一步分层为多个层次子类别。由此产生的多层次分类框架既作为本综述其余部分的导航图，也作为批判性审视架构创新、算法巧妙及其协同设计之间相互作用的概念透镜。

在后续章节中，我们系统地展开这一分类学。第2节探讨了重新定义网络能力的结构创新。第3节详细阐述了算法中心方法的演变和最新进展。第4节分析了协同的混合方法。第5节提供了精度-效率脱节的定量分析并提出了新的效率指标。第6节倡导硬件-算法协同设计作为下一代人体姿态估计系统的最终路线图。最后，第7节以我们对领域未来轨迹的愿景作为结论。

章节片段

结构中心范式（§1）

结构中心方法试图通过从根本上重新设计神经网络架构来解决人体姿态估计的挑战。该范式认为，人体姿态的空间和时间复杂性无法被通用网络完全捕获，需要专门的结构先验。结构中心研究不问现有模型如何更好地学习，而是提出一个更激进的问题：模型本身应该是什么样子？为了系统分析这一范式，我们的

算法中心范式（§2）

算法中心方法主要专注于优化学习过程、数据表示和优化函数，而不必提出全新的神经网络架构。这些方法接受现有的结构框架（如标准CNNs或基础Transformer），但在这些结构如何训练、学习什么表示以及数据如何流经它们方面进行创新。我们对文献的系统分析表明，这一范式构成了

趋同：混合方法（§3）

虽然将方法严格分类为算法性或结构性在分析上有用，但最强大的最先进系统不可避免地同时运作在两种范式的交汇处。如图9所概念化的，这些领域的趋同产生了混合协同设计空间。该图说明，真正的最先进性能既不是通过孤立地推动算法优化实现的，也不是通过无节制的结构扩展实现的。相反，这些混合方法

精度-效率脱节：定量分析

基于对算法、结构和混合范式的奠基性分析，本节定量考察了理论性能指标与实际部署约束之间普遍存在的二分法。虽然前面章节系统地编目了推动最先进架构的机制，但本分析批判性地审视了这些进展的计算成本。我们观察到，虽然文献在以下方面取得了令人印象通过对每种范式的子主题进行详细分析——从表征编码和学习范式到网络架构设计和硬件加速——我们揭示了塑造该领域发展轨迹的基本权衡。
在生成式人工智能使用声明中：在准备本手稿期间，作者使用了 Gemini 3.1 Pro 来润色学术语言、优化语法结构并提升整体可读性。使用该工具后，作者对输出内容进行了全面审查、编辑和验证，并对最终内容的完整性和所发表文章的科学诚信承担全部责任。
CRediT 作者贡献声明：Mahmut Burak KARADENIZ：写作——审阅与编辑、写作——初稿、可视化、验证、方法、调查、形式分析、概念化。
利益冲突声明：作者声明，不存在已知的竞争性经济利益或个人关系，可能影响本论文所报告的工作。
Mahmut Burak KARADENIZ