MACS-Pose：一种基于拓扑一致性感知的2D人体姿态估计回归方法 郝新奇（Xinqi Hao） 曹建钊（Jianzhao Cao） 王长涛（Changtao Wang） 陈楠（Nan Chen）

《Electronics》：MACS-Pose: Topological-Consistency-Aware Regression for 2D Human Pose Estimation Xinqi Hao, Jianzhao Cao, Changtao Wang and Nan Chen

　　摘要 在基于回归的2D人体姿态估计中，由于对关节间结构依赖性的建模不足，准确的关键点定位在拥挤和遮挡场景中仍然具有挑战性。为了解决这个问题，本文提出了MACS-Pose，一个关注拓扑一致性的鲁棒姿态估计框架。该方法系统地将拓扑一致性线索融入特征表示、语义传播和回归监督中。具体来说，设计了一个分层聚合多分支网络（HAMANet）来同时捕获局部外观细节和全局结构语义。引入了一个跨阶段语义增强阶段（CSSE-Stage）来减轻深度特征传输过程中的语义退化。此外，还开发了一种自适应骨骼感知关键点回归损失（A-SKE Loss）来在坐标回归过程中强制骨骼拓扑一致性。在COCO 2017和MPII数据集上的实验结果表明，MACS-Pose的性能始终优于代表性的基于回归的方法。与YOLOv11s-Pose相比，它在COCO 2017上的AP从68.9%提高到了73.3%，AR从76.9%提高到了80.2%，同时在MPII上达到了90.4%的PCKh@0.5。该方法具有16.8 M个参数和实时推理能力，在准确性和效率之间取得了良好的平衡，显示出在资源受限的视觉应用中的强大潜力。

1. 引言
人体姿态估计（HPE）是计算机视觉中的一个基本任务，已广泛应用于异常行为分析、虚拟现实交互、体育健康评估和智能以人为中心的感知系统[1,2]。在其各种分支中，2D人体姿态估计因其实用价值和相对较低的部署成本而受到了持续关注。尽管近年来取得了实质性进展，但在真实世界场景中准确的关键点定位仍然具有挑战性，特别是在密集的人际交互、严重遮挡和细粒度定位要求下。这些因素大大限制了姿态估计模型在复杂环境中的鲁棒性和可靠性，特别是对于需要同时具备准确性和高效部署的实际应用而言。
现有的2D人体姿态估计方法通常可以分为两大类：基于热图的方法和基于回归的方法[1,2]。基于热图的方法将关键点位置表示为像素级概率分布，通常能够实现较高的定位精度。例如，HRNet-W32在COCO 2017验证集上达到了73.4%的AP，SimpleBaseline-Res101也展示了有竞争力的性能[3,4]。然而，基于热图的方法通常依赖于密集的空间预测和坐标解码，这可能会增加内存开销并限制端到端推理效率。
相比之下，基于回归的方法直接预测关键点坐标，更适合实时和资源受限的部署[5]。尽管如此，直接坐标回归通常提供的结构建模比密集的热图表示要弱。当发生严重遮挡、拥挤场景或近距离人际交互时，关键点间依赖性的建模不足可能导致结构模糊和解剖学上不一致的预测。尽管最近的基于回归的方法改进了坐标表示、优化稳定性和特征交互，但对全局骨骼拓扑的显式建模仍然相对有限[6,7,8]。因此，在保持坐标回归效率的同时提高结构一致性仍然是一个重要的研究问题。
为了解决这个问题，本文提出了MACS-Pose，一个关注拓扑一致性的2D人体姿态估计回归框架。尽管在先前的研究中已经探索了骨骼拓扑和结构关系，但本文的新颖之处在于系统地将拓扑一致性线索融入YOLO风格的坐标回归框架中。具体来说，MACS-Pose从三个互补方面组织了拓扑感知建模：异构感受野特征表示、跨阶段语义增强和骨骼感知回归监督，从而提高了在涉及遮挡、近距离交互和身体配置模糊的挑战性场景中基于回归的姿态估计的结构可靠性。
基于这一设计原则，MACS-Pose在协调的回归设计中整合了三个互补组件。首先，开发了一个分层聚合多分支网络（HAMANet）来利用感受野的异质性来共同建模局部外观细节和全局结构语义。其次，引入了一个跨阶段语义增强阶段（CSSE-Stage）来稳定高级语义传输并减轻深度特征传播过程中的结构信息退化。第三，设计了一种自适应骨骼感知关键点回归损失（A-SKE Loss）来在坐标回归过程中明确施加骨骼拓扑约束，从而提高预测姿态的解剖学一致性和鲁棒性。尽管MACS-Pose是在YOLOv11s-Pose的基础上实现的，以便于效率和公平比较，但该方法构成了一个关注拓扑一致性的回归框架，在其中特征建模、语义增强和拓扑感知监督在一个集成的拓扑一致性感知回归设计中共同组织。
本文的主要贡献总结如下：
(1) 提出了一个关注拓扑一致性的回归框架MACS-Pose，用于YOLO风格的2D人体姿态估计。它将特征表示、语义传播和骨骼感知监督结合起来，提高了在挑战性场景中基于坐标的关节点预测的可靠性。
(2) 设计了一个分层聚合多分支网络（HAMANet）来利用感受野的异质性并行建模局部细节和全局人体拓扑，从而减少了复杂交互场景中的结构模糊性。
(3) 引入了一个跨阶段语义增强阶段（CSSE-Stage）来加强层次特征之间的语义传播，并在保持推理效率的同时减轻高级结构信息的退化。
(4) 开发了一种自适应骨骼感知关键点回归损失（A-SKE Loss）来将骨骼拓扑一致性明确嵌入坐标回归中，使预测姿态更好地符合人体解剖结构。
本文的其余部分组织如下。第2节回顾了人体姿态估计的相关工作。第3节介绍了所提出的MACS-Pose框架，包括HAMANet架构、CSSE-Stage设计和A-SKE Loss。第4节描述了实验设置并报告了在COCO和MPII基准测试上的评估结果。最后，第5节总结了本文并讨论了未来的研究方向。

2. 相关工作
2.1. 基于热图和基于回归的人体姿态估计
现有的2D人体姿态估计方法通常可以分为两大类：基于热图的方法和基于回归的方法[1,2]。基于热图的方法通过预测像素级概率分布来估计关键点位置，这提供了强大的空间表示能力，并且在标准基准测试上通常能够实现高定位精度。代表性方法，如HRNet和SimpleBaseline，展示了密集空间监督在保持局部结构和支持精确关键点定位方面的有效性[3,4]。最近，ProbPose引入了一种概率公式来进行2D人体姿态估计，通过建模校准的空间关键点概率、图像外的关键点概率和关键点可见性，进一步证明了密集空间表示在挑战性场景中实现鲁棒关键点定位的有效性[9]。然而，基于热图的方法通常依赖于下采样的特征图和坐标解码程序，这可能会引入量化误差和启发式后处理，从而限制端到端优化效率。
相比之下，基于回归的方法直接预测关键点坐标，更适合实时和资源受限的部署[5,6]。尽管如此，直接坐标回归通常提供的结构建模比密集的热图表示要弱。当发生严重遮挡、拥挤场景或近距离人际交互时，关键点间依赖性的建模不足可能导致结构模糊和解剖学上不一致的预测。尽管最近的基于回归的方法改进了坐标表示、优化稳定性和特征交互，但对全局骨骼拓扑的显式建模仍然相对有限[6,7,8]。因此，在保持坐标回归效率的同时提高结构一致性仍然是一个重要的研究问题。
为了解决这个问题，本文提出了MACS-Pose，一个关注拓扑一致性的2D人体姿态估计回归框架。尽管在先前的研究中已经探索了骨骼拓扑和结构关系，但本文的新颖之处在于系统地将拓扑一致性线索融入YOLO风格的坐标回归框架中。具体来说，MACS-Pose从三个互补方面组织了拓扑感知建模：异构感受野特征表示、跨阶段语义增强和骨骼感知回归监督，从而提高了在涉及遮挡、近距离交互和身体配置模糊的挑战性场景中基于回归的姿态估计的结构可靠性。
基于这一设计原则，MACS-Pose在协调的回归设计中整合了三个互补组件。首先，开发了一个分层聚合多分支网络（HAMANet）来利用感受野的异质性来共同建模局部外观细节和全局结构语义。其次，引入了一个跨阶段语义增强阶段（CSSE-Stage）来稳定高级语义传输并减轻深度特征传播过程中的结构信息退化。第三，设计了一种自适应骨骼感知关键点回归损失（A-SKE Loss）来在坐标回归过程中明确施加骨骼拓扑约束，从而提高预测姿态的解剖学一致性和鲁棒性。尽管MACS-Pose是在YOLOv11s-Pose的基础上实现的，以便于效率和公平比较，但该方法构成了一个关注拓扑一致性的回归框架，在其中特征建模、语义增强和拓扑感知监督在一个集成的拓扑一致性感知回归设计中共同组织。
本文的主要贡献总结如下：
(1) 开发了一个关注拓扑一致性的回归框架MACS-Pose，用于YOLO风格的2D人体姿态估计。它将特征表示、语义传播和骨骼感知监督结合起来，提高了在挑战性场景中基于坐标的关节点预测的可靠性。
(2) 设计了一个分层聚合多分支网络（HAMANet）来利用感受野的异质性来并行建模局部细节和全局人体拓扑，从而减少了复杂交互场景中的结构模糊性。
(3) 引入了一个跨阶段语义增强阶段（CSSE-Stage）来加强层次特征之间的语义传播，并在保持推理效率的同时减轻高级结构信息的退化。
(4) 开发了一种自适应骨骼感知关键点回归损失（A-SKE Loss）来将骨骼拓扑一致性明确嵌入坐标回归中，使预测姿态更好地符合人体解剖结构。
本文的其余部分组织如下。第2节回顾了人体姿态估计的相关工作。第3节介绍了所提出的MACS-Pose框架，包括HAMANet架构、CSSE-Stage设计和A-SKE Loss。第4节描述了实验设置并报告了在COCO和MPII基准测试上的评估结果。最后，第5节总结了本文并讨论了未来的研究方向。

2.2. 背骨设计和多尺度特征表示
骨干网络的特征提取能力在决定人体姿态估计模型的表示质量方面起着核心作用。在卷积神经网络框架内，最近的研究不断探索了更有效的特征建模和梯度传播策略。一些现代卷积架构通过大核和层次化设计提高了表示能力，同时保持了卷积的归纳偏见[10]。同样，引入了增强的跨阶段连接来减少计算冗余并加强梯度流动，这有利于高效的视觉表示学习[11]。此外，结构重新参数化已成为设计高效视觉模型的重要策略。这种范式在训练期间使用多分支结构，并在推理期间将它们转换为等效的单分支结构，从而平衡了表示多样性和推理效率[12]。这些设计特别适用于需要结构表达能力和实时性能的姿态估计任务。
除了基于卷积的架构外，视觉变换器引入了新的特征表示范式。代表性的基于变换器的模型通过在长距离依赖建模和语义表示能力方面进行了增强，在大规模视觉基准测试上取得了强大的性能[13,14]。然而，它们的计算和内存开销通常相当大，这限制了在资源受限场景中的部署。此外，高度抽象的语义建模可能会削弱对细粒度空间细节的保留，使得在拥挤或遮挡场景中实例级别的区分更加困难。特别是对于基于回归的姿态估计，鲁棒的关键点预测需要在高级语义抽象和细粒度空间保留之间取得有效的平衡。
另一个密切相关的问题是多尺度特征表示。由于自然图像中的人体实例通常表现出显著的比例变化，因此尺度感知表示学习已成为姿态估计架构的一个基本组成部分。代表性设计通过跨层次特征融合和尺度感知建模来提高表示质量[15,16]。在此基础上，还引入了各种注意力机制来增强特征选择。例如，一些方法共同建模通道依赖性和空间位置信息，而其他方法通过动态加权来加强显著特征表示[17,18]。这些策略改善了跨多个语义层次的信息特征的传输和选择。
然而，大多数现有的多尺度和基于注意力的方法主要强调层次融合或通道/空间重新加权。由感受野异质性和语义层次差异引起的表示差异尚未得到充分探索。深度网络中的渐进式下采样倾向于抑制细粒度线索，导致高级语义主导表示学习，从而削弱了局部解剖细节，如关节邻域、肢体边界和微妙纹理。在复杂交互场景中，这种限制可能会降低实例的可区分性并削弱关键点回归的稳定性。因此，更有效地整合局部细节建模和全局结构语义仍然是基于回归的人体姿态估计的一个重要方向。

2.3. 结构感知特征建模和拓扑约束回归
最近的研究表明，提高姿态估计性能不仅取决于更强的特征提取，还取决于更有效地建模关键点之间的结构关系。特别是，结构感知建模已成为在遮挡、密集交互和大规模姿态变化下提高鲁棒性的重要方向。现有方法探索了不同的策略，包括增强特征交互、坐标表示重构、结构先验整合和几何感知正则化，以提高预测姿态的一致性和可靠性[19,20,21]。
一些现有方法明确考虑了人体关节之间的结构关系。代表性方法，如动态信息传输、DEKR、TokenPose、StructToken和其他结构感知建模方法，通过信息传输、解耦关键点回归、基于令牌的关键点交互或结构感知特征推理来探索骨骼或结构关系[19,20,21,22]。这些研究表明，拓扑感知建模本身并不新鲜，结构关系建模是提高姿态估计鲁棒性的一个重要方向。
与这些方法不同，MACS-Pose并不仅从骨骼拓扑建模中声称新颖性。相反，它专注于在YOLO风格的坐标回归框架内的拓扑一致性感知回归。具体来说，MACS-Pose将结构一致性融入三个耦合阶段：通过HAMANet进行感受野异质性特征建模，通过CSSE-Stage进行语义传播稳定，以及通过A-SKE Loss进行骨骼感知坐标回归。
从特征表示的角度来看，最近的工作表明，感受野的异质性和表示层次差异提供了有效的方法来减轻传统多尺度聚合的局限性。小感受野更适合捕获局部解剖线索，如关节邻域和肢体边界，而大感受野则提供了更广泛的上下文感知，用于建模全局身体结构和长距离依赖性。因此，分离但协调的局部细节信息和全局结构语义的建模为在复杂场景中改进基于回归的姿态估计提供了一个有前途的方向[20,21]。
从优化的角度来看，最近的基于回归的方法越来越多地将结构先验纳入学习目标中，以提高鲁棒性和泛化能力。例如，一些方法通过概率回归或坐标重构来提高定位稳定性，而其他方法通过信息传输或迭代细化机制来增强姿态推理[6,7,8,19]。然而，大多数现有方法仍然主要强调定位精度或优化稳定性，而对全局骨骼拓扑的显式建模仍然相对较少探索。因此，基于回归的姿态估计在拥挤场景、严重遮挡和复杂人际交互中仍然倾向于受到结构模糊的影响。因此，在保持坐标回归的效率优势的同时提高结构一致性仍然是现代人体姿态估计的一个关键挑战。

2.2. 背骨设计和多尺度特征表示
骨干网络的特征提取能力在决定人体姿态估计模型的表示质量方面起着核心作用。在卷积神经网络框架内，最近的研究不断探索了更有效的特征建模和梯度传播策略。一些现代卷积架构通过大核和层次化设计提高了表示能力，同时保持了卷积的归纳偏见[10]。同样，引入了增强的跨阶段连接来减少计算冗余并加强梯度流动，这有利于高效的视觉表示学习[11]。此外，结构重新参数化已成为设计高效视觉模型的重要策略。这种范式在训练期间使用多分支结构，并在推理期间将它们转换为等效的单分支结构，从而平衡了表示多样性和推理效率[12]。这些设计特别适用于需要结构表达能力和实时性能的姿态估计任务。
除了基于卷积的架构外，视觉变换器引入了新的特征表示范式。代表性的基于变换器的模型通过在长距离依赖建模和语义表示能力方面进行了增强，在大规模视觉基准测试上取得了强大的性能[13,14]。然而，它们的计算和内存开销通常相当大，这限制了在资源受限场景中的部署。此外，高度抽象的语义建模可能会削弱对细粒度空间细节的保留，使得在拥挤或遮挡场景中实例级别的区分更加困难。特别是对于基于回归的姿态估计，鲁棒的关键点预测需要在高级语义抽象和细粒度空间保留之间取得有效的平衡。
另一个密切相关的问题是多尺度特征表示。由于自然图像中的人体实例通常表现出显著的比例变化，因此尺度感知表示学习已成为姿态估计架构的一个基本组成部分。代表性设计通过跨层次特征融合和尺度感知建模来提高表示质量[15,16]。在此基础上，还引入了各种注意力机制来增强特征选择。例如，一些方法共同建模通道依赖性和空间位置信息，而其他方法通过动态加权来加强显著特征表示[17,18]。这些策略改善了跨多个语义层次的信息特征的传输和选择。
然而，大多数现有的多尺度和基于注意力的方法主要强调层次融合或通道/空间重新加权。由感受野异质性和语义层次差异引起的表示差异尚未得到充分探索。深度网络中的渐进式下采样倾向于抑制细粒度线索，导致高级语义主导表示学习，从而削弱了局部解剖细节，如关节邻域、肢体边界和微妙纹理。在复杂交互场景中，这种限制可能会降低实例的可区分性并削弱关键点回归的稳定性。因此，更有效地整合局部细节建模和全局结构语义仍然是基于回归的人体姿态估计的一个重要方向。

2.3. 结构感知特征建模和拓扑约束回归
最近的研究表明，提高姿态估计性能不仅取决于更强的特征提取，还取决于更有效地建模关键点之间的结构关系。特别是，结构感知建模已成为在遮挡、密集交互和大规模姿态变化下提高鲁棒性的重要方向。现有方法探索了不同的策略，包括增强特征交互、坐标表示重构、结构先验整合和几何感知正则化，以提高预测姿态的一致性和可靠性[19,20,21]。
一些现有方法明确考虑了人体关节之间的结构关系。代表性方法，如动态信息传输、DEKR、TokenPose、StructToken和其他结构感知建模方法，通过信息传输、解耦关键点回归、基于令牌的关键点交互或结构感知特征推理来探索骨骼或结构关系[19,20,21,22]。这些研究表明，拓扑感知建模本身并不新鲜，结构关系建模是提高姿态估计鲁棒性的一个重要方向。
与这些方法不同，MACS-Pose并不仅从骨骼拓扑建模中声称新颖性。相反，它专注于在YOLO风格的坐标回归框架内的拓扑一致性感知回归。具体来说，MACS-Pose将结构一致性融入三个耦合阶段：通过HAMANet进行感受野异质性特征建模，通过CSSE-Stage进行语义传播稳定，以及通过A-SKE Loss进行骨骼感知坐标回归。
从特征表示的角度来看，最近的工作表明，感受野的异质性和表示层次差异提供了有效的方法来减轻传统多尺度聚合的局限性。小感受野更适合捕获局部解剖线索，如关节邻域和肢体边界，而大感受野则提供了更广泛的上下文感知，用于建模全局身体结构和长距离依赖性。因此，分离但协调的局部细节信息和全局结构语义的建模为在复杂场景中改进基于回归的姿态估计提供了一个有前途的方向[20,21]。
从优化的角度来看，最近的基于回归的方法越来越多地将结构先验纳入学习目标中，以提高鲁棒性和泛化能力。例如，一些方法通过概率回归或坐标重构来提高定位稳定性，而其他方法通过信息传输或迭代细化机制来增强姿态推理[6,7,8,19]。然而，大多数现有方法仍然主要强调定位精度或优化稳定性，而对全局骨骼拓扑的显式建模仍然相对较少探索。因此，当出现严重遮挡或密集交互时，基于回归的姿态估计通常会产生解剖学上不一致的关键点配置。总体而言，现有研究表明，健壮的基于回归的姿态估计依赖于三个密切相关的因素，即判别性特征表示、稳定的语义传播和显式的结构约束。然而，这些因素在之前的工作中往往被单独处理。因此，一个综合考虑特征建模、语义传输和拓扑感知监督的集成回归框架对于提高在具有挑战性场景中基于回归的人体姿态估计的鲁棒性仍然是必要的。3. 方法如图1所示，MACS-Pose建立在YOLOv11s-Pose的基础上，由三个协调的组件组成。HAMANet被整合到主干网络中以增强感受野异构特征表示。CSSE-Stage被嵌入到颈部，以在多尺度特征融合过程中稳定高级语义传播。在训练期间，A-SKE Loss通过从预测的关键点和真实关键点构建骨骼向量并应用可见性感知的骨骼约束来引入拓扑一致性监督。这个监督分支仅在训练期间使用，不参与推理。图1. 提出的MACS-Pose模型的整体框架。该框架包括HAMANet、CSSE-Stage和仅用于训练的A-SKE Loss分支。实线箭头表示前向推理路径，虚线箭头表示训练监督路径。3.1. 分层聚合多分支网络实例间特征纠缠是限制在密集和遮挡场景中基于回归的人体姿态估计的主要因素。当局部细节和全局结构语义被迫共享单一特征路径时，高外观相似性可能会破坏局部线索，而渐进式下采样则倾向于抑制细粒度空间信息。结果，结构歧义被放大，回归稳定性减弱。为了解决这个问题，提出的分层聚合多分支网络（HAMANet）通过利用感受野异构性和多分支特征转换来增强特征表示。如图2a所示，HAMANet首先应用1 × 1卷积投影来转换输入特征，然后通过三个功能分支处理投影特征。第一个分支是1 × 1投影分支，提供浅层投影特征表示并保持短的特征传播路径。第二个分支是局部感知分支，由1 × 1卷积、深度卷积和另一个1 × 1卷积组成，专注于细粒度的局部空间线索。第三个分支是分割和转换分支。在这个分支中，投影特征被分成两个通道部分，其中一个部分被直接保留，另一个部分通过一系列瓶颈块进行渐进式转换。图2. 提出的HAMANet模块的结构。(a) HAMANet由投影分支、局部感知分支和分割和转换分支组成，其输出被连接并融合形成输出特征。(b) 卷积块。(c) 瓶颈块。三个功能分支的输出，包括浅层投影特征、局部感知特征、分割特征和中间瓶颈输出，通过通道级连接进行聚合。然后使用最终的1 × 1卷积融合层生成输出特征表示。图2b显示了基本的卷积块，而图2c展示了分割和转换分支中使用的瓶颈块。这种分割-转换-融合设计允许在不同感受野上下文中并行建模互补信息，而不是将它们纠缠在单一特征流中。通过这种分割-转换-融合设计，投影分支保留了浅层特征传播，局部感知分支捕获了细粒度的局部线索，分割和转换分支增强了更广泛的上下文表示。因此，HAMANet共同提高了实例可区分性和回归稳定性。三分支配置作为一种在表示能力和计算效率之间取得平衡的设计被采用。3.2. 跨阶段语义增强阶段与传统的专注于特征融合的颈部结构不同，提出的CSSE-Stage旨在解决基于回归的人体姿态估计中高级语义表示的不稳定性问题。在基于回归的框架中，增加网络深度通常会导致特征压缩和延长的反向传播路径，这可能会在更高层次引起语义漂移和退化，特别是对于像远端关键点这样的弱约束关节。为了解决这个问题，CSSE-Stage通过跨阶段直接连接和短梯度路径对高级特征进行结构化重组，从而稳定语义传播并保持结构表示。CSSE-Stage遵循分割-转换-融合设计，如图3a所示。输入特征首先通过两个独立的1 × 1卷积层被投影成两条路径。跨阶段快捷分支保留了部分投影特征，并提供了短梯度路径，而语义增强路径通过堆叠的BasicBlock_3 × 3_Reverse单元逐步细化高级结构表示。在语义增强路径中，使用RepConv变换和3 × 3卷积来加强非线性语义表示，可选的SPP模块通过具有不同感受野的并行最大池化操作聚合多尺度上下文信息。语义增强路径的中间输出与跨阶段快捷特征连接，然后通过最终的1 × 1卷积进行融合。图3. 提出的CSSE-Stage的结构。(a) CSSE-Stage将特征分为跨阶段快捷分支和语义增强路径，然后进行连接和1 × 1卷积融合。(b) BasicBlock_3 × 3_Reverse。(c) 具有训练时多分支结构和推理时重新参数化的RepConv。(d) 用于多尺度池化的SPP模块。CSSE-Stage与标准CSP块之间的关键区别不仅仅在于增加网络深度、参数数量或用重新参数化的卷积替换卷积。标准CSP块主要将输入特征分为部分快捷分支和转换分支，然后融合这两条路径以减少计算冗余并改善梯度流动。相比之下，CSSE-Stage在跨路径融合之前明确地将转换分支加强为语义增强路径。这种路径通过堆叠的BasicBlock_3 × 3_Reverse单元和多尺度上下文聚合逐步积累高级结构语义。因此，CSSE-Stage旨在稳定关键点回归的语义传播，而不仅仅是作为CSP风格的特征重用块。在消融研究中进一步报告了与标准CSP块的对照比较，以隔离提出的语义增强设计的贡献。3.3. 自适应骨骼感知关键点回归损失A-SKE Loss旨在通过同时考虑关键点定位精度和骨骼拓扑一致性来解决基于回归的人体姿态估计中的结构不稳定性问题。该损失将自适应回归监督与拓扑感知约束整合到一个综合优化目标中，而不是将坐标回归和结构正则化视为孤立的目标。通过这种方式，可以在保持局部定位精度的同时保持全局几何完整性。整体损失函数定义如下：(1) 自适应回归项引入了关键点监督的动态加权，而骨骼拓扑一致性项对姿态预测施加了全局结构约束。权重系数用于平衡这两个组成部分。图4展示了A-SKE Loss的整体工作流程。图4. A-SKE Loss的工作流程，包括自适应关键点回归、骨骼向量构建、可见性感知掩蔽和骨骼拓扑一致性监督。(1)稳定的OKS基回归基线标准OKS损失在处理小尺度目标时容易产生梯度不稳定，因为面积归一化项可能会变得过小。为了解决这个问题，引入了一个具有软下限的稳定机制。因此，对于第i个实例的第j个关键点，稳定得分定义为：(2) 其中 和 分别表示预测和真实的坐标， 是尺度敏感常数。这种公式在训练的早期阶段缓解了数值不稳定性，并为后续的自适应权重和骨骼拓扑约束提供了稳定的回归基础。(2)基于EMA的自适应难度平衡策略人体关键点在运动自由度和遮挡频率上存在显著差异，使得统一权重不足以平衡易于学习和难以学习的关节。为了解决这个问题，引入了一种基于指数移动平均（EMA）的自适应加权机制来模拟每个关键点类别的历史定位难度。具体来说，历史误差如下更新：(3) 这里， 表示平滑因子， 表示当前批次中第j个关键点类别的平均定位误差。基于这个历史误差统计，使用敏感系数 计算自适应权重：(4) 最终的自适应回归损失是通过聚合所有可见关键点的加权贡献得到的。结果公式如下：(5) 表示第i个实例的第j个关键点的可见性指标。这种自适应加权机制在反向传播期间增加了对高误差关节的监督，从而提高了回归优化的整体稳定性。(3)骨骼拓扑一致性约束为了补偿独立关键点回归中缺乏显式结构感知的问题，引入了骨骼拓扑一致性项。人体骨骼由一组预定义的骨骼连接表示。对于每根骨骼，预测的骨骼向量 和真实的骨骼向量 定义如下：(6) 其中 和 分别表示两个端点关键点的预测坐标， 和 分别表示相应的真实坐标。为了避免由于未标记的关键点导致的无效骨骼约束，在A-SKE Loss中引入了可见性感知的骨骼掩蔽。对于COCO关键点注释， 表示未标记的关键点， 表示标记但不可见的关键点， 表示标记且可见的关键点。由于具有 的关键点仍然提供有效的真实坐标，它们被保留用于骨骼感知监督。相比之下，具有 的关键点被排除在骨骼一致性项之外。对于一根骨骼，骨骼掩蔽定义为：(7) 其中 表示指示函数。只有当两个端点关键点都被标记时，骨骼才对骨骼一致性损失有贡献。如果任一端点未标记，则相应的骨骼被屏蔽，不会对A-SKE Loss有贡献。通过可见性感知的骨骼掩蔽，最小化了预测和真实骨骼向量之间的方向差异，以强制骨骼拓扑一致性。掩蔽的骨骼拓扑一致性损失公式如下：(8) 这里， 是添加到分母中的一个小常数，以避免骨骼向量幅度非常小时除以零。掩蔽确保骨骼一致性项仅针对两个端点关键点都被标记的有效骨骼进行计算。因此，未标记的关键点不会引入无效的骨骼约束，而标记但不可见的关键点仍然可以通过它们的真实坐标提供结构监督。如果一个人实例没有有效的骨骼，其骨骼一致性项被设置为零。基于余弦的方向一致性与现有的骨骼角度损失和几何感知正则化策略相关。然而，A-SKE Loss并不是作为一个独立的角约束使用的。它与稳定的OKS基回归项、基于EMA的自适应难度平衡和可见性感知的骨骼掩蔽集成在一起，以便在YOLO风格的坐标回归框架内共同优化定位精度、训练稳定性和骨骼拓扑一致性。因此，A-SKE Loss的贡献在于这个综合的自适应回归目标，而不仅仅是余弦约束本身。在所有实验中， 和 都固定为0.08，这在消融研究中得到了验证，提供了定位精度和结构鲁棒性之间的平衡。为了清晰性和可重复性，MACS-Pose的整体训练流程在算法1中总结。算法1. 提出的MACS-Pose框架的训练程序输入：训练图像I，真实关键点K，可见性标签V输出：预测关键点1：初始化网络参数2：从图像中提取主干特征图3：应用HAMANet捕获异构感受野特征4：使用CSSE-Stage增强语义表示5：通过回归头预测关键点坐标6：计算自适应回归损失7：使用可见性感知的骨骼掩蔽计算掩蔽的骨骼拓扑一致性损失8：计算总损失9：通过反向传播更新网络参数10：对每个训练迭代重复4. 实验结果和分析4.1. 实验设置和数据集所有实验都在配备了NVIDIA GeForce RTX 4080 GPU（NVIDIA Corporation，美国加利福尼亚州圣克拉拉）的工作站上进行，运行Windows 11（Microsoft Corporation，美国华盛顿州雷德蒙德）、CUDA Toolkit 12.1（NVIDIA Corporation，美国加利福尼亚州圣克拉拉）、PyTorch 2.2.2、Python 3.10和Ultralytics YOLO框架（v8.3.145）。输入图像被调整为640 × 640大小，用于训练和推理。模型训练了300个周期，批量大小为16，初始学习率为0.01，权重衰减为0.0005。所有其他超参数遵循YOLOv11s-Pose的默认配置。为了评估统计可靠性，YOLOv11s-Pose和MACS-Pose在相同的实验设置下使用不同的随机种子独立训练了三次。在COCO 2017数据集上报告了AP、AP50、AP75和AR的平均值和标准差。实验数据集
采用COCO 2017数据集[23]作为主要的评估基准。该数据集包含大约200K张图像和250K个人实例，每个人实例都有17个标注的关键点。性能评估使用对象关键点相似性（OKS）指标，包括平均精度（AP）、AP50、AP75、APM、APL和平均召回率（AR）。根据标准的COCO关键点评估协议，分别报告了中规模和大规模个人实例的APM和APL。此外，为了分析小规模或难以处理的个人实例，还分别报告了所提出模型的基于子集的逐级消融结果。

为了进一步评估所提出方法的泛化能力，还在MPII人体姿态数据集[24]上进行了实验。该数据集包含大约25K张图像和40K个标注的个人实例，每个实例都标记有16个关键点。MPII上的评估指标是头部归一化的正确关键点概率（PCKh@0.5）。除了整体平均精度外，还报告了主要身体关节的性能。

4.2 实验结果分析
4.2.1 A-SKE损失组分的消融和鲁棒性分析
为了评估所提出的A-SKE损失的有效性，在COCO 2017数据集上进行了消融实验。基于YOLOv11s-Pose基线，逐步引入了基于EMA的自适应加权策略和骨骼一致性约束，以分析它们的单独和组合效果。除了整体AP、AP50、AP75和AR指标外，还进一步报告了逐级和遮挡情况下的结果，以检查每个组分在困难条件下的鲁棒性。在[0.01, 0.20]范围内对进行了网格搜索。根据消融结果和图5中的敏感性分析，当两个超参数都设置为0.08时，获得了定位精度和结构鲁棒性之间的最佳平衡。在敏感性分析中，β固定为0.08，而变化范围是从0.01到0.20。性能在[0.05, 0.10]范围内保持相对稳定，表明A-SKE损失对骨骼一致性权重的适度变化不敏感。

图5. COCO 2017数据集上A-SKE损失的敏感性分析。对于逐级分析，根据COCO关键点评估协议报告了APM和APL，同时还在小规模个人实例上额外计算了APS作为诊断子集指标。对于遮挡分析，根据标注关键点的可见性标签，将验证实例分为轻度、中度和重度遮挡子集。具体来说，遮挡比率定义为：
(9)
其中表示标记但不可见的关节点，表示标记且可见的关节点。将<0.25、0.25 ≤ <0.50和≥0.50的实例分别分配到轻度、中度和重度遮挡子集中。

如表1的上半部分所示，基于EMA的自适应加权策略和骨骼一致性约束在不同目标尺度上都提高了性能。与YOLOv11s-Pose基线相比，EMA策略将AP从68.9%提高到69.8%，并将APS从45.0%提高到45.9%，表明自适应难度平衡对小规模和难以学习的样本有益。骨骼一致性约束也在AP、APS、APM和APL方面带来了持续的增益，表明拓扑感知的监督有助于在坐标回归过程中保持更稳定的解剖结构。当两个组分共同应用时，获得了最佳性能，AP、APS、APM和APL分别达到了70.1%、46.3%、58.6%和77.1%。

表1. COCO 2017数据集上A-SKE损失组分的消融和鲁棒性结果。(a) 整体和逐级性能。(b) 遮挡性能。表1的下半部分进一步显示，随着遮挡程度的增加，改进变得更加明显。完整的A-SKE损失将AP-Light从71.6%提高到72.5%，AP-Moderate从67.8%提高到69.1%，AP-Heavy从61.9%提高到63.6%。在重度遮挡下的更大增益表明，当局部视觉线索不可靠时，骨骼拓扑一致性特别有帮助。这些结果证实，基于EMA的自适应加权和骨骼拓扑正则化对于在困难条件下提高基于回归的姿态估计的鲁棒性是互补的。

为了进一步分析骨骼一致性权重的敏感性，将变化范围从0.01调整到0.20，而保持不变。所有其他训练设置保持不变，并使用COCO 2017验证集上的AP来评估的影响。如图5所示，当从0.01增加到0.08时，AP有所提高，表明适度的骨骼拓扑约束对坐标回归有益。当过大时，AP略有下降，因为过度的结构正则化可能会过度约束局部坐标优化。当=0.08时，模型获得了最佳AP，并且在[0.05, 0.10]范围内保持相对稳定。

4.2.2 核心组分的消融研究
在COCO 2017数据集上使用YOLOv11s-Pose作为基线进行了消融实验，所有配置都在相同的设置下进行训练。为了评估每个核心组分的贡献，分别单独和组合添加了A-SKE Loss、CSSE-Stage和HAMANet，同时保持整体训练策略不变。定量结果总结在表2中。

表2. COCO 2017数据集上核心组分的消融结果和计算复杂性。如表2所示，A-SKE Loss在不引入额外参数、GFLOPs或推理延迟的情况下，将AP从68.9%提高到70.1%，因为它仅在训练期间使用。这表明拓扑感知的回归监督可以提高姿态估计的准确性，而不影响部署效率。CSSE-Stage和HAMANet引入了额外的计算成本，因为它们修改了特征传播和聚合路径。具体来说，CSSE-Stage将参数数量从9.9 M增加到12.7 M，GFLOPs从23.1增加到27.8，同时保持125.6 FPS的推理速度。HAMANet将参数数量增加到14.0 M，GFLOPs增加到30.6，推理速度为122.4 FPS。当CSSE-Stage和HAMANet共同应用时，AP增加到72.3%，显示出语义传播增强和异构感受野特征建模之间的互补效应。完整的MACS-Pose模型获得了最佳性能，AP为73.3%，AR为80.2%，同时保持118.5 FPS。尽管组件组合在FLOPs上并不完全匹配，但报告的Params、GFLOPs和FPS提供了透明的准确性-效率比较。这些结果表明，性能提升不仅与计算成本的增加有关，还受益于拓扑感知特征建模、语义增强和回归监督的互补设计。

4.2.3 在遮挡和拥挤场景下的子集消融
为了进一步验证所提出的核心组件在遮挡和拥挤场景下是否提高了鲁棒性，在COCO 2017验证集上进行了额外的基于子集的消融实验。遮挡子集遵循4.2.1节中的定义，根据标注关键点的可见性标签将验证实例分为轻度、中度和重度遮挡子集。对于拥挤场景分析，使用标注的个人实例数量和人物边界框之间的最大重叠来估计人群密度。至少有三个标注个人实例或最大人物框IoU大于0.10的图像被视为拥挤场景，而至少有六个标注个人实例或最大人物框IoU大于0.30的图像被视为重度拥挤场景。AP-Crowd表示在拥挤场景样本上的性能，AP-Heavy-Crowd表示在同时具有重度遮挡和重度拥挤的样本上的性能。这种子集评估用于检查HAMANet、CSSE-Stage和A-SKE Loss函数在遮挡和密集人交互下的预期表现。

如表3所示，所提出的组件在遮挡和拥挤场景子集下提供了持续的增益。A-SKE Loss在中度和重度遮挡下明显提高了性能，将AP-Heavy从61.9%提高到63.6%。这表明，当局部视觉线索不可靠时，骨骼拓扑一致性有助于保持解剖学上合理的关节点配置。

表3. COCO 2017数据集上遮挡和拥挤场景下核心组件组合的子集消融结果。CSSE-Stage和HAMANet也在困难子集中提高了鲁棒性。CSSE-Stage在遮挡和拥挤场景子集中都提高了性能，表明稳定的高级语义传播对模糊关节点预测有益。HAMANet在拥挤和重度拥挤场景中显示出更明显的增益，将AP-Crowd从64.7%提高到67.3%，将AP-Heavy-Crowd从58.6%提高到61.5%。这表明异构感受野特征建模有助于减少相邻人物之间的特征纠缠。当CSSE-Stage、HAMANet和A-SKE Loss共同集成时，MACS-Pose在所有困难子集中实现了最佳性能，AP-Heavy和AP-Heavy-Crowd分别达到了66.3%和64.0%。这些结果表明，所提出的组件不仅在整体COCO AP方面提高了鲁棒性，而且在本文强调的遮挡和拥挤条件下也提高了鲁棒性。

4.2.4 与标准CSP块的对照比较
为了进一步检查CSSE-Stage的改进主要来自其语义增强设计还是模型容量的增加，进行了与标准CSP块的对照比较。在相同的YOLOv11s-Pose框架下，使用标准CSP块替换了CSSE-Stage，参数规模和计算成本相当。所有变体都在相同的设置下进行了训练和评估，结果报告在表4中。

表4. COCO 2017数据集上标准CSP块和CSSE-Stage的对照比较。如表4所示，标准CSP块和CSSE-Stage在可比复杂性下都提高了基线性能。然而，CSSE-Stage的AP和AR分别从70.0%提高到70.8%和从77.7%提高到78.3%。这表明，增益不仅由于容量的增加，还受益于语义增强路径。

4.2.5 跨随机种子的稳定性分析
为了检查MACS-Pose获得的性能增益的稳定性，使用不同的随机种子进行了重复实验。YOLOv11s-Pose和MACS-Pose分别在COCO train2017集上独立训练了三次，并在COCO val2017集上进行了评估，同时保持输入分辨率、训练周期、优化器、学习率计划、批量大小、数据增强策略和评估协议不变。表5报告了三次独立运行在COCO 2017数据集上的主要评估指标的平均值和标准差。

表5. 在COCO 2017数据集上三次独立运行中的稳定性结果。如表5所示，MACS-Pose在三次独立运行中始终优于YOLOv11s-Pose，AP值分别为73.3% ± 0.2%和68.9% ± 0.2%。AP50、AP75和AR的标准差对于两种模型都在0.1–0.3%范围内，表明性能改进在不同随机初始化下是稳定的。

4.2.6 对比实验
为了进行严格控制比较，YOLOv11s-Pose和所提出的MACS-Pose在相同的实现框架下进行了训练。输入分辨率、训练周期、优化器、学习率计划、批量大小、数据增强策略和评估协议保持不变。因此，YOLOv11s-Pose和MACS-Pose之间的比较直接反映了所提出的HAMANet、CSSE-Stage和A-SKE Loss的有效性。

对于具有显著不同架构或训练范式的外部方法，包括基于热图的、基于令牌的、基于坐标的和基于扩散的方法，包括了官方报告的结果作为参考比较。由于这些方法可能使用不同的输入分辨率、骨干网络、训练计划、增强策略和解码程序，它们不是用来严格声称优越性的，而是为了提供评估MACS-Pose的准确性-效率权衡的范式级参考。因此，与基于热图的方法（如HRNet-W32）的比较旨在展示MACS-Pose在代表性姿态估计范式中的相对位置，而不是在相同模型容量或计算成本下严格声称优越性。

如表6所示，MACS-Pose将YOLOv11s-Pose基线的AP从68.9%提高到73.3%，AP75从75.7%提高到79.9%，AR从76.9%提高到80.2%，在相同的训练和评估设置下。这些改进直接证明了所提出的拓扑一致性感知设计的有效性。在逐级性能方面，MACS-Pose还将AP_M从57.2%提高到61.8%，AP_L从76.0%提高到80.3%，表明在中规模和大规模个人实例上的定位性能更好。AP_S的结果在基于子集的消融研究中单独报告。

表6. COCO 2017数据集上的定量比较。与文献中报告的代表性方法相比，MACS-Pose在保持紧凑模型大小的同时实现了具有竞争力的准确性。由于这些外部方法可能采用不同的输入分辨率、骨干网络架构、训练计划、增强策略和解码程序，它们被用作范式级参考，而不是严格控制的基准。总体而言，MACS-Pose显著提高了基于YOLO风格的回归基线，并在保持效率的同时缩小了与高精度参考方法之间的差距。为了进一步检验所提出的拓扑感知设计是否能够改善易出错的关节，我们在COCO 2017验证集上进行了额外的基于每个关节的OKS评估（AP分析）。由于每个关节的AP分析不是标准COCO关键点评估协议的一部分，因此在这里仅作为诊断指标使用。每个关键点类别都使用相应的有效注释进行了单独评估，并对双侧关节进行了平均。表7报告了YOLOv11s-Pose、带有A-SKE损失的YOLOv11s-Pose以及完整的MACS-Pose模型的每个关节AP结果。如表7所示，引入A-SKE损失后，大多数关键点类别的AP都有所提高，尤其是在手腕和脚踝等远端关节上效果更为明显。具体来说，手腕的AP从61.5%提高到了63.3%，脚踝的AP从57.4%提高到了59.3%，这表明骨骼拓扑的一致性有助于规范相邻骨骼的方向并减少解剖学上不合理的坐标回归。

当HAMANet和CSSE-Stage进一步集成时，MACS-Pose在中央和远端关节上都实现了持续的改进。手腕的AP提高到了67.3%，脚踝的AP提高到了61.5%，肘部和膝盖也观察到了明显的提升。这些结果表明，拓扑感知的特征建模、语义传播增强以及骨骼感知的回归监督共同提高了难定位关节的可靠性。表8展示了MACS-Pose在MPII人体姿态数据集上的泛化性能。MACS-Pose的PCKh@0.5达到了90.4%，略优于HRNet-W32（90.3%）和TokenPose（90.1%），同时也超过了SimCC（89.6%）和PRTR-Res101（87.9%）。MACS-Pose仅使用了1680万个参数，比HRNet-W32和PRTR-Res101分别减少了大约41%和72%的参数数量。在关节层面，MACS-Pose的肘部和手腕的PCKh@0.5分别达到了92.0%和88.1%，超过了其他比较方法。由于肘部和手腕通常涉及更大的运动范围和更高的定位难度，这些结果进一步表明所提出的框架提高了具有挑战性的关键点预测的可靠性。总体而言，MPII的结果表明MACS-Pose在不同的人体姿态基准测试中保持了良好的泛化能力。

4.2.7 计算复杂性分析
推理速度在NVIDIA GeForce RTX 4080 GPU上进行了评估，批量大小为1，精度使用FP16。FPS是在100次运行后通过1000次热身迭代平均得出的。数据加载和预处理被排除在外，而包括NMS和关键点解码在内的后处理被包括在内。如表2所示，与YOLOv11s-Pose相比，MACS-Pose的参数从990万增加到了1680万，GFLOPs从231增加到了353。由于额外的多分支聚合和语义增强操作，其推理速度从130.0 FPS下降到了118.5 FPS。尽管如此，MACS-Pose仍然保持了实时推理能力，同时大幅提高了姿态估计的准确性和结构鲁棒性。

4.2.8 定性结果分析
图6展示了在几个具有挑战性的场景中，基线YOLOv11s-Pose与MACS-Pose之间的定性比较。红色圆圈表示基线模型的代表性失败区域，包括漏检、关键点定位不准确、跨人物肢体混淆以及小规模人物错误。图6显示了COCO 2017上YOLOv11s-Pose与MACS-Pose的定性比较。三列分别表示输入图像、YOLOv11s-Pose的结果和MACS-Pose的结果。蓝色框表示检测到的人物，彩色点和线条表示预测的姿态，红色圆圈表示典型的基线错误。(a) 拥挤的室内场景；(b) 滑雪场景；(c) 拥挤的坐姿场景；(d) 冲浪场景。

为了进一步支持定性比较，我们对具有挑战性的COCO 2017验证样本进行了诊断校正率分析。样本被分为遮挡、拥挤和小规模三个子集。当MACS-Pose在基于OKS的匹配标准下为同一人物实例产生了更准确且结构上合理的姿态时，该样本被视为被纠正。校正率计算为YOLOv11s-Pose失败案例中被纠正的案例比例。如表9所示，MACS-Pose纠正了51.2%的YOLOv11s-Pose在具有挑战性的验证样本中的失败案例。在遮挡子集上观察到了最高的校正率，这表明拓扑一致性感知建模有助于在局部视觉证据部分缺失时恢复结构上合理的姿态。在小规模子集上，校正率相对较低，表明由于局部外观线索较弱和严重的空间下采样，小规模人物仍然具有挑战性。

4.2.9 失败案例和错误分析
尽管MACS-Pose提高了基于回归的姿态估计的结构一致性，但在极度拥挤的场景和微小目标下仍然会出现失败案例，如图7所示。在极度拥挤的场景中，密集的人物重叠和相似的肢体方向可能导致跨人物肢体混淆或漏检远端关节。对于微小目标，严重的下采样会削弱局部解剖线索，使得手腕和脚踝等远端关节难以精确定位。这些案例揭示了两个主要限制：首先，MACS-Pose没有明确建模高度重叠人物之间的实例级关联，因此在极度拥挤的场景中相邻的骨骼仍可能被混淆；其次，A-SKE损失虽然规范了骨骼方向的一致性，但无法恢复因严重下采样而丢失的视觉证据。未来的工作将探索更强的实例感知拓扑建模和尺度自适应特征细化。

5. 结论
本文提出了MACS-Pose，这是一个基于拓扑一致性的回归框架，用于提高基于回归的2D人体姿态估计中的关键点预测可靠性。通过结合异构感受野建模、跨阶段语义增强和自适应的骨骼感知回归损失，该框架在坐标预测过程中增强了结构一致性。因此，它有效地缓解了结构上的歧义，并在遮挡和密集交互情况下提高了鲁棒性。在COCO 2017和MPII基准测试上的广泛实验证明了MACS-Pose的有效性。在严格控制的环境下，MACS-Pose在AP、AP75和AR方面一致性地提高了YOLOv11s-Pose的基线性能，同时保持了实时推理速度和紧凑的模型大小。与来自不同姿态估计范式的代表性方法相比，MACS-Pose在准确性和效率之间取得了有竞争力的平衡。由于这些外部方法可能采用不同的输入分辨率、训练计划、增强策略和解码程序，它们被用作参考比较，而不是严格控制的基线。

尽管有这些改进，MACS-Pose在极度拥挤的场景和微小目标下仍然存在局限性。在极端拥挤的情况下，高度重叠的人物可能导致跨人物肢体混淆，因为当前框架没有明确建模相邻骨骼之间的实例级关联。对于微小目标，严重的空间下采样会削弱局部关节的证据，特别是手腕和脚踝等远端关节。未来的工作将探索更强的实例感知拓扑建模和尺度自适应特征细化，以进一步提高在这些具有挑战性条件下的鲁棒性。