动态上下文与局部频率门控在轻量级人体姿态估计中的应用

《Neurocomputing》：Dynamic context and local frequency gating for lightweight human pose estimation

　　

Jing Luo|Yanxia Wang|Xuping Liang|Wenwen Li|Siqin Chen

中国重庆401331，重庆师范大学计算机与信息科学学院

摘要

人体姿态估计是计算机视觉中的基础任务，为诸多下游应用提供重要支持。现有高精度模型通常需要大量参数且计算成本高昂，而现有的轻量级模型则因模型容量有限，其在关键点定位精度上存在不足。为在精度、计算成本和模型规模之间实现更好的平衡，我们提出了DFGNet这一高效的轻量级姿态估计网络。DFGNet包含三个核心组件：自适应多尺度上下文块、频域门控交互模块以及高斯增强注意力模块。具体而言，自适应多尺度上下文块通过动态特征增强与多分支扩张卷积相结合，能够自适应地捕捉多尺度感受野及更丰富的上下文依赖关系。为提升轻量级模型对局部频率敏感信息的建模能力，频域门控交互模块在局部patch内实现可学习的基于FFT的交互，并生成频率敏感的门控信号，以重新校准局部边缘和纹理特征。此外，高斯增强注意力模块通过固定高斯先验结合跨通道和跨空间门控机制，实现结构化的语义精细化处理，从而在解码过程中抑制背景干扰。在MSCOCO val2017和CrowdPose测试集上，DFGNet-W32的准确率分别达到72.4%和62.8%，且仅拥有242万参数和2.4 GFLOPs的运算量。总体而言，DFGNet在轻量级姿态估计模型中实现了良好的精度与效率平衡，是资源受限场景下进行人体姿态估计的优质选择。

引言

人体姿态估计旨在定位人体关键点，为动作识别[1]、运动分析[2]、视频监控[3]，以及从2D关键点序列生成3D姿态的基于视频的方法[4]等众多下游应用提供重要的空间表征。随着深度学习的发展，基于卷积神经网络的方法逐渐成为该领域的主流。从早期的Stacked Hourglass[5]和SimpleBaseline[6]，到近期的高分辨率多尺度融合框架如HRNet[7]，关键点定位精度不断提升。然而，这些高精度模型往往具有庞大的参数量和较高的计算成本，这限制了它们在移动设备或嵌入式平台等资源受限环境中的应用。因此，如何在模型规模、计算成本和关键点定位精度之间取得平衡，已成为人体姿态估计领域的重要研究方向。

为在更少的参数和更低的计算成本下实现更高的估计精度，研究人员提出了多种轻量级网络架构。这些架构包括MobileNetV2[8]和ShuffleNet[9]等通用轻量级骨干网络，以及基于高分辨率HRNet[7]框架衍生出的Lite-HRNet[10]及其变体X-HRNet[11]和Lite-NSNP-Pose[12]等网络。尽管这些方法降低了参数量和计算量，但大多数轻量级模型在试图进一步提升精度时仍会面临表征瓶颈。这些局限主要体现在三个方面：首先，依赖静态的、与内容无关的特征提取方式，难以让感受野自适应调整，从而导致在尺度变化和遮挡情况下定位稳定性下降；其次，对细粒度频率敏感信息的建模不足，使得在低对比度背景、噪声区域或小尺度关键点邻域中，难以有效捕捉局部边缘、纹理和结构特征，进而影响手腕和脚踝等难以识别的部位；最后，解码阶段的结构约束不足，导致关键区域的响应受到背景噪声的干扰，削弱了对人体结构的精准描述。

为解决这些问题，本文提出了一种用于2D姿态估计的高效轻量级网络。该网络从动态上下文建模、频率敏感的局部调制以及结构化解码精细化三个层面提升了轻量级网络在复杂场景下的特征表征能力和鲁棒性，从而实现了精度与效率之间的更好平衡。其主要贡献如下：

• 1)
  我们提出了自适应多尺度上下文块。该模块通过将动态特征增强与多分支扩张卷积相结合，使网络能够根据输入自适应调整特征提取和感受野配置，更有效地建模长距离依赖关系，从而提升在遮挡和尺度变化条件下的估计稳定性。
• 2)
  我们引入了频域门控交互模块。该模块利用基于FFT的局部交互方式，实现可学习的局部频域交互，从而引导空间特征的重新校准。这种频率敏感的门控机制有助于更好地建模局部结构、边缘和纹理相关特征，提升复杂场景下的特征表征一致性和鲁棒性。
• 3)
  我们提出了高斯增强注意力模块，这是一种用于解码阶段的轻量级细化模块。该模块利用固定高斯先验对局部响应进行结构化聚合，通过同时考虑空间维度与通道维度，突出人体区域特征的同时抑制背景干扰，从而提升对关键结构的表征能力。

在MSCOCO[26]、MPII[27]和CrowdPose[28]等主流数据集上的实验表明，DFGNet在参数更少、计算成本更低的情况下仍能展现出出色的性能。如图1所示，在精度与复杂度对比中，DFGNet的表现优于多个轻量级基准模型，且其参数量和FLOPs数值远低于基于大型HRNet的模型。此外，它在关节等易受干扰的部位也能保持稳定的定位能力，进一步证明了所提出的轻量级设计的有效性。

章节节选

轻量级人体姿态估计

近年来，得益于深度学习的发展，人体姿态估计领域取得了显著进展。基于高分辨率表征、多尺度融合或注意力机制的方法，如HRNet[7]和HM²PN[29]，在MSCOCO[26]和MPII[27]等数据集上不断提升了关键点定位精度。然而，这些高精度网络通常具有庞大的参数量和较高的计算成本，这限制了它们在资源受限场景中的应用。

DFGNet

为在尽可能保持姿态估计精度的同时减少模型参数和计算复杂度，本文设计了一种名为DFGNet的多分辨率骨干网络，其结构如图2所示。接下来，我们将介绍DFGNet的整体框架，随后分别阐述AMCB、FDGI和GEAM的设计思路与实现细节。

实验

为全面评估DFGNet的性能与优势，我们在三个公开的人体姿态估计数据集——MSCOCO[26]、CrowdPose[28]和MPII[27]上进行了定量和定性实验验证。

讨论

大量的实验和消融研究表明，DFGNet在实现较高精度的同时，还具备了良好的精度与效率平衡能力。这一优异性能得益于AMCB、FDGI和GEAM三者之间的互补设计。具体而言，AMCB提升了输入自适应的多尺度上下文建模能力，FDGI通过频域门控交互重新校准局部边缘和纹理相关特征，而GEAM则在解码过程中优化特征表现，同时抑制背景干扰。这些模块共同作用

结论

为解决轻量级人体姿态估计中精度与计算开销难以平衡的问题，本文提出了一种高效的轻量级网络DFGNet。该网络通过三个核心模块在保持轻量级特性的同时增强了特征表征能力。具体来说，自适应多尺度上下文块通过输入自适应的多尺度上下文建模扩展了有效感受野，从而更好地应对尺度变化和遮挡情况；频域门控交互模块则利用局部频域交互机制

未引用参考文献

[19], [24]

CRediT作者贡献说明

Jing Luo：撰写——初稿、可视化、验证。Yanxia Wang：撰写——审阅与编辑、资源相关工作。Xuping Liang：撰写——审阅与编辑、资源相关工作、方法论设计。Wenwen Li：撰写——审阅与编辑、监督指导。Siqin Chen：撰写——审阅与编辑。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

Jing Luo目前在中国重庆师范大学计算机与信息科学学院攻读硕士学位。他的研究兴趣包括计算机视觉、深度学习以及轻量级视觉感知模型。