基于显著部位姿态关键点的双分支网络SPKDB-Net在重复动作计数中的创新应用

针对视频中遮挡和不利视角导致姿态关键点提取不准的问题，研究人员提出SPKDB-Net，通过全局与显著部位（头、肩、手）双分支输入和DFEPM-Module的注意力机制融合特征，在RepCount-pose等数据集上实现SOTA性能，为运动训练和智能监控提供轻量化解决方案。

　　

在体育训练、智能监控等领域，精确统计重复动作次数（如俯卧撑、跳绳）是计算机视觉的重要任务。然而，现有方法面临两大挑战：视频级方法（如TransRAC）因处理冗余背景信息导致计算成本高昂；姿态级方法（如PoseRAC）虽利用轻量化的3D关节坐标，却易受遮挡和视角影响，尤其对髋、膝等非显著部位关键点的提取误差显著。更棘手的是，现实场景中这些不利因素往往难以避免，直接影响动作周期判定的准确性。

为解决这一难题，泉州和福建省科技计划支持的研究团队创新性地提出SPKDB-Net网络。该工作基于一个关键发现：人体头部、肩膀和手部等显著部位（Salient-Part）的运动轨迹更明显，且受环境干扰较小。通过双分支设计——全局分支（33关键点）与显著分支（23关键点）协同输入，配合DFEPM-Module的注意力机制与卷积局部特征融合，模型在RepCount-pose、UCFRep-pose和Countix-Fitness-pose三个基准测试中均达到最先进水平（SOTA），参数量（Params）和计算量（FLOPs）却显著低于同类方法。

关键技术方法
研究采用双分支输入架构：全局分支输入OpenPose等姿态估计网络提取的全身关键点；显著分支专注头肩手区域。特征处理阶段，DFEPM-Module通过注意力机制捕获长程依赖关系，并利用CBR Layers（Convolution-BatchNorm-ReLU）强化局部几何特征。最终通过分类器和RC-Module（Repetitive Counting Module）实现动作计数，全程采用级联降维降低计算开销。

研究结果

1. 双分支协同机制：实验表明，显著分支作为辅助通道，能有效补偿全局分支在遮挡场景下的特征缺失，使模型在极端视角下仍保持82.3%的计数准确率。
2. DFEPM-Module优势：相比纯注意力模型，引入CBR Layers使局部特征匹配精度提升19%，验证了卷积对几何信息补充的必要性。
3. 跨数据集验证：在Countix-Fitness-pose的复杂健身动作测试中，SPKDB-Net的MAE（平均绝对误差）较GMFL-Net降低0.47，证明其泛化能力。

结论与意义
该研究首次将显著部位关键点作为独立特征源引入重复动作计数，通过双分支特征增强和轻量化设计，突破了传统方法对非显著部位关键点的过度依赖。其创新点在于：① 提出SPE-Module（Salient Pose Estimation Module）实现关键点筛选；② 在DFEPM-Module中实现注意力与卷积的互补融合；③ 仅需23个显著关键点即可完成多数动作计数，为边缘设备部署提供可能。论文发表于《Computer Vision and Image Understanding》，为体育科学、康复医学等领域的自动化评估提供了新范式。