PSEG通过即插即用的结构边缘引导技术提升了人体姿态估计的效果

《Scientific Reports》：PSEG improves human pose estimation via plug-and-play structural edge guidance

　　

摘要

在密集遮挡场景中，人体姿态估计存在关键点检测错误和关节错位的问题。由于缺乏高质量的人体边缘数据以及专用检测器，现有方法难以有效利用结构边缘约束。我们提出了PSEG（即插即用的结构边缘引导框架），该框架用于解决多人姿态估计中的遮挡问题。我们创建了PSEG-Bench，这是一个大规模的2D多人边缘数据集，通过SMPL投影结合APDC-RPDC自适应形态学优化技术生成，为模型提供了可靠的训练数据。我们开发了一个轻量级的PSEG模块，该模块采用半监督学习方法从20万个未标注的实际帧中学习，以弥合SMPL投影边缘与真实边缘之间的差距，并实现了动态的置信度阈值。消融实验表明，我们的单尺度输入方法仅增加了2.39%的参数数量，但其性能优于多尺度输入方法；损失权重α=1.1能够最佳地平衡边缘与背景类别之间的不平衡问题，而基于奖励的机制和梯度一致性约束则有助于抑制Canny算法引入的噪声。严格的数据集非重叠划分方案有效防止了数据泄露。即使在运动模糊（σ=5）和低光照（γ=0.5）的恶劣环境下，PSEG也能实现高达6.4 %的姿态精度（AP）提升。在OCHuman数据集上，该方法的姿态精度绝对提升率为1.2–2.1%；在CrowdPose数据集上，PSEG将HRNet和TransPose的姿态精度提高了0.8–2.6%（平均提升1.52%）；在MSCOCO数据集上，mAP值提高了1.1–2.5%（平均提升1.62%）。实验结果表明，PSEG能够有效减少错误的激活结果并加快模型的收敛速度。代码链接：https://github.com/wilson-up1/PSEG-main。