拓扑感知图学习（TAGL）：提升骨骼动作识别鲁棒性的新方法

《Applied Sciences》：A Topology-Aware Graph Learning Framework for Occlusion-Robust Skeleton-Based Human Action Recognition

　　

摘要

基于骨骼的人类动作识别由于其紧凑地表示运动，对实用视觉系统具有吸引力，但遮挡和姿态估计失败可能在较长时间内移除空间上相邻的关节，从而降低基于图的动作识别性能。我们提出了拓扑感知图学习（TAGL）框架，该框架耦合了三种机制：邻域扩展掩码（NEM）在训练过程中生成具有空间相关性的序列级关节丢失；自适应多跳图学习在局部邻域变得不可靠时重新加权来自不同图距离的信息；整体拓扑映射通过持久拓扑提供互补的全局结构线索。TAGL在NTU RGB+D 60上达到93.3%/97.9%的Top-1准确率，在NTU RGB+D 120上达到90.4%/91.6%，在Northwestern-UCLA上达到97.0%，在UAV-Human上达到47.2%。在六种异构骨骼损坏条件下，其平均准确率达85.8%，而无NEM时为79.3%，随机掩码时为84.5%，同时仅需1.78M参数和2.58 GFLOPs。这些结果表明，TAGL在不过度增加计算开销的情况下提高了对不完整和结构退化的骨骼观测的容忍度。因此，其紧凑且对损坏敏感的架构在不完美姿态观测下工作的基于骨骼的监控系统前景广阔，包括安全监控、人机交互和康复导向的运动分析。