面向基于骨架人体活动识别的频率感知时空拓扑学习方法(Frequency-Aware Spatio-Temporal Topology Learning for Skeleton-Based Human Activity Recognition)
《Pattern Recognition》:Frequency-Aware Spatio-Temporal Topology Learning for Skeleton-Based Human Activity Recognition
编辑推荐:
摘要:基于骨架的人体活动识别(Skeleton-Based Human Activity Recognition, HAR)借助图卷积网络(Graph Convolutional Network, GCN)与Transformer架构在时空建模方面已取得显著进
摘要:基于骨架的人体活动识别(Skeleton-Based Human Activity Recognition, HAR)借助图卷积网络(Graph Convolutional Network, GCN)与Transformer架构在时空建模方面已取得显著进展,然而现有方法或使用无法适应异质骨架数据的预定义静态图拓扑,或仅基于局部时空特征学习动态拓扑,忽略了关节运动中对发现具语义意义的空间关系至关重要的全局时域频率特征。研究人员提出频率感知拓扑学习图卷积网络(Frequency-Aware Topology Learning Graph Convolutional Network, FATL-GCN),一种将频率感知时域上下文(frequency-aware temporal context)用于引导空间拓扑自适应学习的新型架构。该方法利用Time-to-Vector线性频率编码(Time-to-Vector linear frequency encoding)捕获周期与非周期运动模式,采用频率引导的拓扑学习(frequency-guided topology learning)通过时域上下文驱动的注意力生成动作专属图,并引入分层多尺度融合(Hierarchical Multi-Scale Fusion, HMSF)进行跨尺度鲁棒特征提取。大量实验表明,FATL-GCN在NTU RGB+D 60数据集上取得93.8%(Cross-Subject)与97.5%(Cross-View)的Top-1准确率,在NTU RGB+D 120数据集上取得91.9%(Cross-Subject)与93.1%(Cross-Setup)的Top-1准确率,在Kinetics-Skeleton上取得51.7%的Top-1准确率;消融实验证实各组件的关键作用,移除动态图拓扑导致准确率下降3.5%,移除频率感知编码导致下降2.1%。
论文解读:《Pattern Recognition》— Frequency-Aware Spatio-Temporal Topology Learning for Skeleton-Based Human Activity Recognition
一、研究背景与意义
基于骨架的人体活动识别(Skeleton-Based Human Activity Recognition, HAR)在健康监测、人机交互与安防领域有重要应用价值。早期方法使用RNN或CNN处理骨架序列,但RNN会破坏骨架空间拓扑,CNN则强加欧氏网格假设于非欧骨架数据。图卷积网络(Graph Convolutional Network, GCN)将人体关节建模为节点、骨骼为边,自然保留了人体解剖连接关系,已成为主流方案。后续研究进一步引入自适应/动态图拓扑及Transformer混合架构以提升性能。然而现有GCN类方法普遍存在两方面局限:其一,空间图拓扑多用固定解剖结构或仅依据瞬时/局部聚合特征学得的动态图,未充分利用全局时域信息来发现具语义意义的关节依赖关系;其二,时空建模通常解耦处理(空间GCN配时序卷积TCN或RNN),忽视了空间关节关系与 temporal dynamics 的内在耦合——同一空间构型在不同时间演化下可对应不同动作。此外传统时序建模(TCN)难以同时刻画人体运动的周期性与非周期性成分。为克服上述缺陷,本文提出FATL-GCN,将频率域时域特征引入空间拓扑学习,实现时空紧耦合建模,发表于《Pattern Recognition》。
二、主要关键技术方法
研究人员在NTU RGB+D 60、NTU RGB+D 120及Kinetics-Skeleton三个基准数据集上开展实验,采用四流(joint/bone/joint motion/bone motion)多模态融合并取softmax平均。模型以骨架张量X∈RB×T×V×Cin为输入,经输入嵌入初始化物理邻接矩阵后,首先进入分层多尺度融合(Hierarchical Multi-Scale Fusion, HMSF)模块并行提取1×1卷积、分解式3×3与5×5深度可分离卷积及全局平均池化特征再拼接融合;核心由若干频率感知拓扑学习(Frequency-Aware Topology Learning, FATL)块堆叠构成:频率感知时域编码(Frequency-Aware Temporal Encoding, FATE)模块对每个归一化时间步拼接Time2Vec(含可学习线性分量dlinear=3与K=5个正弦周期分量)嵌入后沿时间维平均池化得频率感知全局时域上下文Hcontext∈RB×V×Cmodel;上下文引导动态图卷积(Context-Guided Dynamic Graph Convolution, CDGC)模块以Hcontext生成多头Query/Key计算关节间相似度得动态邻接并与可学业基拓扑(初始化自物理骨架)做元素乘融合及对称归一化,实施图卷积;随后经多头自注意力(Multi-Head Self-Attention, MHSA)与前馈网络(Feed-Forward Network, FFN)进行全局依赖补全,整体采用Pre-LN残差结构。设置FATL-GCN-B(Cmodel=128, 8 FATL块, 4头)与FATL-GCN-L(Cmodel=256, 12 FATL块, 8头)两配置,SGD优化器训练。
三、研究结果
4.1 Datasets and Protocols
使用标准评估协议:NTU RGB+D 60按Cross-Subject(X-Sub)与Cross-View(X-View)评估;NTU RGB+D 120按X-Sub与Cross-Setup(X-Set)评估;Kinetics-Skeleton报告Top-1与Top-5准确率。
4.3 Comparison with State-of-the-Art Methods
在NTU RGB+D 60上FATL-GCN-L达93.8%(X-Sub)与97.5%(X-View),超越此前最优DeGCN(93.6%/97.4%);在NTU RGB+D 120上达91.9%(X-Sub)与93.1%(X-Set),较DeGCN提升0.9%与1.0%;在Kinetics-Skeleton上Top-1达51.7%、Top-5达68.1%,超越DS-GCN的50.6%。表明频率感知时域引导的动态拓扑学习在受控实验室数据与含噪声野外数据中均具优势。效率分析显示FATL-GCN-B参量5.8M、浮点运算14.2 GFLOPs、NTU-120 X-Sub准确率91.1%,优于MS-G3D(6.4M, 48.5G, 86.9%)与DSTA-Net(14.0M, 64.7G, 86.6%),证明方法在精度–计算代价间取得良好平衡。t-SNE特征可视化显示FATL-GCN较ST-GCN基线同类内聚类更紧凑、类间边界更大,说明学到更具判别力的表征。
4.4 Ablation Studies
4.4.1 Component Analysis
完整FATL-GCN-B为91.1%;去除HMSF降至90.4%(?0.7%),去除FATE(无Time2Vec引导)降至89.0%(?2.1%),替换为固定物理图(无CDGC)降至87.6%(?3.5%),去除MHSA与FFN降至89.9%(?1.2%)。验证CDGC动态拓扑与FATE频率感知时域上下文为核心贡献。
4.4.2 Multi-Scale Feature Analysis
HMSF四分支联合效果最优(91.1%),单独任分支均降效,其中仅全局池化分支最低(88.5%),说明多尺度互补且全局上下文不可或缺。
4.4.3 Temporal Encoding and Topology Learning
Time2Vec(91.1%)优于固定正弦位置编码(89.8%)与可学位置嵌入(89.5%);拓扑学习中乘性融合(σ(Abase)⊙S,91.1%)优于仅固定图(87.6%)、仅可学静态图(89.2%)与仅注意力动态图(88.9%);平均池化(91.1%)优于最大池化(90.4%)及各类加权池化。Time2Vec超参K=5、dlinear=3为最优,过少周期分量或过多均致性能下降。
四、讨论与结论总结
讨论指出FATL-GCN通过频率感知时域上下文指导空间图拓扑构建,突破了传统GCN解耦时空建模的限制,使关节连接能依动作时态特性自适应形成功能关联而非仅依解剖约束。局限在于需足够长时序帧数做频率分析,极短动作序列效果受限;多头拓扑学习增加显存占用;严重遮挡或姿态估计误差大的骨架数据上性能可能下降。未来方向含模型剪枝/知识蒸馏用于移动端部署及融合RGB或深度模态提升鲁棒性。
结论:研究人员提出FATL-GCN用于基于骨架的人体活动识别(HAR),其FATE模块利用Time2Vec编码从骨架序列捕获含周期与非周期运动特征的时域频率模式并生成反映整体运动特性的全局时域上下文;CDGC模块利用此频率上下文通过多头注意力动态构建空间图拓扑使关节连接依时域运动模式自适应而非固守解剖结构;实验表明FATL-GCN在NTU RGB+D 60、NTU RGB+D 120及Kinetics-Skeleton上达到当前最优水平,消融研究验证了所提各组件有效性。