面向基于骨架的动作识别的阶段感知时空放置

《Pattern Recognition Letters》:Stage-Aware Spatial-Temporal Placement for Skeleton-Based Action Recognition

【字体: 大 中 小 】 时间:2026年10月23日 来源:Pattern Recognition Letters 3.5

编辑推荐:

   - 阶段感知放置使模块与特征成熟度相匹配。- 关节级、肢体级和全局级先验增强了浅层骨架特征。- 时间-通道门控机制精炼了语义上成熟的深层特征。- 以更少的参数量和FLOPs实现了与2s-AGCN相当的精度。- 诊断分析支持了阶段感知的模块放置策略。 **引言** 基于骨架

  

- 阶段感知放置使模块与特征成熟度相匹配。- 关节级、肢体级和全局级先验增强了浅层骨架特征。- 时间-通道门控机制精炼了语义上成熟的深层特征。- 以更少的参数量和FLOPs实现了与2s-AGCN相当的精度。- 诊断分析支持了阶段感知的模块放置策略。

**引言**

基于骨架的动作识别是视觉计算中的一项重要任务,广泛应用于人机交互、行为理解、康复分析和智能监控等领域。与基于RGB的视频表示相比,骨架数据提供了紧凑、鲁棒且隐私保护性强的人类运动表示,使其适用于实时和资源受限的系统[1], [2]。

图卷积网络(GCN)的最新进展通过构建结构化图来对人体关节进行建模,显著提升了基于骨架的动作识别性能。开创性工作ST-GCN[3]将骨架序列建模为时空图,并在空间和时空两个维度上执行卷积运算。后续方法引入了自适应图学习、多流融合、注意力机制、高阶关系和拓扑细化等手段,以进一步提升识别性能[4], [5], [6], [7], [8], [9], [10]。

然而,尽管图建模能力持续提升,大多数现有方法仍遵循统一的架构设计范式,即在不同网络阶段重复应用相似的空间和时间操作。这忽略了骨架特征的层级演化特性:早期表示主要保留几何结构信息,而更深层的表示则包含更多语义运动信息。

时序建模在骨架动作识别中起着重要作用。现有方法主要依赖时序卷积或基于注意力的机制来捕获运动依赖关系[11], [12]。近期,状态空间模型为长程时序建模提供了另一种高效解决方案[13]。然而,这些时序建模策略通常被统一地应用于所有网络阶段,并未显式考虑时序动态如何在特征层级上演化。针对上述局限性,我们研究了面向基于骨架的动作识别的阶段感知时空放置策略。我们关注的不是设计日益复杂的图算子或时序模块,而是空间和时间建模应如何根据特征成熟度分配到不同的网络深度。

基于这一洞察,我们提出了一种紧凑的AGCN风格框架,将多粒度空间增强分配给浅层,将轻量级时间-通道门控分配给深层,同时保持中间层不变以维持稳定的特征传播。这一设计为AGCN风格的基于骨架的动作识别提供了一种可解释的精度-复杂度优化方案。

**章节摘要——基于骨架的动作识别**

图卷积网络(GCN)因其对结构化人体关节的建模能力,已成为基于骨架的动作识别的主流范式。ST-GCN[3]首次引入时空图建模,将卷积运算扩展到非欧几里得的骨架结构上。为提升表示能力,2s-AGCN[4]引入了自适应图学习和多流融合。作为被最广泛采用的基线之一,2s-AGCN已成为事实上的骨干网络,许多后续工作在此基础上进行改进。

**概述**

给定输入骨架序列??∈???×??×??×??×??,其中N、C、T、V和M分别表示批量大小、坐标通道数、时间长度、关节数和人数,目标是从时空关节序列中预测动作类别。按照AGCN风格的流程,输入序列首先进行归一化和重塑,转换为图-时序表示。提取的特征随后通过全局平均池化进行聚合,并送入全连接层进行分类。

**数据集与实验设置**

我们在四个广泛使用的基于骨架的动作识别基准上进行评估:NTU RGB+D 60[28]、NTU RGB+D 120[29]、Kinetics-Skeleton[30]和NW-UCLA[31]数据集。NTU RGB+D 60作为主要基准用于受控比较和消融实验。NTU RGB+D 120和NW-UCLA用于泛化能力评估,而Kinetics-Skeleton用于分析在含噪声的野外骨架输入下的鲁棒性。

对于NTU RGB+D 60和NTU RGB+D 120,我们遵循标准的实验设置。

**结论**

本工作研究了空间和时间建模机制是否能够根据特征成熟度进行更优的分配,而非在所有网络阶段统一应用。在NTU RGB+D 60上的实验表明,所提方法在保持与复现的2s-AGCN基线相当的精度的同时,减少了参数量和FLOPs。消融实验和诊断研究进一步表明,浅层空间增强和深层时间门控提供了有用但并非严格可叠加的效果。

**代码可用性**

实现代码可在 https://github.com/yangyuanyuan978/StageAware-STG 获取。

**数据可用性**

数据可根据请求提供。

**CRediT作者贡献声明**

Yuanyuan Yang:撰写——初稿、可视化、验证、软件、方法论、调查研究、形式化分析、概念构思。Zhengwen Zhang:撰写——审稿与编辑、调查研究、形式化分析。Cheng Yang:撰写——审稿与编辑、调查研究、形式化分析。Yangtao Yu:撰写——审稿与编辑、监督、项目管理、获取经费。Supaporn Lonapalawong:撰写——审稿与编辑、监督、调查研究、形式化分析。

**利益冲突声明**

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

**致谢**

本工作部分得到了中国国家自然科学基金(批准号:62362071)的资助。

Yuanyuan Yang | Zhengwen Zhang | Cheng Yang | Yangtao Yu | Supaporn Lonapalawong
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号