ST-VA-AR:基于时空注意力混合的学习速度感知动作表示方法
《Pattern Recognition》:ST-VA-AR: Learning Velocity-Aware Action Representations with Mixture of Spatiotemporal Attention
【字体:
大
中
小
】
时间:2026年02月01日
来源:Pattern Recognition 9.1
编辑推荐:
江宁伟|于博|李科|杨兰|肖丹丹|刘军
中国北京,北京邮电大学人工智能学院
摘要
动作识别旨在学习不同场景下的具有区分度的运动表征,但现有的基于骨架的方法在面对不同动作速度时往往性能下降。通过对五个基准测试中八种代表性方法进行系统分析,我们发现随着运动速度的增加,识
江宁伟|于博|李科|杨兰|肖丹丹|刘军
中国北京,北京邮电大学人工智能学院
摘要
动作识别旨在学习不同场景下的具有区分度的运动表征,但现有的基于骨架的方法在面对不同动作速度时往往性能下降。通过对五个基准测试中八种代表性方法进行系统分析,我们发现随着运动速度的增加,识别精度持续下降,这说明这些方法对高速动作的鲁棒性较差。为解决这一难题,我们提出了时空速度感知动作识别框架(ST-VA-AR),该框架能够明确建模时间与空间维度上的速度差异。由于快速动作需要精细的时间建模,而缓慢动作则受益于更广泛的时间上下文,ST-VA-AR采用了基于混合机制的时空注意力机制,能够动态调整时间感受野。此外,该框架还通过自适应强调具有显著运动特征的肢体区域,来捕捉不同身体部位的空间速度差异。同时,我们引入了键值共享策略,以降低模型复杂度,并促进时空专家之间的高效信息交流。与之前的会议版本(VA-AR)相比,本文的期刊版本将速度感知建模进一步扩展为统一的时空框架,采用了更高效的专家协作策略,并通过更丰富的实验分析提升了模型的可解释性和鲁棒性验证能力。在五个广泛使用的数据集上的大量实验表明,ST-VA-AR在多种动作速度下均优于现有方法,证明了其有效性与鲁棒性。
引言
动作识别是计算机视觉领域的一个基础性问题,具有广泛的应用前景[2],如视频监控[3]、人机交互[4]以及体育数据分析[5]。随着深度学习的进展,基于骨架的动作识别取得了显著进展[6][7][8]。与基于RGB或光流的方法[9][10]相比,骨架表示更为轻量且结构紧凑,能够更好地应对背景杂乱和光照变化带来的影响。此外,最近在人体姿态估计方面的进步[11][12]也使得可靠的骨架提取成为可能,进一步推动了这一领域的研究。
受到基于骨架的动作识别方法的适应性启发,我们研究了其在日常活动和高强度运动中的表现。鉴于动作类别的极大多样性,仅通过类别层面的分析无法给出全面评价。为此,我们引入了“维度-速度”这一新概念,用于系统评估行为识别算法的性能。例如,如图1(a)所示,喝水或擦脸等日常活动的动作速度较慢,而羽毛球扣杀或在单杠上做大回环等运动动作的速度则更快。根据平均运动速度,我们将来自日常活动和体育场景的多个数据集中的动作重新分类,形成统一的分类体系,使具有相似运动特性的动作归为同一类别,同时保持数据分布的平衡。由于人类运动速度存在一定限制,这种基于速度的分类体系具有天然的通用性。在该分类体系下的统计分析进一步表明,现有方法在处理高速动作时性能明显下降,如图1(b)所示。
在动作识别中,尤其是基于视频的方法中,人们已经探索了速度建模技术,通常通过多速率或多路径的时间架构来实现。诸如SlowFast[13]这样的典型模型采用慢路径来捕捉长期语义,同时用快路径来保留快速的运动变化,从而在RGB视频中实现时间分辨率与语义一致性之间的平衡。不过,这些设计依赖于丰富的视觉特征,其中运动只是辅助识别信号而非主要依据。相比之下,基于骨架的表示方式与视频数据有本质区别。由于缺乏视觉或纹理信息,骨架序列几乎完全依赖关节动态来进行动作识别,因此时间建模的误差会直接影响识别性能。因此,基于骨架的动作识别中的速度建模并非对基于视频的多速率设计的简单延伸,而是一个核心挑战,需要设计专门针对人类关节结构和动态特性的架构。
基于骨架的动作识别中的速度建模面临两个核心挑战:时间适应性有限以及身体部位的差异性。从时间层面来看,缓慢动作具有较强的帧间冗余性,适合通过长距离时间聚合来处理;而快速动作则涉及突然的运动变化,需要更高的时间分辨率。因此,采用固定粒度的统一时间策略本质上并不适合处理具有不同速度的动作。除了时间动态之外,骨架序列还因人体运动学特性而表现出结构化的空间差异性。在同一个动作中,不同身体部位往往具有不同的速度模式,尤其是在体育场景中。例如,在乒乓球正手击球时,躯干相对稳定,而击球的手臂则会发生快速运动,这说明速度变化既存在于时间维度上也存在于空间维度上。
现有的基于骨架的时间建模方法主要依赖于时间卷积网络(TCNs)[14]或Transformer模型[15]。TCNs及其多尺度变体[16][17]通过共享的卷积核来建模时间依赖性,这些卷积核对处于相同相对位置的帧赋予相同的权重,因此无法适应速度变化。Transformer模型则通过注意力机制实现灵活的全局-局部建模;然而,要同时实现对局部运动细节的敏感度并保持全局语义,通常需要大规模的训练数据,并且会产生较高的计算成本[18][19]。受基于视频的SlowFast设计的启发,一些方法[20][21]采用了双路径时间架构来捕捉多频率特征。不过,这些方法仍然依赖具有预定义采样率的固定时间感受野,难以动态适应特定动作的速度需求。在空间建模方面,基于GCN的方法通常构建层次化图结构[22]或超图来捕捉多尺度的身体结构[23][24]。虽然这些方法有效,但它们主要侧重于全局结构表示,而非明确建模不同身体部位的动态特性。通过根据解剖学先验为不同关节分配不同权重来引入对身体部位的关注已显示出一定潜力[25];然而,手工设计的固定权重方案严重限制了其对多样且高度动态的现实世界动作的适应能力。
本质上,速度差异是导致动作识别性能下降的主要因素,这一现象既体现在时间维度上,也体现在空间(身体部位)维度上。为解决这些问题,我们将速度感知融入到统一的时空建模中。在时间建模方面,我们以基于Transformer的架构作为基础。受Swin Transformer[18]的启发,我们通过将时空特征划分为时间窗口,将局部窗口自注意力应用于动作识别。在每个窗口内计算自注意力,以突出局部运动细节(局部窗口注意力,LWA);同时,通过移位窗口划分实现跨窗口交互,以保留全局时间语义(移位窗口注意力,SWA)。在这些基于窗口的机制基础上,我们进一步引入了多尺度窗口注意力,这一设计借鉴了CNN[26]和TCNs[23]中多尺度设计的有效性。通过使用多种窗口尺寸,模型能够获得不同的时间感受野,从而适应具有不同运动速度的动作。为动态调整时间粒度,我们采用了专家混合(MoE)结构,通过一个轻量的路由网络为不同窗口尺度的专家分配帧级权重。为避免额外的计算开销,每个专家仅重复使用单一窗口尺寸下的LWA或SWA,仅需一个线性路由层。这个具备速度感知的时间模块被称为速度感知Transformer(VA-Transformer)。为解决身体部位的差异性问题,空间建模需要识别出具有显著速度模式的身体部位。现有的基于GCN或Transformer的方法通常将人体视为一个整体,这限制了它们定位关键运动特征的能力。受到基于身体部位的动作识别研究[27][28]以及近期姿态估计技术的启发[29],我们提出了身体部位注意力(BPA)机制,用于学习局部化的身体运动模式。与VA-Transformer中的时间专家路由类似,BPA也采用专家混合结构,动态选择并突出具有独特运动速度的身体部位,从而将速度感知建模从时间维度扩展到空间维度。该模块被整合到身体部位Transformer(BP-Transformer)中。
在BP-Transformer和VA-Transformer的基础上,我们设计了一个统一的时空块(ST-block),该模块在单个专家混合框架内整合了空间和时间维度的速度感知注意力。这一设计使得能够在两个维度上实现连贯且自适应的运动动态建模,也是我们提出的时空速度感知动作识别框架(ST-VA-AR)的核心。为进一步降低模型复杂度,我们引入了键值共享策略,让空间和时间维度的专家之间重用键和值,从而促进专家间的信息交流,同时保持计算效率。
我们的主要贡献如下:
• 我们指出速度差异是导致基于骨架的动作识别性能下降的根本原因,并通过系统分析表明现有方法对高速动作尤为敏感。
• 为解决由速度引起的时间变化问题,我们提出了窗口注意力混合机制(MoWA),该机制能够在速度感知Transformer中实现自适应的时间感受野,从而有效处理具有不同运动速度的动作。
• 为解决空间速度差异问题,我们在身体部位Transformer中引入了身体部位注意力混合机制(MoBA),用于动态突出具有显著运动动态的身体部位。同时,我们采用了键值共享策略,以降低模型复杂度并促进空间和时间维度专家间的信息交流,最终形成了统一的时空速度感知动作识别框架(ST-VA-AR)。
• 大量实验验证了ST-VA-AR的有效性,该框架在涵盖多种动作速度的五个常用数据集上均取得了最优性能。与之前的会议版本VA-AR[1]相比,本文的期刊版本进行了多项重要改进。首先,我们将速度感知建模从纯粹的时间建模扩展为统一的时空建模,通过引入带有身体部位注意力混合机制的身体部位Transformer,实现了由运动动态驱动的自适应空间建模。其次,我们提出了高效的键值共享策略,以促进专家间的协作并降低专家混合框架内的模型复杂度。最后,我们通过更全面的定性、定量及消融实验丰富了实验分析内容,从而更深入地了解了动作行为的细微特征、模型对速度的不变性以及在真实噪声条件下的鲁棒性。这些改进共同提升了ST-VA-AR框架的建模能力、效率及实际应用鲁棒性。
章节节选
基于骨架的动作识别的时间关系建模
基于骨架的动作识别依赖于有效的时间建模,以便从关节序列中捕捉运动动态。现有方法主要采用时间卷积网络(TCNs)[14]或基于Transformer的架构[15]。早期的TCN基方法[7][8]通过固定的卷积核来建模时间依赖性,而后来的多尺度变体则扩大了时间感受野[22][23][30]。然而,由于卷积核配置固定,这些方法缺乏灵活性。
整体架构
所提出的ST-VA-AR框架旨在通过同时建模空间上的身体部位关系和时间上的运动动态,来学习具有速度鲁棒性的动作表征。如图2所示,首先将包含N个关节和T帧的骨架序列SN,T∈RN×T×C嵌入到潜在特征中,随后这些特征由L个堆叠的时空块(ST-Blocks)进行处理。每个ST-Block包括用于空间建模的身体部位Transformer(BP-Transformer),以及用于……的velocity-aware Transformer(VA-Transformer)。
数据集
我们在五个具有代表性的基准测试数据集上评估了所提出的方法,这些数据集涵盖了日常活动和专业体育场景,包括NTU RGB+D 60(NTU-60)[50]、NTU RGB+D 120(NTU-120)[51]、P2A [52]、奥林匹克羽毛球[53]以及FineGym [54]。NTU-60和NTU-120主要关注日常动作,而P2A、奥林匹克羽毛球和FineGym则侧重于具有快速且变化剧烈动态特性的精细体育动作。P2A数据集按8:2的比例随机分为训练集和测试集。
结论
本文研究了动作速度对基于骨架的动作识别的影响,发现在不同运动速度下,尤其是高速动作时,识别性能会出现显著下降。为解决这一问题,我们提出了一种时空速度感知框架,该框架能够明确地在时间和空间维度上建模速度差异。具体而言,通过窗口注意力混合机制自适应地捕捉时间动态,同时通过……来增强空间建模能力。
CRediT作者贡献声明
江宁伟:写作——审稿与编辑、写作——初稿撰写、可视化、方法论、数据整理、概念构思。
于博:验证、研究分析。
李科:写作——审稿与编辑、监督指导、方法论。
杨兰:写作——审稿与编辑、研究分析。
肖丹丹:资金筹集。
刘军:监督指导、项目管理、概念构思。
利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。
致谢
本研究部分得到了中国国家自然科学基金的支持,项目编号为62476065。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号