作为视频理解的核心任务,动作识别(AR)旨在根据时空特征对视频中的动作类型或模式进行分类。尽管近年来深度学习方法(Han, Xie, & Zisserman (2022); Liu et al. (2020); Quan et al. (2023); Zhang, Li, & Liu (2023b))在AR领域取得了显著进展,但这些方法通常依赖于大量标注样本。最近,零样本方法(Kuang, Wang, Han, Zhang, & Gui (2026); Qi et al. (2023); Xing, Feng, Su, Peng, & Zhang (2021); Xing et al. (2026)和少样本动作识别(FSAR)方法受到了关注。FSAR的主要目标是从有限样本中学习具有区分性的特征,以便识别和分类未见过的动作类型。目前,基于度量的元学习策略(Huang, Yang, & Sato (2022b); Perrett, Masullo, Burghardt, Mirmehdi, & Damen (2021)在FSAR中被广泛采用。其核心思想是将输入视频映射到特征空间,并学习一个度量来比较不同类别之间的距离。例如,HyRSM(Wang et al. (2022))提出了一种混合关系引导的集合匹配算法,并结合双向平均豪斯多夫度量来提高对错位实例的鲁棒性。尽管取得了显著成果,但这些方法仍存在以下局限性:例如,Lee等人(Lee, Lee, Son, Park, & Kwak (2018)通过光流提取运动信息,但计算成本较高;其他方法(Wang et al. (2023); Xing, Wang, Liu, & Mu (2023a)利用帧间差异,但它们仅在决策层对预测结果进行加权融合,导致视频表示中运动信息的利用效率低下,从而影响了性能。此外,简单的帧差异方法忽略了视频帧之间的时间关系,而这对AR至关重要。因此,如何设计一个有效的时间模块来在早期阶段捕获短期运动信息,以及如何在低计算开销下构建强大的运动建模能力,仍然是FSAR面临的紧迫问题。此外,一些以往的方法(Han et al. (2022); Wang et al. (2023)通过聚合帧间的相似性分数来计算视频之间的相似性,它们仅关注样本的帧特征和全局特征,而忽略了细粒度的局部块特征(LPFs),因此未能有效利用局部空间上下文信息,也无法有效区分相似的动作。
我们认为全局特征、帧级特征和块特征都是丰富时空上下文信息的同等重要的线索。此外,不同层次的特征是互补的,多层次特征提供了更强的区分性表示,而大多数现有方法忽视了这一点。另一方面,大多数基于度量的方法依赖于每个类别的单一原型。由于单一原型更关注空间信息,缺乏类别内的多样性(特别是对于具有复杂时空变化的动作),这限制了模型对多样时间动态的建模能力。
到目前为止,FSAR仍面临以下三个挑战:i) 相邻帧之间的短期运动特征通常建模较弱或完全被忽略,导致表示不明确;ii) 大多数现有方法依赖于全局或帧级特征,忽略了能够区分相似动作的关键细粒度局部空间线索;iii) 以往的原型匹配策略将时间信息压缩为单一向量,这限制了其在少样本场景下保持时间结构的能力。在这种情况下,本文提出了一种基于运动感知的多层次时空建模方法,用于FSAR,该方法能够提取具有区分性的时空上下文信息,并以更有效的方式建模运动信息。我们的模型包含两个核心模块和一种混合匹配策略。具体来说,为了解决弱短期运动建模问题(第一个问题),我们提出了STMM。STMM在运动信息的引导下,利用相邻帧之间的时间差异来近似运动趋势,使模型专注于与运动相关的特征。然后,通过集成基于序列感知器的适配器来增强STMM模块,该适配器以循环方式沿时间线建模时间信息,并捕获细粒度的序列顺序,提供更具表现力的运动感知表示。为了克服仅依赖全局或帧级表示的局限性(第二个问题),我们提出了PMFF。它从局部块中捕获基于外观的特征,并通过帧级和全局特征融合时间上下文信息,生成高区分性特征。为了在相似性测量中保持时间结构(第三个问题),我们设计了一种混合匹配策略,它结合了帧级匹配的灵活性和基于时间感知的元组级匹配方案,将多个连续帧整合为一个元组作为匹配单元。通过保留和比较局部时间段信息,它可以有效捕获动作模式并实现更准确的相似性估计,这对于少样本学习场景特别有用。总之,本文的主要贡献可以总结如下:
•开发了一种少样本AR框架,该框架集成了运动感知的序列建模和混合类别原型匹配机制。
•通过嵌入式序列感知器对短期运动特征进行建模,以循环方式提取帧顺序和序列动态,其性能优于传统的帧差异方法,并提供了更具表现力的运动感知表示。
•通过渐进式融合局部块特征、帧级特征和全局特征生成具有区分性的时空上下文特征。
•提出了一种混合匹配机制,结合了帧级和元组级匹配操作来确定动作类型。