基于运动感知的多层次特征融合技术在少样本动作识别中的应用

《Expert Systems with Applications》:Motion-Aware Multi-Level Feature Fusion for Few-Shot Action Recognition

【字体: 大 中 小 】 时间:2026年01月10日 来源:Expert Systems with Applications 7.5

编辑推荐:

  本文提出了一种基于短期运动建模和多级特征融合的少数样本动作识别方法,通过STMM模块捕捉相邻帧的局部运动信息,并采用序列感知适配器增强时序建模能力。PMFF模块则渐进式融合局部片段、帧级和全局特征,同时设计混合匹配策略结合帧级和元组级匹配。在4个主流数据集上验证,该方法显著优于现有方法。

  
杨彪|张毅|刘子伟
四川大学计算机科学系

摘要

时空关系建模是少样本动作识别(FSAR)的核心方面。以往的方法更多关注长期时间关系建模,而对短期运动信息(MI)的关注较少,这导致了针对特定动作的运动信息损失。此外,大多数方法基于样本的全局特征进行帧级匹配(未考虑局部特征),因此可能无法很好地区分相似的动作。针对这一问题,本文提出了一种新的FSAR方法,该方法包括短期运动建模(STMM)模块和渐进式多层次特征融合(PMFF)模块。具体来说,STMM编码相邻帧的运动信息,并通过局部运动趋势构建注意力权重以增强运动特征;PMFF则充分探索视频帧的局部空间语义特征,以渐进的方式融合局部块特征、帧级特征和全局特征。通过提取具有区分性的时空上下文信息,我们的模型能够专注于视频中的相关对象及其运动。在4个主流数据集上的实验表明,我们的模型相比其他流行方法有显著改进。

引言

作为视频理解的核心任务,动作识别(AR)旨在根据时空特征对视频中的动作类型或模式进行分类。尽管近年来深度学习方法(Han, Xie, & Zisserman (2022); Liu et al. (2020); Quan et al. (2023); Zhang, Li, & Liu (2023b))在AR领域取得了显著进展,但这些方法通常依赖于大量标注样本。最近,零样本方法(Kuang, Wang, Han, Zhang, & Gui (2026); Qi et al. (2023); Xing, Feng, Su, Peng, & Zhang (2021); Xing et al. (2026)和少样本动作识别(FSAR)方法受到了关注。FSAR的主要目标是从有限样本中学习具有区分性的特征,以便识别和分类未见过的动作类型。目前,基于度量的元学习策略(Huang, Yang, & Sato (2022b); Perrett, Masullo, Burghardt, Mirmehdi, & Damen (2021)在FSAR中被广泛采用。其核心思想是将输入视频映射到特征空间,并学习一个度量来比较不同类别之间的距离。例如,HyRSM(Wang et al. (2022))提出了一种混合关系引导的集合匹配算法,并结合双向平均豪斯多夫度量来提高对错位实例的鲁棒性。尽管取得了显著成果,但这些方法仍存在以下局限性:例如,Lee等人(Lee, Lee, Son, Park, & Kwak (2018)通过光流提取运动信息,但计算成本较高;其他方法(Wang et al. (2023); Xing, Wang, Liu, & Mu (2023a)利用帧间差异,但它们仅在决策层对预测结果进行加权融合,导致视频表示中运动信息的利用效率低下,从而影响了性能。此外,简单的帧差异方法忽略了视频帧之间的时间关系,而这对AR至关重要。因此,如何设计一个有效的时间模块来在早期阶段捕获短期运动信息,以及如何在低计算开销下构建强大的运动建模能力,仍然是FSAR面临的紧迫问题。此外,一些以往的方法(Han et al. (2022); Wang et al. (2023)通过聚合帧间的相似性分数来计算视频之间的相似性,它们仅关注样本的帧特征和全局特征,而忽略了细粒度的局部块特征(LPFs),因此未能有效利用局部空间上下文信息,也无法有效区分相似的动作。
我们认为全局特征、帧级特征和块特征都是丰富时空上下文信息的同等重要的线索。此外,不同层次的特征是互补的,多层次特征提供了更强的区分性表示,而大多数现有方法忽视了这一点。另一方面,大多数基于度量的方法依赖于每个类别的单一原型。由于单一原型更关注空间信息,缺乏类别内的多样性(特别是对于具有复杂时空变化的动作),这限制了模型对多样时间动态的建模能力。
到目前为止,FSAR仍面临以下三个挑战:i) 相邻帧之间的短期运动特征通常建模较弱或完全被忽略,导致表示不明确;ii) 大多数现有方法依赖于全局或帧级特征,忽略了能够区分相似动作的关键细粒度局部空间线索;iii) 以往的原型匹配策略将时间信息压缩为单一向量,这限制了其在少样本场景下保持时间结构的能力。在这种情况下,本文提出了一种基于运动感知的多层次时空建模方法,用于FSAR,该方法能够提取具有区分性的时空上下文信息,并以更有效的方式建模运动信息。我们的模型包含两个核心模块和一种混合匹配策略。具体来说,为了解决弱短期运动建模问题(第一个问题),我们提出了STMM。STMM在运动信息的引导下,利用相邻帧之间的时间差异来近似运动趋势,使模型专注于与运动相关的特征。然后,通过集成基于序列感知器的适配器来增强STMM模块,该适配器以循环方式沿时间线建模时间信息,并捕获细粒度的序列顺序,提供更具表现力的运动感知表示。为了克服仅依赖全局或帧级表示的局限性(第二个问题),我们提出了PMFF。它从局部块中捕获基于外观的特征,并通过帧级和全局特征融合时间上下文信息,生成高区分性特征。为了在相似性测量中保持时间结构(第三个问题),我们设计了一种混合匹配策略,它结合了帧级匹配的灵活性和基于时间感知的元组级匹配方案,将多个连续帧整合为一个元组作为匹配单元。通过保留和比较局部时间段信息,它可以有效捕获动作模式并实现更准确的相似性估计,这对于少样本学习场景特别有用。总之,本文的主要贡献可以总结如下:
  • •
    开发了一种少样本AR框架,该框架集成了运动感知的序列建模和混合类别原型匹配机制。
  • •
    通过嵌入式序列感知器对短期运动特征进行建模,以循环方式提取帧顺序和序列动态,其性能优于传统的帧差异方法,并提供了更具表现力的运动感知表示。
  • •
    通过渐进式融合局部块特征、帧级特征和全局特征生成具有区分性的时空上下文特征。
  • •
    提出了一种混合匹配机制,结合了帧级和元组级匹配操作来确定动作类型。
  • 小样本学习

    小样本图像分类旨在仅基于少量标注样本对图像进行分类。目前,小样本学习可以分为三种类型:数据增强方法、基于优化的方法和基于度量的方法。
    数据增强方法生成更多样化的样本以缓解样本数量不足的问题。例如,MetaGAN(ZHANG, Che, Ghahramani, Bengio, & Song (2018)通过生成对抗网络生成伪样本。
    基于优化的方法

    问题表述

    对于FSAR问题,AR数据集被划分为训练集、测试集和验证集:
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号