面向少样本动作识别的语义驱动模式挖掘与对齐

《Neurocomputing》：Semantic-driven pattern mining and alignment for few-shot action recognition

　　

摘要

小样本动作识别（FSAR）旨在仅从少量带标注的视频中识别新型动作类别，但由于在极度有限的监督下难以发现和align具有类别区分力的时空模式，该问题仍极具挑战性。许多现有的FSAR方法主要聚焦于视觉相似性匹配，如帧级对齐，因此被限制在单模态框架内，忽略了动作标签中蕴含的丰富语义。尽管近期基于CLIP的方法引入了文本信息，但它们通常仅通过直接的视频-标签匹配或简单的特征融合来利用文本信息。因此，动作语义在引导模式学习和对齐方面仍未得到充分利用。在本工作中，我们提出了语义驱动的模式挖掘与对齐（SePMA），一种基于CLIP的FSAR框架，利用分解后的动作语义来引导判别性模式提取和自适应匹配。具体而言，我们使用大语言模型（LLM）将每个动作标签分解为若干个静态语义属性和一个动态语义属性，这些属性通过CLIP文本编码器编码为语义模式令牌。在这些语义线索的条件下，我们使用空间模式挖掘器和时间模式挖掘器进行语义引导的模式挖掘：前者从帧级视觉特征中提取判别性空间模式，后者以这些空间模式为锚点挖掘具有语义依据的时间模式。随后，我们在视觉-视觉空间和视觉-文本空间中进行双重对齐。最后，根据类别级的语义对比先验和由支持集导出的静态匹配可靠性估计，对两个匹配分支进行自适应融合。在UCF101、HMDB51、Kinetics和Something-Something V2上的大量实验表明，所提方法取得了优越的整体性能。

引言

小样本动作识别（FSAR）旨在仅从少量带标注的视频中识别新型动作类别，是视频理解领域一个基础但极具挑战性的问题[1]，[2]。尽管近期深度模型[3]，[4]，[5]，[6]在全监督设置下取得了令人印象深刻的性能，但它们通常依赖于大规模标注数据集，且在仅提供少量样本时往往难以泛化到未见类别。这一局限性激发了人们对FSAR的浓厚兴趣。

与基于图像的少样本识别[7]，[8]，[9]相比，FSAR尤为具有挑战性，因为人类动作具有复杂的时空结构[10]，[11]，[12]。不同动作类别可能依赖于不同类型的判别性证据：有些主要可以从显著物体或场景中识别，有些依赖于特征性人体姿态，而另一些则需要建模运动线索、时间顺序或长程演变。在小样本场景中，标注视频样本的稀缺使得确定哪些视觉模式对新型动作类别至关重要以及这些模式应如何被可靠地提取和在不同视频实例间对齐变得尤为困难[11]，[13]。

为解决这一问题，现有的FSAR方法主要聚焦于设计视觉相似性匹配机制，如时间对齐[10]、令牌级对应[13]，[14]以及帧级或片段级匹配[12]，[15]，[16]，[17]。与将视频压缩为单一原型相比，这些方法改进了时间建模并增强了匹配的鲁棒性。然而，它们仍在纯视觉范式下运行，类别判别模式仅从有限的视觉观测中推断。因此，它们仍然容易受到偶然或非必要的视觉线索的干扰，如视角、背景、执行风格以及可能与动作类别虚假相关等因素。

CLIP[18]等大规模视觉-语言模型的出现通过引入文本模态的语义知识为FSAR提供了新的机遇。例如，一些工作[19]，[20]，[21]通过拼接或融合标签文本特征来调制视觉原型。其他工作进一步使用标签嵌入来辅助多层次表示学习和对齐[22]，[23]，[24]。此外，一些方法还利用CLIP的跨模态匹配能力引入视频-文本匹配分数[19]，[21]，[22]，[25]，[26]。尽管这些方法有效，但它们仍以相对浅层的方式利用动作语义。如图1(b)所示，在大多数情况下，文本模态被简化为全局类名嵌入，仅作为融合的辅助特征或额外的视频-标签匹配信号。这种使用方式并没有明确指出应从视频中挖掘何种判别性证据或这些证据应如何对齐。在实践中，一个动作通常蕴含比单一标签嵌入所能表达的更丰富的语义信息，包括特征性物体、人体姿态、独特的动作阶段和运动倾向。因此，如何在FSAR中有效利用这些细粒度动作语义仍是一个待探索的问题。

在本工作中，我们认为有效的FSAR不仅需要更细致的动作类别语义分析，还需要一种将这种语义明确纳入FSAR流程的机制。如图1(c)所示，我们的核心思想是分解后的动作语义可以提供类别特定的先验来引导模式挖掘和自适应对齐。这在视觉证据稀疏且模糊的小样本设置下尤其有价值。通过将语义先验注入模式学习过程，模型可以更好地识别应挖掘哪些视觉证据以及应在何处建模时间动态。同时，通过将语义先验纳入模式对齐，模型可以根据每个类别的特性自适应地平衡静态语义证据和时间视觉对应。

为此，我们提出了语义驱动的模式挖掘与对齐（SePMA），一种利用动作语义从有限的支持视频中引导判别性视觉模式挖掘并调节查询样本与支持类之间对齐的新型FSAR框架。具体而言，我们使用大语言模型（LLM）将每个动作标签分解为若干个静态语义属性和一个动态语义属性，其中前者描述静态视觉外观，后者刻画动作的运动倾向或时间演变。这些语义线索随后由CLIP文本编码器编码为语义模式令牌。在这些语义线索的条件下，语义引导的模式挖掘由空间模式挖掘器和时间模式挖掘器实现。空间模式挖掘器在静态语义令牌的引导下从帧级视觉特征中提取判别性空间模式，时间模式挖掘器进一步以支持集锚定的空间模式为锚点挖掘时间模式。在此基础上，我们在视觉-视觉空间和视觉-文本空间中进行双重对齐，其中前者主要关注时间视觉对应，后者强调具有语义依据的静态证据。最后，根据类别级语义对比先验和由支持集导出的静态匹配可靠性估计，对两个匹配分支进行自适应融合，使模型能够针对不同类别调整其对时间视觉证据与静态语义证据的依赖程度。

我们的贡献总结如下：

• •
  我们提出了一种语义驱动的FSAR框架，其中分解后的动作语义被用于引导从有限支持视频中挖掘判别性空间和时间模式。
• •
  我们引入了一种基于语义对比先验和支持集导出匹配可靠性的双重对齐与自适应融合机制，使模型能够根据每个类别的特性平衡不同的识别线索。
• •
  在多个FSAR基准上的大量实验证明了所提方法的有效性，并取得了与现有最先进方法高度竞争的性能。

章节摘要

相关工作

在本节中，我们简要回顾了与本工作最相关的文献，包括小样本学习、基于CLIP的动作识别和小样本动作识别。

问题形式化

小样本动作识别旨在从有限数量的带标注示例中识别新型动作类别，遵循小样本学习中广泛采用的标准$$类$$样本设置。形式化地，设$$表示包含基础类$$的大量带标注视频的基础数据集。在元训练期间，模型从$$中学习以获得可用于新类别的泛化知识。一个少样本任务由包含支持集$$和查询集$$的一个情节定义：支持集$$由$$个带标注的

实验细节

数据集。我们在四个常用视频数据集上进行实验：即，Kinetics[81]、Something-Something v2（SSv2）[82]、HMDB51[83]和UCF101[84]。对于Kinetics和SSv2数据集，我们分别采用了[1]和[10]中的划分设置。两种划分设置均从原始数据集中采样64个动作类别作为训练集和24个类别作为测试集。注意，[1]中的划分为Kinetics和SSv2的每个类别选择100个样本，而SSv2训练集划分在

结论

在本文中，我们提出了SePMA，一种用于小样本动作识别的基于CLIP的框架，该框架显式地利用动作类别的语义信息来引导判别性模式学习和自适应匹配。与仅将动作语义作为特征融合或分数融合的辅助文本描述不同，我们的方法将它们视为整个识别流程中的类别特定先验。具体而言，我们将每个动作标签分解为静态和

作者贡献声明

张宇澄：方法论、调研、形式化分析、数据整理、概念化。潘义君：方法论、调研、形式化分析、数据整理、概念化。吴思莹：调研、形式化分析、概念化。张悦怡：形式化分析、概念化。孙晓燕：资金获取、形式化分析、概念化。

利益冲突声明

作者声明，他们没有已知的竞争财务利益或个人关系可能影响本文所报告的工作。

张宇澄于2020年获得中国科学技术大学（合肥）工学学士学位。目前他在合肥中国科学技术大学电子工程与信息科学系攻读博士学位。他的研究兴趣包括计算机视觉和视频理解。

张宇澄|潘义君|吴思莹|张悦怡|孙晓燕