基于多模态的多级匹配器用于少样本动作识别

《Neurocomputing》：Multi-level matcher based on multi-modal for few-shot action recognition

　　南立|郭飞|齐涵|刘岩 中国陕西省西安市西安邮电大学通信工程学院 摘要：由于复杂视频数据固有的高类内方差和低类间区分度，少样本动作识别仍然面临挑战。现有的基于度量值的方法通常侧重于时间序列匹配或全局原型构建，在监督数据有限的情况下往往无法捕捉到细微的时空差异。为解决这些问题，我们提出了一种基于多模态框架的多级匹配器，该匹配器从粗到细对支撑原型视频和查询视频进行对齐。我们的方法利用CLIP模型在三个层次上提取并比对视觉与文本表征：全局层、帧序列层以及补丁层。我们引入了视频全局表征校准机制以优化视频嵌入，采用基于KL散度的帧序列时间对齐方法，以及基于语义加权的豪斯多夫距离用于补丁匹配。这些组件共同捕捉互补的时空语义，同时减少对齐中的歧义。在6个基准测试上的全面评估表明，该方法在区分细微动作方面表现出最优性能。该框架的层次化设计确保了特征的强区分能力，通过多粒度语义融合显著提升了数据匮乏环境下的少样本动作识别性能。引言：近年来，少样本动作识别研究发展迅速。在该领域，基于度量值的方法占据主导地位，这类方法源自ProtoNet[30]。相关研究可分为两个分支：一个分支致力于视频序列的各种匹配策略，主要关注序列之间的时间关系；另一个分支则侧重于原型表征，倾向于使用所有视频帧的全局表征来构建原型。当然，也有一些方法同时属于这两个分支。由于视频数据本身的复杂性，即使属于同一类别的视频，也可能因为背景不同和时间差异而具有较低的聚类性，从而导致高类内分散度。在少样本动作识别场景中，由于每集每个类别的采样都是随机的，当类内分散度较大时，每种视频类型的原型表征可能会不稳定。此外，对于一些细微动作的视频，动作之间的相似性可能导致类间分散度较低，不同类别的视频原型彼此更为接近，因而可区分性较差。由于每个类别只有少量示例，要学习能够捕捉细微动作细节的判别模式变得十分困难。图1展示了由高类内分散度（左）和低类间分散度（右）导致的分类错误示例。这些问题相互关联，对于分布复杂的视频，单一级别的原型可能难以具备全面的泛化能力，少样本识别任务依然存在一定挑战。鉴于视频的复杂性及其细微特征，一系列少样本视频分类研究应运而生。SSAR[21]提出了一种半监督模型，利用CTC损失实现松散的时间对齐，结合注意力池化和多头关系网络来处理细微变化。TAEN[1]将动作表示为度量空间中的轨迹，共同学习子动作原型和嵌入，以捕捉细微的时间结构以便识别。VDARN[32]将视频分解为运动和物体线索，利用双分支注意力机制进行时间对齐，适用于细微程度的少样本和零样本识别。BAM + CML[37]引入双向注意力和对比式元学习，以捕捉细微的运动细节，提升类间方差较低的细微动作的区分能力。HCR[15]采用层次化组合表征，将动作分解为子动作和空间注意力成分，利用EMD距离进行细微模式匹配。M3Net[34]提出多视图编码、匹配和融合方法，以捕捉细微的时空细节，用于少样本细微动作识别，并通过定制化的嵌入和多级匹配来解决细微动作识别难题。HMCL[51]引入带有放大模块的层次化匹配和对比学习，用于少样本动作识别，通过全局、时间和空间的对齐以及循环一致性提升细微动作的区分能力。这些方法在应对少样本场景下的视频复杂性方面取得了一定进展。然而，它们要么侧重于利用语义信息增强样本，要么仅在不同粒度上提取视频特征，而忽视了跨不同粒度特征的文本语义的引导作用。它们未能从多模态角度着手融合不同粒度的层次化特征。为了解决视频的复杂性，我们认为从粗到细的特征匹配可以从多个角度捕捉视频特征，从而使特征更具可区分性。此外，我们认为引入稳定性强且可区分性高的文本特征，可以在增强视频视觉特征的同时，减少与视觉匹配相关的噪声。我们考虑利用CLIP图像-语言模型对视觉特征进行多级匹配，同时在每一级引入语义信息以增强样本特征。通过结合多级特征匹配，我们的方法能够捕捉视频在不同层面的特征，这有助于模型从全局和局部层面，以及时间和空间维度理解视频内容，从而提升其动作识别能力。每个视频都在不同层面整合了各动作类别的不变文本信息，使模型能够更好地捕捉同一类别中动作的共性特征，进而降低类内分散度。模型还可以依靠独特的文本描述，更清晰地区分不同类别之间的细微差异。因此，我们提出了一种基于多模态融合和多级特征匹配的从粗到细的少样本动作识别框架。该框架旨在通过从粗到细逐步对齐支撑视频和查询视频的特征，解决视频数据中普遍存在的高类内方差和低类间区分度问题。从技术层面来看，我们的方法可描述如下：(1) 首先，我们以CLIP模型为核心，从视频帧中提取视觉特征，从类别标签中提取文本特征，同时修改视觉编码器，使其同时输出帧级特征和补丁级特征。(2) 其次，在全局级匹配器中，我们提出了视频全局表征校准模块，该模块通过计算帧间余弦相似度自适应地聚合帧特征，生成更具代表性的视频全局表征。这些表征随后与对应的类别文本嵌入相融合，最终通过余弦相似度计算匹配得分。(3) 在帧序列级匹配器中，我们使用时间变换器为每一帧注入上下文信息。基于理想的时间对齐先验——以对角线上的高斯分布形式建模——我们计算实际帧匹配分布与理想分布之间的KL散度。通过将该距离作为损失函数，迫使实际的帧对齐分布逼近其理想分布。(4) 在最细的粒度上，即在补丁级匹配器中，我们首先使用补丁过滤器，根据支撑原型帧特征与查询帧特征之间的余弦相似度，为每个查询帧选择最相关的支撑原型帧特征。随后，我们引入了基于Top-k加权的豪斯多夫距离用于补丁匹配，该距离根据标签文本语义与补丁特征之间的相似度，重新加权每个支撑原型补丁对最终匹配得分的贡献，从而抑制语义无关补丁带来的噪声。(5) 最后，模型通过加权组合全球级、帧序列级和补丁级的匹配得分，进行联合训练和推理。这种多级、多模态的匹配机制全面捕捉了不同粒度下视频的时空语义信息，显著提升了少样本场景下的动作识别性能。我们的贡献如下：•(1) 一种新颖的多级匹配器和多模态框架：我们提出了一种多模态框架，可在全局、帧序列和补丁层面实现从粗到细的特征对齐，用于少样本动作识别。(2) 强大的全局表征：我们引入了视频全局表征校准模块，通过自适应的、基于相似度的帧加权方式优化视频级嵌入。(3) 时间序列对齐：我们通过将帧序列与理想的高斯先验分布进行KL散度对齐，来建模时间顺序。(4) 细粒度的补丁级匹配：我们提出了基于Top-k加权的豪斯多夫距离用于补丁级匹配，该距离通过利用文本引导的相关性评分来抑制噪声。(5) 全面的验证：在6个基准测试上，我们的实验表明该方法的性能优于现有最先进方法。相关工作：在本节中，我们简要回顾了几项相关工作。首先在2.1节介绍少样本图像分类的相关工作，然后在2.2节阐述少样本动作识别的相关研究。方法论：本节首先对少样本动作识别进行形式化定义，接着详细介绍我们的框架，包括其全局、序列级和基于补丁的对齐机制。最后，我们概述了损失函数和推理流程。实验：本节首先介绍数据集及其数据划分方式，随后详细说明我们的实现细节，再对所提出的框架与当前最先进方法进行比较分析。为验证核心组件的有效性，我们进行了全面的消融实验。此外，我们还进行了分布分析和可视化方面的额外实验，以证明我们方法的优势。结论：在我们的工作中，我们提出了一种用于少样本动作识别的新颖多模态多级匹配框架。我们的方法通过从粗到细的对齐，系统地解决了少样本动作识别中高类内方差和低类间区分度这一关键问题。通过利用CLIP的强大表征能力，我们在全局、帧和补丁层面有效地融合了文本语义与视觉特征。引入基于语义加权的豪斯多夫距离进一步优化了补丁级特征。CRediT作者贡献声明：南立：写作——初稿撰写、可视化、方法论、研究分析、正式分析、数据整理、概念构思。郭飞：写作——审阅与编辑、验证、监督、项目管理。齐涵：可视化、验证、软件开发。刘岩：资源协调、项目管理。利益冲突声明：作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。南立出生于1991年，他在中国西安交通大学城市学院获得计算机科学与技术学士学位，在西安工业大学获得计算机科学与技术硕士学位，目前正在西安邮电大学通信工程学院攻读博士学位。他的主要研究兴趣在于计算机视觉、少样本动作识别以及迁移学习。