M2-CLIP++：采用动态语义提示的双分支高阶视觉-语言适配技术，实现高效的视频识别

《Computer Vision and Image Understanding》：M2-CLIP++: Dual-branch high-order vision-language adaptation with dynamic semantic prompting for efficient video recognition

视频动作识别研究提出M2-CLIP++框架，通过引入全局二阶聚合模块强化视频编码器的结构建模能力，并设计视觉驱动的语义提示生成策略解决文本监督的语义稀疏问题。实验表明该框架在Kinetics-400等数据集上显著提升跨模态对齐效果，同时保持参数高效优势。

　　

赵亮|王世刚|张冰冰

吉林大学通信工程学院，中国吉林

摘要

大规模的对比式视觉-语言预训练模型通过将图像和文本对齐到共享的嵌入空间中，展示了令人印象深刻的零样本识别能力。然而，由于静态图像和动态视频数据之间的本质差异，直接将这些图像-文本模型转移到视频动作识别任务中仍然具有挑战性。在这项研究中，我们提出了${\text{M}}^2$-CLIP++，这是一个多模态且参数效率高的视频动作识别框架，它结合了结构化的视觉建模和语义丰富的文本提示。${\text{M}}^2$-CLIP++解决了现有适应方法的两个关键限制：（1）视频编码器中缺乏细粒度的时空结构建模；（2）仅使用简短的类别标签作为文本监督导致的语义稀疏性。为了解决这些问题，我们在视觉分支中引入了全局二阶池化（GSoP）模块，以捕捉高阶空间结构和通道间的依赖关系。此外，我们设计了一种视觉驱动的语义提示策略，利用视觉-语言模型从类别标签生成丰富的描述性句子，这些句子再由大型语言模型进一步细化。通过共同增强视觉和文本表示，${\text{M}}^2$-CLIP++加强了跨模态语义对齐，并在潜在空间中将特定于动作的特征与无关的上下文信息区分开来。在不更新CLIP主干网络的情况下，我们的框架在包括Kinetics-400、UCF101和HMDB51在内的多个视频动作基准测试中取得了有竞争力的性能，同时保持了较低的额外参数开销和更好的可解释性。

引言

视频动作识别是计算机视觉领域的核心任务之一，在智能监控、人机交互和自动驾驶等方面有广泛的应用。它具有重要的研究价值和广阔的实际潜力。随着深度学习技术的不断进步，早期的方法主要依赖单模态视觉信息进行视频建模，在特征提取和分类准确性方面取得了显著进展（Ji等人，2012年；Neimark等人，2021年；Arnab等人，2021年；Bertasius等人，2021年；Liu等人，2022年）。然而，由于视频数据固有的复杂时间结构和丰富的语义维度，单模态表示已不足以准确建模复杂场景中的动作。相比之下，人类认知通常涉及整合多种感官模态来进行理解和决策。这一观察结果激发了研究人员将注意力转向多模态视频理解。特别是，近年来，视觉和语言的联合建模已成为一个突出的研究方向（Sun等人，2022年；Chen等人，2025a；Yang等人，2025年）。

在这种背景下，像对比式语言-图像预训练（CLIP）（Radford等人，2021年）这样的大规模视觉-语言预训练模型因其强大的跨模态对齐能力和出色的零样本识别性能而受到了广泛关注并在图像领域取得了巨大成功。通过对大量图像-文本对进行对比学习，CLIP构建了一个统一的嵌入空间，为多模态学习提供了通用的表示基础。然而，由于图像和视频在模态结构和时间动态方面的本质差异，直接将这些图像-文本模型转移到视频任务中仍然具有挑战性。为了进一步释放CLIP在视频识别中的潜力，最近的研究提出了各种适应策略。例如，ActionCLIP（Wang等人，2021年）引入了一种新的预训练-提示-微调范式，其中任务特定的视觉适应由语言提示引导。X-CLIP（Ni等人，2022年）通过帧间通信和提示学习机制增强了时间建模。BIKE（Wu等人，2023b）设计了一个双流框架，以充分利用CLIP中的跨模态知识。PromptCLIP（Ju等人，2022年）和ST-Adapter（Pan等人，2022a）通过提示调整或轻量级适配器实现了高效适应。在此基础上，${\text{M}}^2$-CLIP（Wang等人，2024年）进一步整合了一个参数效率高的双分支适应结构和多任务解码器设计，显著提高了多模态对齐和动作建模性能，而无需更新冻结的CLIP主干网络。

尽管现有方法在模型迁移和参数高效适应方面取得了初步进展，但在实际应用中仍存在两个关键挑战。大多数当前的视觉编码器依赖于浅层的时间堆叠或一阶特征聚合机制（如全局平均池化）来建模视频内容。这些方法主要关注捕获单个通道或局部区域的响应强度，而未能明确建模通道间的协作关系。因此，它们表示复杂动作中高阶视觉交互的能力受到限制。此外，文本监督通常来自简短的类别标签（例如，弹钢琴），这些标签在语义上较为稀疏且缺乏表现力。这样的标签不足以覆盖复杂动作中的对象-场景-交互线索，无法提供足够的语义覆盖和视觉上下文，导致视觉-语言对齐不明确和跨模态理解性能下降。

为了解决上述挑战，我们为视觉和文本模态引入了结构增强机制，并开发了一个更具表现力的多模态识别框架。具体来说，在视觉方面，我们引入了全局二阶池化（GSoP）模块，对视频特征进行二阶统计建模，明确捕获通道间的相关性和结构关系。这种设计弥补了令牌级时间建模和一阶聚合机制在结构表示学习中的局限性。通过将GSoP嵌入到参数效率高的视觉适配器中，并与其动态视频线索共同建模，我们在不更新冻结的主干网络的情况下，为视频表示注入了更强的关系建模能力。在文本方面，我们提出了一种视觉驱动的语义提示生成策略。对于每个视频，我们采样代表性帧并通过视觉-语言模型生成图像级描述，然后使用大型语言模型将这些描述聚合为类别级描述性句子。这些基于帧的语义描述提供了更丰富、更自然的语言对齐语义，从而指导模型学习更强、更具区分性的跨模态表示。此外，通过共同增强结构化的视觉建模和视觉感知的文本监督，我们旨在在图像和文本之间建立更深层次的语义联系。这种双重增强使模型能够在潜在空间中将动作语义与无关的上下文区分开来，从而提高其建模动作语义和在复杂视频场景中泛化的能力。

本文的贡献总结如下：

• $•$
  我们提出了${\text{M}}^2$
  我们提出了${\text{M}}^2$
  -CLIP++，这是一个参数效率高的多模态框架，用于视频动作识别，它结合了结构化的视觉建模和语义增强的文本监督。这一设计有效提高了跨模态对齐质量，并增强了模型的泛化能力。

• $•$
  在视觉分支中，我们引入了全局二阶池化（GSoP）模块，以增强视觉适配器的结构建模能力。通过聚合高阶特征，该模块增强了空间结构和语义关系的表示。

• $•$
  在文本方面，我们设计了一种视觉驱动的语义提示策略。使用视觉-语言模型生成帧级图像描述，然后通过大型语言模型将其聚合为类别级扩展标签，从而解决了原始类别标签的语义稀疏性问题。

• $•$
  我们在包括Kinetics-400、UCF101和HMDB51在内的几个基准数据集上进行了广泛的评估。结果表明，我们的方法在监督和零样本场景中都取得了优异的性能，同时保持了较低的参数开销和强大的可解释性。

章节片段

基于CLIP的视频动作识别

早期的视频动作识别方法主要依赖于2D CNN、3D CNN（Li等人，2021a；Lin等人，2019；Li等人，2020；Liu等人，2021b；Gao等人，2021；Zhang等人，2021）或在图像分类数据集上预训练的Transformer（Liu等人，2022；Arnab等人，2021；Ryoo等人，2021；Yang等人，2022）模型。随着CLIP的出现，研究人员开始利用其强大的视觉-语言能力进行视频动作识别，从而开启了一个新的研究方向。

架构概述

如图1所示，所提出的${\text{M}}^2$-CLIP++框架基于冻结的CLIP主干网络，包括三个关键组件：结构增强的视觉编码器、语义丰富的文本编码器和多任务解码器。该架构旨在改进视频内容的结构建模并加强语义监督，从而在保持参数效率的同时提高识别性能。

给定一个长度为$T$

实验设置

数据集。我们在三个流行的动作识别基准测试集上评估了${\text{M}}^2$-CLIP++：Kinetics-400（Carreira和Zisserman，2017）、UCF101（Soomro等人，2012）和HMDB51（Kuehne等人，2011）。Kinetics-400是一个大规模数据集，包含400个动作类别，大约有240个训练视频和20个验证视频。相比之下，UCF101和HMDB51规模较小，分别包含101个和51个动作类别，大约有13K和7K个视频。

结论

我们提出了一个新颖的框架-CLIP++，它将结构化的视觉建模和基于语义提示的文本监督整合到基于CLIP的架构中，以推进多模态视频动作识别。通过引入全局二阶池化（GSoP）模块和高阶适配器，我们的方法增强了视频编码器捕获空间结构和高阶语义关系的能力，从而产生了更具区分性的视频表示。同时，我们的

CRediT作者贡献声明

赵亮：撰写——审稿与编辑、软件、方法论。王世刚：撰写——审稿与编辑、监督、方法论。张冰冰：验证、监督、方法论。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

这项工作部分得到了辽宁省自然科学基金（2025-BS-0276）、国家自然科学基金的青年科学家基金（62506062）以及吉林省科技发展计划项目（20230201111GX）的支持。