EMM-CVT：一种用于压缩视频动作识别的高效多模态视觉Transformer

《Pattern Recognition》：EMM-CVT: An Efficient Multi-Modal Vision Transformer for compressed video action recognition

　　

• •
  我们提出了EMM-CVT，一种专为压缩视频动作识别设计的双流Transformer，核心是新颖的GMMF模块，用于I帧和P帧表示之间的全局跨模态融合。
• •
  我们引入了DSTP自适应剪枝机制和LCMA轻量级增强模块。DSTP选择性剪枝跨模态的判别性较低的时空token以减少计算冗余，而LCMA通过注入具有局部跨模态上下文的可学习token来增强剪枝后的性能。
• •
  在HMDB-51、UCF-101和Kinetics-400上的大量实验表明，我们的方法相比最先进的方法始终取得优越的性能-效率权衡。

引言

随着对高效视频理解需求的增加，压缩视频[1]、[2]、[3]、[4]、[5]、[6]、[7]已成为原始视频方法的有吸引力替代方案。通过直接利用压缩流中嵌入的运动向量、残差和稀疏采样的RGB帧，它显著降低了计算成本和存储开销。这些优势使其特别适用于对解码和推理效率有要求的应用场景。

尽管压缩视频固有的计算效率和互补的多模态线索[8]，现有方法[4]、[5]、[9]通常未能有效利用这些优势。一种常见策略是使用视觉Transformer[10]以密集统一的方式联合处理所有模态——来自I帧的稀疏RGB帧和来自P帧的密集运动信息（包括运动向量MV和残差Res），如图1所示。虽然I帧提供了丰富的外观信息，但MV和Res由于压缩伪影传达了粗糙且常有噪声的运动线索。然而，将所有模态同等对待而不考虑其异构特性和时间稀疏性会导致无差别的融合和次优的特征集成。这不仅引起了跨模态干扰[9]，还引入了大量冗余和低价值的token进入自注意力机制，显著增加了计算开销。

例如，考虑来自HMDB-51数据集的"鼓掌"动作片段（图1）。判别性视觉线索紧密定位在右手交互的右下角区域（由红色立方体突出显示），而周围的背景贡献很小，甚至可能引入干扰噪声。此外，压缩视频在模态间表现出固有的稀疏性。在压缩视频基准中，通常使用大小为12的图片组（GOP），它由一个I帧和随后的11个P帧组成。只有I帧提供高保真的外观细节，而P帧传达受压缩伪影污染的粗糙运动向量和残差。在自注意力计算中保留所有这些token（其中许多携带可忽略不计的语义价值）不可避免地引入了大量冗余和虚假相关性。

因此，压缩域原有的效率优势被削弱，识别性能可能因噪声主导的运动特征而受到影响。这些局限性突出了两个关键挑战：(1) 如何利用压缩模态的异构性质来减轻过度融合和干扰；(2) 如何在保留稀疏噪声输入中的显著信息的同时减少计算冗余。

为应对上述挑战，我们提出了EMM-CVT，一种专为压缩视频动作识别定制的高效多模态压缩视觉Transformer。EMM-CVT旨在充分利用RGB和运动模态的互补性，同时保持计算效率。具体而言，它采用双流架构独立处理RGB帧（来自I帧）和运动信息（来自P帧），并集成了全局多模态融合（GMMF）模块以实现有效的全局跨模态交互。为进一步在不牺牲性能的情况下提高效率，我们引入了两个轻量级但有效的模块：动态空间token剪枝（DSTP），基于模态特定的空间重要性动态识别和移除冗余token；以及局部跨模态增强（LCMA），通过在低成本下注入输入依赖的跨模态上下文来局部增强保留的token。我们的设计专注于压缩域识别的具体挑战，即需要同时考虑模态异构性、运动/残差噪声和token冗余。总之，我们的主要贡献如下：

• •
  我们提出了EMM-CVT，一种用于压缩视频动作识别的双流Transformer，具有用于I帧和P帧表示之间全局跨模态融合的GMMF模块。
• •
  我们引入了DSTP，一种灵活的剪枝机制，跨模态自适应选择判别性空间token，通过可调整的剪枝策略和插入点有效减少冗余计算。
• •
  我们提出了LCMA，一种轻量级增强模块，通过注入由局部跨模态交互生成的紧凑上下文token来增强剪枝后的性能。
• •
  我们在三个广泛使用的基准上进行了大量实验：HMDB-51、UCF-101和Kinetics-400。结果表明，所提出的压缩域定制Transformer设计实现了有利的精度-效率权衡。

各章节片段

原始视频中的动作识别

动作识别专注于对视频中的外观和运动模式建模。在原始视频设置中，现有工作主要在如何从RGB帧中提取空间和时间信息上有所不同，可大致分为基于2D CNN、3D CNN和Transformer的方法。

2D-CNN方法从单独帧中提取帧级特征，并通过时间建模进行聚合。早期的双流框架[11]使用2D CNN分别处理RGB和光流。

所提出的方法

所提出的EMM-CVT如图2所示。受I帧和P帧固有差异驱动，我们通过两个独立流处理它们。两个流都使用[35]中的ViT-B架构作为编码器。I帧编码器提取空间静态特征，而P帧编码器专注于运动特征。然后，应用GMMF模块通过跨注意力聚合多模态特征，生成有效增强的高层跨模态表示。

数据集和评估指标

HMDB-51[48]于2011年由布朗大学发布，包含51个动作类别中的6849个视频样本（每个类别至少101个样本）。其数据主要源自电影片段，辅以公共数据库和YouTube等在线视频库的材料。

UCF-101[49]在动作类别数量和动作多样性之间提供了有利的权衡。它包含101个动作类别，每个类别有100多个视频片段，每类别的视频片段数。

结论

在本文中，我们提出了EMM-CVT，一种面向压缩域的Transformer框架，用于高效视频动作识别。具体而言，EMM-CVT采用双流视觉Transformer架构，有效利用I帧和P帧中包含的独特且互补的信息来提高识别准确率。此外，集成了两个轻量级模块DSTP和LCMA，通过token剪枝实现显著的计算节省，同时保持相当的性能。

CRediT作者贡献声明

Hong Wen：软件、方法论、数据整理、概念构思。Bing Li：方法论。Liang Qian：软件、数据整理。Haoyuan Li：撰写-初稿、形式化分析。Weiwei Fang：撰写-审阅与编辑、方法论、资金获取。Qing Guo：监督、项目管理。

利益冲突声明

作者声明他们不存在任何可能影响本文报告工作的已知竞争经济利益或个人关系。

致谢

本工作得到了中国国家自然科学基金（NSFC）（批准号62172031）、北京市自然科学基金（批准号L191019）以及湖北省智能检测与识别复杂零件工程研究中心开放项目（批准号IDICP-KF-2024-15）的支持。

Hong Wen | Bing Li | Liang Qian | Haoyuan Li | Weiwei Fang | Qing Guo