冗余自适应与注意力引导的令牌剪枝（RAAG）：高效视频动作检测的新范式

本文提出了一种创新的自适应令牌剪枝框架RAAG（Redundancy-Adaptive and Attention-Guided token pruning），通过信息冗余自适应剪枝（IRTP）和分层注意力引导（HAG）策略，动态调整视频令牌保留率，在AVA 2.2（40.5 mAP）、JHMDB（90.7 mAP）和UCF101-24（86.5 mAP）数据集上实现了计算效率与检测精度的智能平衡，为视频动作检测领域提供了突破性的解决方案。

　　

Spatio-temporal action detection（时空动作检测）

早期大多数时空动作检测器采用两阶段架构：首先通过2D人体检测器生成演员提案，随后通过主干网络和感兴趣区域（RoI）模块进行动作分类，通常还通过演员与其上下文之间的复杂关系推理来增强性能。虽然这种范式通过预训练检测器受益于强大的定位能力，但它存在多阶段训练复杂和推理延迟高的问题。

Overall architecture（整体架构）

如图2所示，我们提出的模型基于高效视频动作检测器（EVAD）架构构建了一个增强的端到端时空动作检测框架。为确保帧间冗余评估的鲁棒性和准确性，我们的流程首先包含预处理步骤来标准化输入视频帧。这一步骤解决了现实世界中的挑战，例如可变压缩伪影或光照条件波动，这些因素可能干扰冗余评估。

Experimental setup（实验设置）

我们进行了全面实验来评估所提出的冗余自适应与注意力引导令牌剪枝（RAAG）方法的性能和效率。

Conclusion（结论）

本文提出了冗余自适应与注意力引导令牌剪枝（RAAG），这是一种解决视频动作检测计算负担的创新自适应框架。传统固定速率剪枝方法难以应对视频内容的多变性，导致效率-性能权衡不够理想。

我们的RAAG框架引入两个自适应组件：IRTP（信息冗余自适应令牌剪枝）根据帧间信息冗余动态调整全局令牌保留率，确保内容感知的剪枝策略。