RetAction：基于记忆型与循环矩阵注意力双路径建模的高效时序动作检测方法

《Image and Vision Computing》：RetAction: Retentive and circulant attention dual path modeling for efficient temporal action detection

　　

我们提出了 RetAction，一种具有结构化循环交互的双路径框架，用于时序动作检测。我们引入了一种基于 FFT 的循环交互，能够在不构建密集成对注意力矩阵的情况下建模全序列时间依赖性。我们报告了与物化 MHSA、PyTorch SDPA 和时域保留相比，在延迟、峰值内存和 FLOPs 方面的受控扩展分析。

## 引言

从视频序列中理解人类行为已成为计算机视觉领域的重要研究课题，在智能监控、人机交互、自动驾驶系统、运动分析和多媒体检索等领域有着广泛的应用。在视频理解任务中，时序动作检测（TAD）专注于识别未剪辑视频中的动作类别并精确定位其时间边界。与常规的动作分类不同，TAD 不仅需要对人类行为进行语义推理，还需要准确建模动作的起始和结束点。因此，有效的 TAD 模型必须同时捕捉短期运动变化和最长时间时间依赖性。

近年来，基于深度学习的方法在时序动作检测方面取得了显著进展。早期方法主要依赖卷积神经网络（CNN）通过时间卷积 [1]、[2]、特征金字塔 [3] 或提议策略来提取分层时空表示。尽管基于 CNN 的方法在局部特征提取方面表现优异 [4]、[5]，但其有限的感受野阻碍了对长时间时间上下文的建模。为了克服这一局限，基于 Transformer 的架构因其通过自注意力机制捕捉全局依赖的能力而广受欢迎。

然而，标准自注意力会物化所有成对 token 交互，因此其计算量和内存会随序列长度呈二次增长。当处理包含数千帧或片段特征的长未剪辑视频时，这种二次开销成为一个关键的瓶颈 [6]、[7]、[8]。现有的高效序列模型使用稀疏或窗口注意力 [9]、[10]、线性化交互，或循环/局部保留 [11]。这些方法在感受域、表达能力和硬件效率之间做出了不同的权衡。RetAction 研究了一种互补的结构化算子：每个头估计一个滞后核，并使用 FFT 在时间序列上应用。这保留了全序列感受域，但故意放弃了密集注意力的查询特定 ??×?? 表达能力。

受这些见解的启发，我们提出了 RetAction，一种将循环交互与局部时间建模相结合的双路径框架，用于高效的时序动作检测。全局路径计算查询—键圆形互相关，并通过沿时间轴的一维 FFT 操作聚合值特征。因此，它在不构建密集 ??×?? 注意力矩阵（?? 是 token 序列长度）的情况下保留了全序列感受域，将时间交互从 ???(??2) 计算和 ???(??2) 内存减少到 ???(??log??) 计算和 ???(??) 内存（在批次大小和通道维度固定的情况下）。

本工作扩展了我们之前的 TSA/TSRNet 检测器 [12]。继承的元素包括单阶段 TAD 设置、分层时间特征处理和时间域保留基线。这里评估的新方法包括：(i) 在瞬时路径中用 FFT 循环算子替换该局部时间域交互，(ii) 将其与显式 3/5/7 核局部路径结合，以及 (iii) 添加时间梯度调制的 FMB-Head。因此，我们仅将这些变化和随之而来的受控扩展分析归因于新颖性，而不是继承的检测框架。

主要贡献如下：(1) 一种结构化多头循环算子，避免了密集时间成对矩阵，对于固定的批次和特征维度具有 ???(??log??) 时间交互成本；(2) 一种双路径 TSA 编码器，将此算子与多核局部建模相结合；(3) 一个时间梯度调制的边界期望头；(4) 一个受控算子基准测试，报告延迟、峰值增量 GPU 内存、参数量和 FLOPs 随序列长度增加的变化。

本文其余部分组织如下。第 2 节回顾相关工作，包括时序动作检测、高效注意力机制、保留网络和频域建模。第 3 节详细阐述提出的 RetAction 框架及其数学推导。第 4 节介绍实验设置、主要比较结果、效率基准测试和消融研究。此外，讨论模型的有效性和局限性。最后，第 5 节进行总结。

## 章节片段

### 时序动作检测

时序动作检测（TAD）旨在识别未剪辑视频中的动作类别并确定其时间边界。与视频分类相比，TAD 要求模型理解语义动作模式并准确估计每个动作实例的起始和结束时间戳 [13]、[14]、[15]。鉴于其在真实世界视频分析中的重要性，TAD 在过去十年中引起了广泛的研究关注。早期 TAD 方法主要依赖基于提议的方法。

### 我们的方法

提出的 RetAction 框架架构旨在解决未剪辑视频动作检测中的二次计算开销和边界定位模糊的双重挑战。如图 1(a) 所示，RetAction 采用模块化的单阶段检测范式，包括三个主要功能阶段：视频特征预提取和嵌入、通过双流注意力（TSA）块进行金字塔特征编码，以及动作检测和定位头。

### 实验设置

**数据集。** 我们在三个广泛使用的时序动作检测基准上评估 RetAction：THUMOS14 [38]、HACS 和 ActivityNet-1.3。

**THUMOS14。** THUMOS14 [38] 是一个具有挑战性的基准，包含 413 个验证视频和 200 个测试视频，有 20 个动作类别。遵循之前的时序动作检测方法，我们在验证集上训练模型，并在测试集上报告结果。评估指标是不同时间设置下的平均精度（mAP）。

## 结论

RetAction 结合了结构化循环交互、局部多尺度建模和时间梯度引导的边界估计。瞬时路径在不物化密集 ??×?? 成对矩阵的情况下获得全序列感受域；受控基准验证了亚二次延迟、内存和 FLOPs 扩展，并确定了与优化注意力的实际交叉点。报告的结果显示在 THUMOS14 和 ActivityNet-1.3 上具有竞争力的配置特定准确性。

## CRediT 作者贡献声明

**Runchen Wei：** 原创草稿撰写、可视化、验证、软件、方法论、数据整理、概念化。

**Ke Lu：** 审阅与编辑、监督、方法论。

**Kun Dong：** 审阅与编辑、可视化、验证、软件、调查。

**Jian Xue：** 审阅与编辑、监督、项目管理、资金获取。

## 生成式 AI 披露

在准备本工作期间，作者使用 ChatGPT 5.6 进行语言润色。作者对输出进行了审查和编辑，并对所发表文章的内容承担全部责任。

## 利益冲突声明

作者声明他们没有已知的竞争经济利益或个人关系，这些关系可能影响本论文中报告的工作。

Runchen Wei | Ke Lu | Kun Dong | Jian Xue