单阶段时序动作检测：结合由粗到细辅助监督与非对称边界先验

《Pattern Recognition》：Single-stage Temporal Action Detection with Coarse-to-Fine Auxiliary Supervision and asymmetric boundary prior

　　

•粗到细辅助监督增强训练中的浅层特征学习。
•邻域引导的非对称搜索为边界定位注入先验信息。
•我们的方法在THUMOS14数据集上于IoU 0.6和0.7阈值下分别达到66.5%和51.6%的mAP。

## 引言

时间动作检测（Temporal Action Detection, TAD）旨在对长视频中的动作边界进行定位并对动作实例进行分类。尽管近年来已取得实质性进展，但如何在保持高召回率的同时实现精确的边界定位，仍然是核心挑战。现有的TAD方法大致可分为基于锚框的两阶段方法[1][2][3]、无锚框的单阶段方法[4][5][6][7]以及基于Transformer的DETR风格方法[8][9][10][11]。

早期的基于锚框的方法首先生成时间候选框，再对其进行精细化以完成分类和定位。它们通过候选框过滤[2][3]可以获得较强的检测精度，但通常严重依赖候选框质量，且存在冗余计算。为提高效率，无锚框的单阶段方法直接从时间位置回归动作边界，并普遍采用特征金字塔结构进行多尺度建模[4][5][6][7]。这些方法凭借端到端训练和更低的计算成本，已成为主流方向，但在定位精度和训练稳定性方面仍面临挑战。基于Transformer的DETR风格方法通过可学习查询来建模动作实例，提供了一种无需手工设计锚框或候选框的统一检测框架[8][9][10][11]。然而，它们通常更难优化，在收敛速度和细粒度边界建模方面仍有提升空间。

尽管这些方法在建模范式上有所不同，但主流TAD框架，尤其是高效的单阶段方法[5][6][9][11][12]，在训练机制和边界建模方面仍存在共性局限。大多数方法遵循标准的"骨干-颈-头"流水线，监督仅施加在最终的检测头上。这种设计虽然简洁高效，但也限制了对中间特征的监督，进而制约了边界定位精度的进一步提升。

首先，浅层特征监督不足。主流TAD模型通常采用基于深度CNN[6][7]或基于Transformer[5]的骨干网络，其中浅层特征对于捕获细粒度时间模式至关重要。当仅在最末端的检测头上施加监督时，梯度需经过较长的反向传播路径才能到达早期层，导致训练信号减弱。尽管残差连接和归一化技术[13][14]有助于缓解梯度消失，但它们未能从根本上解决长距离监督低效的问题。

其次，学习目标高度耦合。单一检测头必须同时处理分类和边界定位，尽管这两项任务的目标不同：分类强调语义区分和召回率，而定位则要求准确的边界回归。这种耦合优化往往迫使两者之间做出权衡，尤其是在严格的评估指标下。

此外，我们发现无锚框方法[5][6][7]中存在一个被忽视的问题：各向同性的搜索偏差。现有方法通常在对称初始化下从中心点回归边界，不施加任何方向性先验。这种无引导的搜索策略忽略了动作边界附近的邻域上下文，导致收敛缓慢，并在高IoU阈值下出现边界截断现象[5][6]。这一问题反映的是边界搜索的局限，而非单纯的特征表示不足：在缺乏显式的起止方向引导的情况下，模型只能主要依赖稀疏的边界监督来学习搜索方向。这种方向无关的策略尤其不适合TAD任务，因为动作边界是一维的、时间上连续的且往往存在模糊性。

如图1所示，我们所提出的先验明确编码了起始边界和结束边界的非对称时间角色。它不依赖对称初始化，而是将起始分支偏向左邻域、结束分支偏向右邻域，从而在早期优化过程中提供方向感知的搜索倾向。这使得AGAS在TAD任务中具备特定的任务动机——动作边界是一维的、时间上有序的且往往存在模糊性。

此外，TAD模型在不同数据条件下常出现过拟合现象，例如THUMOS14[15]中密集的时间冗余以及ActivityNet v1.3[16]中的复杂背景，这进一步限制了泛化能力。尽管辅助监督和先验偏置预测已在更广泛的视觉任务中得到研究，但将其直接应用于TAD并非易事，因为密集时间监督和边界回归对分配粒度、搜索方向以及模糊边界相邻片段较为敏感。

为应对上述问题，我们提出了一种简洁高效的单阶段TAD框架。具体而言，我们引入粗到细辅助监督（Coarse-to-Fine Auxiliary Supervision, CFAS），在浅层特征上附加辅助头，并对辅助头采用粗粒度监督、对主检测头采用细粒度监督，从而强化梯度传播并减少目标耦合。我们进一步提出邻域引导的非对称搜索机制（Adjacent-Region Guided Asymmetric Search, AGAS），实现为一种方向感知的非对称边界先验，将距离相关的阶梯式偏置注入边界回归 logits，以提供方向引导并提升定位精度。最后，我们采用一种自适应时间数据增强策略，结合随机时间掩码和视频内时间噪声注入，以增强在不同数据场景下的鲁棒性。在THUMOS14、ActivityNet v1.3和HACS-Segment上的大量实验表明，所提方法在保持高效性的同时取得了有竞争力的整体性能，尤其在THUMOS14上严格的定位阈值下提升尤为明显。

本文的主要贡献总结如下：

- 我们提出了一种粗到细辅助监督（CFAS）框架，通过仅用于训练的辅助头来增强浅层和中间特征学习。CFAS缓解了梯度稀释问题，并改善了时间表示学习，且不会增加额外推理开销。
- 我们提出了一种邻域引导的非对称搜索机制（AGAS），用于无锚框边界定位。AGAS在起始和结束分支中显式注入相反的阶梯式先验，提供方向感知的边界搜索分布。这使得收敛更快、定位更准确，尤其是在高IoU阈值下。
- 在THUMOS14、ActivityNet v1.3和HACS-Segment上的实验验证了所提框架的有效性。特别是在THUMOS14上使用VM2-g特征设置时，我们的方法在可比的无锚框单阶段方法中表现强劲，在IoU阈值0.6和0.7下分别达到66.5%和51.6%的mAP。ActivityNet v1.3和HACS-Segment上的结果进一步表明，该方法在大规模基准上具有有竞争力的泛化能力。

## 相关工作

时间动作检测（TAD）是视频理解的核心任务。早期的基于锚框的两阶段方法通过生成并精细化时间候选框来实现高召回率，但通常存在冗余计算[1][2][3]。近期的无锚框单阶段方法，如ActionFormer[5]、TriDet[6]和ActionMamba[12]，凭借更高的效率和端到端训练已成为主流。DETR风格的方法进一步引入基于查询的检测机制，去除人工设计的……

## 问题定义

时间动作检测（TAD）旨在对未修剪视频中的动作实例进行时间边界定位并加以分类。给定输入视频表示为时间特征序列 X = {x_t}_{t=1}^T ∈ R^{T×D_in}，模型首先将X输入时间骨干网络以提取多层级时间特征，记为 {F^(l)}_{l=1}^L，其中 F^(l) ∈ R^{C_l × T_l} 为第l级阶段的特征图[5][6]。这些多层级特征随后通过颈部网络进一步处理以生成……

## 实验

### 数据集

为全面评估所提方法，我们在三个具有代表性的时间动作检测基准上开展实验：THUMOS14[15]、ActivityNet v1.3[16]和HACS-Segment[33]。

THUMOS14[15]包含20个动作类别，有200个验证视频和213个测试视频。类别主要为体育动作，包括棒球投球、篮球扣篮、台球、悬崖跳水、板球投球等代表性示例。THUMOS14的特点是……

## 结论

本文提出了一种简洁高效的单阶段时间动作检测框架，通过粗到细辅助监督（CFAS）、邻域引导的非对称搜索（AGAS）以及自适应时间数据增强来改善优化和边界定位。所提设计强化了中间特征监督，为边界预测引入方向性先验，并提升了在不同数据场景下的鲁棒性，同时保持了高效性……

## CRediT作者贡献声明

XianHua Zeng（曾宪华）：撰写—审阅与编辑、监督、资源、项目管理、获取经费、形式分析、概念构思。
SiQi Zhou（周思奇）：撰写—审阅与编辑、撰写—初稿、可视化、验证、监督、软件、方法论、数据整理、概念构思。
XinYu Liu（刘心宇）：撰写—审阅与编辑、可视化、验证、形式分析。

## 未引用参考文献

[27], [28], [29], [30], [31], [32], [34], [35], [36], [37]

## 利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

## 致谢

作者感谢匿名审稿人的帮助。本工作得到重庆市教育委员会科学技术研究项目（资助编号：KJZD-M202400605）、国家自然科学基金（资助编号：62576288）、重庆市人才计划项目（资助编号：cstc2022ycjh-bgzxm0160）以及重庆市研究生科研创新项目（资助编号：CYS25480）的支持。所有作者均已阅读并……

XianHua Zeng | SiQi Zhou | XinYu Liu