多分支结构学习用于弱监督下的时间动作定位

《Knowledge-Based Systems》：Multi-branch structure learning for weakly supervised temporal action localization

　　

• •
  提出了一种多分支WTAL框架。
• •
  多尺度上下文提高了时间完整性。
• •
  基于边界的掩码引导的多实例学习（MIL）机制优化了定位精度。

引言

时间动作定位（TAL）旨在准确识别动作类别并确定其在未经裁剪视频中的时间边界[1],[2]。由于该技术在视频检索、智能监控和人机交互中的广泛应用，它引起了视频理解领域越来越多的关注[3],[4]。尽管深度学习的最新进展使得使用帧级别时间注释训练的定位模型取得了显著进步[5]，但获得这种细粒度标签通常需要大量的人工工作和时间。

为了缓解这一限制，弱监督时间动作定位（WTAL）作为一种有前景的替代方案应运而生。如图1所示，与完全监督的TAL相比，弱监督设置仅提供视频级别的标签，而不包含片段级别的时间注释，这大大增加了准确定位动作边界的难度[6]。虽然这种设置大大降低了标注成本，但缺乏明确的时间监督也给有效的特征学习带来了更大的挑战。

目前，大多数WTAL方法遵循基于分类的定位范式[6]。在这种框架下，模型首先进行片段级特征建模，并预测每个时间段对应的类别响应，以生成类别激活序列（CAS）。然后通过多实例学习（MIL）将这些局部预测聚合为视频级别的预测[7]。然而，MIL优化过程往往导致模型过度依赖少数高度激活的片段[8]。结果，激活响应在时间轴上表现为孤立峰值，无法覆盖动作实例的完整持续时间。因此，定位结果往往表现出碎片化的时间分布，并且在动作边界附近存在显著偏差[8]。

为了克服这些限制，最近的研究尝试通过上下文增强或结构约束来提高WTAL的性能[9]，旨在加强模型的时间建模能力[10],[11]。然而，在弱监督下，仅依赖局部片段的分类响应可能仍然不足以完全描述动作实例的全局时间结构。更重要的是，现有方法通常缺乏对时间结构模式的显式建模[12],[13]，这使得模型对动作边界周围的结构变化不够敏感。这一限制限制了当前方法实现精确边界定位的能力。因此，在弱监督下使模型能够关注结构一致且时间连贯的动作区域仍然是WTAL研究的一个关键挑战[14]。

为了解决上述问题，本文提出了一种多分支时间结构学习（MTSL）框架，旨在增强模型在弱监督下捕捉动作实例全局时间结构的能力。该框架采用多分支协作架构，从互补的角度对与动作相关的时间结构进行建模。具体而言，一个分支专注于学习与类别无关的动作先验，有助于减少训练期间背景片段的干扰。另一个分支通过多尺度时间上下文建模来增强时间表示的一致性，使模型能够捕捉更丰富的时间依赖关系。同时，引入了差异感知的结构建模机制，通过显式建模相邻片段之间的特征变化来增强模型对潜在动作边界的敏感度。

基于这些组件，进一步设计了一种掩码引导的多实例学习策略，以动态调节不同时间段在视频级别聚合过程中的贡献。这种机制鼓励模型关注更完整且结构更连贯的动作区域，从而提高时间边界定位的准确性。

本文的主要贡献总结如下：

• •
  一种用于弱监督时间动作定位的多分支协作框架。它通过三个互补的分支共同建模动作的时间结构，从而在弱监督下更有效地学习全局动作结构。
• •
  一种多尺度时间上下文建模方法。通过整合全局语义聚合和多尺度时间一致性建模，它增强了类别激活序列的鲁棒性，既来源于视频级别的语义结构，也来源于片段级别的时间稳定性。
• •
  一种考虑差异的边界建模机制，采用掩码引导的多实例学习策略。通过建模时间特征变化并构建片段级权重掩码，它引导模型关注更完整且结构更连贯的动作区域，从而提高时间边界定位的精确度。

章节摘录

相关工作

时间动作定位（TAL）可以大致分为完全监督和弱监督两种方法。完全监督的方法依赖于细粒度的帧级别或片段级别注释，能够直接学习动作实例的时间边界，并在定位准确性上取得显著改进。然而，它们对高质量注释的依赖限制了其在实际应用中的可扩展性。相比之下，弱监督的时间动作定位

问题定义

弱监督时间动作定位（WTAL）的目标是仅使用视频级别标签，在未经裁剪的视频中同时识别动作类别并定位其时间边界[23]。与完全监督设置不同，WTAL在训练期间不依赖任何帧级别或片段级别的注释。相反，模型必须从包含大量背景内容的长视频中发现具有区分性的动作片段。

实验

在本节中，我们首先介绍了实验中使用的数据集和评估指标。接下来，介绍了所提出模型的实现细节。然后，我们将我们的方法与几种先进的弱监督时间动作定位方法进行了比较。最后，通过消融研究和可视化分析验证了所提出模块的有效性。

结论

本文提出了一种用于弱监督时间动作定位的多分支时间结构学习框架。在THUMOS14和ActivityNet数据集上的实验结果表明，所提出的方法取得了具有竞争力的性能。尽管取得了这些进展，但仍存在一些限制：多分支设计在训练阶段增加了计算开销和内存需求，其大规模部署的效率有待进一步提高

CRediT作者贡献声明

Fangxuan Fan：撰写——原始草稿、可视化、软件、方法论、概念化。Jinfu Yang：撰写——审阅与编辑、监督。Yating Guo：撰写——审阅与编辑、验证、数据管理。Xinni Wang：撰写——审阅与编辑、可视化、研究。

利益冲突声明

作者声明他们没有已知的商业利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中国航空科学基金会的支持，资助编号为2024Z071075001。

Fangxuan Fan于2024年从中国吉林的 Northeast Electric Power University 获得了机器人工程学士学位。他目前在中国北京的北京理工大学攻读控制科学与工程硕士学位。他的研究兴趣包括弱监督时间动作定位、视频理解和基于深度学习的动作识别。

Fangxuan Fan|Jinfu Yang|Yating Guo|Xinni Wang