用于点监督式时间动作定位的片段级与提案级可区分性建模网络

《Expert Systems with Applications》：Snippet- and proposal-level discriminability modeling network for point-supervised temporal action localization

　　

• •
  针对点监督式时间动作定位，对动作、背景及时间上下文进行联合建模。
• •
  通过语义原型提升特征一致性及表示质量。
• •
  设定针对性目标，以实现特征一致性、原型区分度以及强鲁棒的伪监督效果。
• •
  在三个基准数据集上均展现出更优异的性能。

引言

时间动作定位任务旨在对未经过裁剪的视频中的动作实例进行分类，并确定其起始与结束时间。由于该技术在视频监控、视频摘要生成以及视频检索等领域具有广泛应用前景，因此受到了众多研究人员的关注。然而，训练此类模型需要大量视频标注工作，而这既耗时又费力。随着数据量的不断增长，这种依赖大量标注的思路越来越难以满足时间动作定位在扩展性方面的需求。正因如此，点监督式时间动作定位便应运而生。这种方法仅需为每个动作实例提供单个点标注，就能为模型提供精确的位置信息，从而有效减少在传统视频级弱监督模式下常见的背景与动作之间的混淆问题。这种虽稀疏但信息量充足的监督方式，使其成为处理大规模视频场景的极具实用价值的替代方案。

正如HR-Pro（Zhang等人，2024年）等最新框架所展示的，点监督式方法可以在片段层面和提案层面分别进行研究，以此利用多级表示来提升时间动作定位的性能。不过，由于这类方法本质上缺乏明确的边界标注，因此在充分利用点级监督信息方面存在诸多挑战。在片段层面，尽管这些方法能够处理与上下文及动作相关的信息，但如果能结合专门的背景建模技术以及多尺度特征提取方法，其性能还有很大提升空间。这样的改进能够增强动作片段与背景片段之间的区分能力，同时更好地适应动作持续时长的变化，进而避免在后续的时间处理步骤中（如top-k聚合操作）将激活度较高的动作语义与周围的背景噪声错误地合并在一起。

此外，这种表示上的模糊性问题也会体现在提案层面。面对可能存在缺陷的伪提案时，现有的处理流程缺乏能够自适应修正标签波动的机制，同时也不存在针对模糊背景提案的专门惩罚机制。这些限制因素可能会导致提案的区分度不够理想。因此，为避免较差的区分度影响定位精度，就有必要引入更丰富的上下文信息，并设置专门的区分机制。

要从根本上解决这一问题，恢复清晰的动作与背景边界，就必须对动作、背景以及上下文信息进行全面建模。具体而言，动作建模能够捕捉每个动作实例的核心动态特征，而背景建模则能为区分动作片段与非动作片段提供必要的信息支撑。此外，上下文信息则能够整合不同片段之间的时间关联与语义关联。综合运用这些因素，可以有效抵消前述的空间稀释效应，提升定位的准确性。然而，如果对这些因素的建模不够充分，就可能会出现定位错误。如图1所示，这类错误表现为：第一，实例合并，即间隔时间较短的连续“长跳”动作实例会被合并为一个动作实例；第二，实例缺失，即多个“掷铁饼”动作实例无法被检测到。

基于上述观察，我们试图通过在片段层面和提案层面分别建模动作与背景的区分能力，来解决实例合并与缺失的问题。为此，我们提出了用于点监督式时间动作定位的片段级与提案级区分度建模网络SPDM-Net，该网络如图2所示分为两个阶段运行。在第一阶段，采用语义原型注意力机制来增强片段表示能力。具体而言，语义原型会吸引更多同类片段，同时排斥不同类片段，从而使各类别之间的特征分布保持清晰分离。之后，处理过的片段会进入轻量级门控模块，该模块能够自适应地调整各个片段通道的重要性。加权特征金字塔则能够整合来自不同相邻时间区域的信息，从而捕捉多粒度的时间关联关系。通过自适应地加权并组合这些多粒度的表示信息，该金字塔结构能够提升模型对上下文语义的敏感度，帮助模型更全面地理解动作的动态特征。

基于多实例学习框架，我们在第二阶段生成了三种类型的候选结果，用于模型训练：伪真实值、动作提案以及背景提案。为进一步提升模型性能，我们引入了片段对齐损失函数来提升片段的一致性，还设计了语义损失函数来稳定粒度信息，同时设置了原型分离损失函数来优化背景原型。

在第二阶段，我们以伪真实值作为监督信号。回归模块与完整性模块分别用于精确界定时间边界以及评估候选结果的质量。考虑到伪真实值本身存在的不确定性，以及需要對背景提案进行惩罚的必要性，我们设计了两种基于分位数的特殊损失函数，同时还提出了相应的完整性评分计算方法。

本文的主要贡献如下：

• •
  我们提出了SPDM-Net算法，用于点监督式时间动作定位，该算法能够有效提升动作与背景之间的区分度。
• •
  我们在片段层面和提案层面都充分考虑了动作、背景以及上下文的内容，并为各个处理模块设计了专门的损失函数，从而有效减少了实例合并与缺失现象。
• •
  我们在THUMOS14、GTEA以及BEOID这三个公开基准数据集上进行了大量实验，实验结果表明，我们的模型性能优于现有的多数方法。

章节片段

全监督式时间动作定位

全监督式时间动作定位任务需要为动作实例提供全面的标注信息，包括精确的时间边界以及对应的类别标签。现有的方法可分为一类方法（Lin、Xu、Luo、Wang、Tai、Wang、Li、Huang、Fu，2021；Yang、Wei、Zheng，2024）和两类方法（An、Zhao、Wang、Zhao、Yang，2025；Sun、Song、Wu、Jia、Luo，2022）。

一类方法能够同时确定动作实例的边界信息与类别归属。

方法

在本节中，我们将详细介绍我们用于P-TAL任务的方法，该方法通过在片段层面和提案层面分别建模动作的区分能力来实现目标。该框架的整体架构如图2所示。对于输入的未经过裁剪的视频，首先会使用预训练好的I3D网络提取片段级的特征。在第一阶段，这些特征会依次经过语义原型注意力机制、轻量级门控模块以及加权特征金字塔模块的处理，以此提升语义层面的区分能力，并整合不同时间片段之间的信息。

数据集

我们的方法在三个公开的基准数据集上进行了测试，分别是THUMOS14（Idrees等人，2017年）、GTEA（Fathi等人，2011年）以及BEOID（Damen、Leelasawassuk、Haines、Calway和Mayol-Cuevas，2014年）。

THUMOS14数据集包含了20种与体育相关的动作类别的视频，其中包含200个验证用视频和213个测试用视频。每段视频平均包含15个动作实例，因此该数据集的难度相当高。与之前的研究结果一致（Lee和Byun，2021年），验证集被用于

结论

实验结果表明，在采用点级监督方式时，若能明确纳入动作、背景以及上下文信息，将显著提升动作与背景之间的区分度。此外，我们所提出的两阶段优化方法也能有效解决实例合并与缺失的问题。尽管这些实验结果十分令人满意，但SPDM-Net仍然依赖于基于OIC分数生成的伪真实值，而这类伪真实值可能会导致监督信息的不准确性。

未引用参考文献

Shao、Zhang和Xu（2026年）；Liu、Li、Fan和Xu（2025年）；Wang、Zhang和Zhao（2022年）；Zhang、Wu和Li（2022年）；Xia、Cheng、Liul、Hu、Wang、Zhang和Dang（2024年）；Tang、Fan、Luo、Zhang、Zhang和Yang（2023年）；Liu、Wang、Zhou、Xia、Wu、Zhang和Hua（2024年）；Chen、Gao、Yang和Xu（2022年）；Rizve、Mittal、Yu、Hall、Sajeev、Shah和Chen（2023年）；Kim、Lee和Heo（2023年）；Shi、Zhong、Cao、Ma、Li和Tao（2023年）；Shao、Zhang和Xu（2024年）；Fu、Gao和Xu（2022年）；Li、Cheng、Wang、Li和Gao（2024年）；Zou、Zhao、Sarker、Li，

CRediT作者贡献说明

Danyang Wang：概念设计、软件实现、初稿撰写、模型验证、论文修订与编辑、结果可视化、数据整理。 Xingwang Wang：形式化分析、项目管理、整体指导。 Shilin Chen：论文修订与编辑。 Weiming Jing：整体指导。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

Danyang Wang于2024年在中国黑龙江大学的计算机科学与技术学院获得学士学位，目前她是吉林大学计算机科学与技术学院的硕士生。她的研究兴趣主要包括时间动作定位以及视频理解领域。

Danyang Wang|Xingwang Wang|Shilin Chen|Weiming Jing