从点到时刻:一种用于视频关键时刻检索的点引导检测变换器

《Pattern Recognition》:From points to moments: A point-guided detection transformer for video moment retrieval

【字体: 大 中 小 】 时间:2026年10月23日 来源:Pattern Recognition 9.1

编辑推荐:

  •一种基于点的Transformer可以为时刻检索生成可靠的锚点。•对视觉上下文的逐步聚合提高了时间锚点的质量。•该模型在长视频中定位时刻的性能更优越。引言在TikTok和YouTube等社交媒体平台上,短视频内容的爆发性增长使得用户的注意力从整个视频转移到了特定的时间时刻,这使

  
  • •
    一种基于点的Transformer可以为时刻检索生成可靠的锚点。
  • •
    对视觉上下文的逐步聚合提高了时间锚点的质量。
  • •
    该模型在长视频中定位时刻的性能更优越。

引言

在TikTok和YouTube等社交媒体平台上,短视频内容的爆发性增长使得用户的注意力从整个视频转移到了特定的时间时刻,这使得对时间时刻的理解成为一个关键挑战。视频时刻检索(VMR)这一任务最初由[1]提出,最近被Moment-DETR [2]和BAM-DETR [3]等检测Transformer重新研究,旨在定位与给定自然语言查询在语义上对齐的精确视频片段。该任务建立在视频理解领域的长期进展之上:视频表示的自监督联合训练[4]、端到端的多模态视频时间定位[5]以及捕捉标准注意力模型中缺失的结构线索的关联自注意力[6],共同提供了时刻检索所需的高质量跨模态特征,而渐进式时空原型匹配[7]进一步展示了建模细粒度局部原型的重要性。VMR的成功反过来又促进了视频-文本检索[8]、视频摘要[9]和视频字幕[10]等广泛的应用。
为了推进这一任务,最近的研究越来越多地采用了基于DETR的架构,例如Moment-DETR [2]及其依赖查询的扩展QD-DETR [11],它们将VMR视为一个直接的集合预测问题。通过从一组可学习的查询中解码时间边界,这些方法提供了一种主流范式,在准确性和效率之间取得了良好的平衡。通常,它们使用Transformer解码器来回归时间间隔< Span class="math">(a,b),采用两种格式之一:一个中间点长度对< Span class="math">(c,l),转换为< Span class="math">(c?l/2,c+l/2);或者一个参考点< Span class="math">p,带有左右偏移< Span class="math">(s,t),计算方式为< Span class="math">(p?s,p+t)。
尽管这些方法取得了成功,但我们的初步研究(第3.1节)揭示了一个现象:预测点的准确性与最终的时间IoU密切相关。具体来说,当预测点落在GT间隔之外时,无论边界偏移的回归结果如何,得到的IoU几乎总是低于0.5。相反,当预测点落在GT间隔之内时,即使边界偏移不够精确,IoU往往也较高(通常>0.5)。这一观察结果引出了一个重要但尚未充分探索的方面:对于VMR来说,给定多个查询和相应的视频,通常更理想的是预测出由正确点锚定的、边界较粗的较多数间隔,而不是边界精确的较少间隔。然而,现有的优化范式并未设计成优先考虑点的准确性。虽然之前的方法采用了多种跨模态对齐策略[12],[13],但它们的主要训练目标是最小化预测间隔与GT间隔之间的距离。这种目标将间隔视为一个整体实体,没有为引导点本身提供明确的监督信号。因此,模型的主要目标变成了塑造边界以最大化IoU,而不考虑引导点是否在GT间隔之内。图1展示了一个先前方法的例子:尽管预测的边界与GT间隔非常接近,但预测的间隔是由GT间隔之外的点锚定的,导致IoU仅为0.4。这表明,由于所有边界偏移都是基于点进行锚定的,因此生成高质量的点仍然是一个关键但未解决的挑战。
为了解决这个问题,我们提出了一种新的基于点的检测Transformer(PG-DETR)框架用于VMR。其核心思想如图1所示,PG-DETR引入了一个点细化模块(PRM),该模块通过计算视频片段与查询语义之间的片段级相关性分数来生成高质量的点提案。关键的是,这些分数由一个无需成本的对齐损失进行显式监督,该损失训练模块将高相关性赋予GT间隔内的片段,确保它们是可靠的时间锚点。因此,排名前k的片段被选为点提案,然后将其与索引信息一起编码并注入Transformer解码器中,以指导最终的间隔预测。
为了提高上述点提案的准确性,我们在PRM之前引入了一个分层聚合模块(HAM),该模块在多个时间尺度上逐步将查询特征与视频上下文对齐,从而使后续的PRM能够计算出更准确的点提案。此外,我们提出了点位置分数(PLS)这种评分策略,根据点的质量对最终间隔进行排名。在推理过程中,PLS根据点的位置动态调整预测边界偏移的贡献,从而与实际IoU产生了强烈的相关性。
总结来说,本文的贡献如下:
  • •
    我们提出了一种新的基于点的DETR(PG-DETR),它具有一个点细化模块(PRM),该模块通过计算由无需成本的对齐损失监督的相关性分数来生成可靠的点提案,以指导最终预测。
  • •
    我们引入了一个分层聚合模块(HAM),该模块通过多尺度视觉上下文丰富查询特征,使PRM能够生成更准确的点提案。
  • •
    我们的方法优于现有的最先进方法。特别是在Charades-STA测试分割上,它生成的正确点在GT间隔内的预测数量比UVCOM [14]多了5.73%。

章节摘录

基于提案的、无需提案的和可学习提案的VMR

视频时刻检索(VMR)专注于在未经剪辑的视频中定位一个[1]或多个[2]与给定查询最匹配的相关时间间隔。最初的基于提案的方法采用两阶段范式。滑动窗口方法如CTRL [1]遍历整个视频;ROLE [15]通过时间上下文建模进一步增强语言和提案之间的匹配。基于锚点的方法如MAN [16]和多级对齐

动机

我们首先通过实证验证了驱动我们设计的核心观察结果:在DETR风格的VMR中,引导点的位置,而不是边界偏移的精确度,是最终时间IoU的主要因素。为此,我们在Charades-STA、QVHighlights和TACoS的测试分割上对PG-DETR模型的前1个预测进行了初步研究,遵循BAM-DETR风格的预测格式,其中每个间隔都由一个点锚定并参数化

实验设置

数据集。我们在三个具有代表性的基准测试集上评估了我们的方法:QVHighlights [2]、Charades-STA [1]和TACoS [43]。 QVHighlights是一个大型数据集,包含来自不同类别(如vlog和新闻)的10,148个视频。它包含了10,310个查询的18,367个注释时刻。值得注意的是,这些注释时刻分布更为均匀,这减轻了早期数据集[44],[45]中存在的时序偏差,因为在早期数据集中,注释通常集中在视频的开头。 Charades-STA

结论与未来工作

在本文中,我们从以点为中心的角度重新审视了DETR风格的视频时刻检索。我们在三个基准测试集(第3.1节)上的初步研究表明,无论是通过分层的IoU统计还是通过皮尔逊/斯皮尔曼相关系数,引导点的位置——而不是边界偏移的精确度——是最终IoU的主要驱动因素。这一实证发现激发了我们提出的基于点的检测Transformer(PG-DETR),它使锚点成为

CRediT作者贡献声明

李宇哲:写作——审阅与编辑,撰写——原始草案,可视化,验证,监督,软件,资源,项目管理,方法论,调查,形式分析,数据策划,概念化。 余文文:写作——审阅与编辑,监督,资源,项目管理,概念化。 朱盈盈:写作——审阅与编辑,监督,资源,资金获取。

利益冲突声明

作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中国国家自然科学基金(批准号62206103)的支持。
李宇哲于2024年获得中国华中科技大学的学士学位。他目前是中科院华中科技大学人工智能与自动化学院的硕士生。他的研究兴趣包括计算机视觉、大型多模态模型、强化学习和视频理解。
李宇哲|余文文|朱盈盈
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号