GASE：一种用于时间句法信息抽取的通用自适应静态增强方法

《Knowledge-Based Systems》：GASE: Generalized Adaptive Static Enhancement for Temporal Sentence Grounding

时空对齐模型GASE通过预训练LLM分解动态查询为静态句子，结合CLIP编码器与记忆增强模块实现动态-静态信息融合，有效提升视频与文本的细粒度时空匹配能力，尤其在OOD场景中表现显著优于现有方法。

　　

Ran Ran|沈凯文|魏继伟|柴瑞坤|何世远|马泽宇|周宇阳|张玛璐|杨阳

中国电子科技大学计算机科学与工程学院，成都，611731，中国

摘要

当前的时间句子定位（TSG）方法由于数据集稀疏以及文本和视频内容的语义灵活性而面临重大的泛化挑战，这限制了模型捕捉微妙和复杂语义交互的能力。为了解决这些问题，本文提出了一种新颖的广义自适应静态增强（GASE）定位模型，该模型利用了预训练大型模型的强大泛化能力。通过利用大型语言模型（LLM）丰富的语义和细粒度解析能力，将包含事件信息的动态查询分解为描述单个图像的一系列静态句子查询。这些静态查询不仅利用了预训练的图像-文本模型的强大匹配能力，还增强了细粒度语义和时间相关性。具体而言，GASE结合了带有动态标识符的自适应提示策略来微调编码器，并将视频先验嵌入到动态查询的编码中。此外，设计了一个增强记忆的动态-静态交互模块，使用记忆机制来关联动态和静态信息。通过自适应静态增强解码器，GASE能够有效地从视频内容中提取潜在的时间跨度，并根据动态和静态线索逐步对其进行细化。广泛的实验表明，GASE的性能显著优于现有的最先进方法。其在分布外（OOD）场景中的出色表现突显了其卓越的泛化能力，使其成为TSG任务的强大解决方案。

引言

时间句子定位（TSG）是一项旨在识别未裁剪视频中与自然语言查询在语义上对应的具体时间时刻的任务[1]、[2]。TSG使得视频内容搜索具有多样化和复杂的能力，使其在各种应用中非常实用[3]、[4]。然而，准确的TSG涉及查询和视频之间的多模态语义之间的复杂交互。捕捉精确的上下文信息以对齐它们复杂的语义表示仍然是TSG的一个挑战[5]、[6]。

现有的TSG方法主要依赖于基于提案的架构[7]、[8]、[9]。这些方法遵循提案候选、语义检索和排名的结构，同时引入了对比学习和注意力机制。然而，由于它们大量的冗余计算，效率受到了影响。此外，一些无提案的方法直接从双模态输入中提取语义特征[10]、[11]，进行跨模态交互，并回归开始和结束时间戳的预测。然而，这些方法需要复杂的后处理步骤来细化最终结果。最近，Transformer作为一种更优的方法出现，允许直接预测[12]、[13]。

尽管取得了显著的成就，当前方法仍然面临重大的泛化挑战[5]。首先，TSG训练数据需要大量的人工注释，导致可用数据集数量有限[5]、[14]。这种稀缺性限制了模型从稀疏训练数据中全面学习文本和视频内容之间语义灵活和复杂的交互[13]。随着预训练大型模型的发展，一些方法尝试利用预训练的多模态模型来利用它们的卓越理解能力[15]、[16]。然而，视频-文本模型仍然不够成熟，通常缺乏精确时间定位所需的细粒度[15]。因此，许多研究采用图像-文本预训练模型（如对比语言-图像预训练（CLIP）[17]）来进行TSG任务。虽然这些模型在静态内容上表现出很强的泛化能力，但在动态视频语义上的表现有限。此外，尝试对这些模型进行微调以适应视频任务通常会导致泛化能力明显下降，主要是由于视频-文本数据的稀缺性和时间动态的表示不足[18]、[19]。

为了解决这些问题，我们将动态视频查询转换为静态图像-文本对，以充分利用现有大规模多模态模型的强大和泛化的静态匹配能力。如图1(a)所示，我们引入了一个大型语言模型（LLM）作为外部知识源，将以事件为中心的动态查询分解为多个描述单个图像的静态句子查询。这些静态句子捕捉了视频片段中与查询相对应的具体时刻，共同逼近了原始查询的表示。通过利用这些静态查询进行跨模态匹配，该方法不仅利用了预训练模型中嵌入的先验，还提供了细粒度的语义和时间相关性[20]。原始的动态查询也包含重要的时间信息，与静态查询一起进行处理。我们提出的模型联合分析动态和静态信息，揭示它们之间的相互关系，并完全挖掘时间语义，在图1(b)中。

在本文中，我们提出了一种新颖的广义自适应静态增强（GASE）定位方法，以利用预训练的大型模型来增强TSG的泛化能力。具体来说，我们利用LLM和设计的提示将查询分解为描述图像的多个静态查询。然后我们使用CLIP编码器提取特征，并设计了一个带有动态标识符的自适应提示策略来微调编码器，将视频的先验嵌入到原始动态查询的嵌入中。充分利用了CLIP的强大泛化能力，并大大防止了由于数据稀缺导致的模型过拟合。此外，我们设计了一个增强记忆的动态-静态交互（MDSI）来实现多阶段融合，并使用持久记忆来关联动态和静态信息，整合动态和静态匹配信息。最后，提出了一种自适应静态增强解码器，通过动态-静态交互逐步提取时间时刻并逐步细化预测，从而获得准确的时间定位结果。

我们的主要贡献总结如下：

•

我们利用LLM将包含动态信息的查询分解为描述图像的多个静态句子查询，充分利用了预训练多模态模型在静态图像-文本匹配方面的强大泛化能力，提供了细粒度的语义和时间相关性。

•

所提出的GASE包括一个静态描述符、带有动态标识符的编码器、增强记忆的动态-静态交互和自适应静态增强解码器。这使得静态和动态信息能够匹配，确保了强大的泛化能力。

•

广泛的实验表明，所提出的GASE的性能超过了当前的最先进方法。此外，其在分布外（OOD）实验中的出色表现强调了GASE的有效性和强大的泛化能力。

相关工作

相关工作

时间句子定位。随着深度学习方法的进步[21]、[22]，TSG任务最初由[1]、[23]引入，并且最近受到了越来越多的关注[24]、[25]。TSG旨在根据句子查询定位最相关的视频片段。现有方法可以分为两类[26]、[27]：基于提案的方法[7]、[28]：这些方法生成多个候选片段，并使用融合的多模态特征来评估它们与查询的相关性

概述

图2展示了所提出的GASE框架的概览。首先，包括LLM和设计提示的静态描述符将查询分解为描述单个图像的静态句子。随后，我们使用CLIP图像和文本提取器在帧级别、原始查询词级别和静态句子级别获取特征。具体来说，对于静态查询的编码器（静态编码器），我们采用可学习的提示来修复原始CLIP参数，从而

数据集和评估

数据集。我们在两个广泛使用的数据集上评估了所提出的方法，即ActivityNet-Captions [41]和Charades-STA [42]数据集。ActivityNet-Captions数据集包含20,000个未裁剪的YouTube视频以及100,000个描述，涵盖了各种复杂的人类活动。根据公开的分割[1]，我们分配了37,417个句子-视频对用于训练，17,505个用于验证，17,031个用于测试。Charades-STA数据集[42]来源于Charades

限制与未来工作

虽然GASE通过基于LLM的静态分解和动态-静态融合提高了泛化能力，但仍存在一些限制。首先，静态句子的质量和一致性仍然依赖于LLM，而弱分解可能会降低细粒度匹配的效果。其次，推理密集的多上下文定位设置[56]在我们的当前单视频公式中没有明确建模。最后，基于LLM的分解引入了额外的成本；因此我们离线生成静态句子

结论

在本文中，我们提出了GASE定位模型，该模型利用LLM进行查询分解，将动态查询分解为描述视频片段中特定时刻的多个静态句子查询。这些静态查询不仅便于利用CLIP的泛化匹配能力，还增强了细粒度语义和时间相关性。我们采用带有动态标识符的自适应提示策略来微调CLIP编码器，防止过拟合

CRediT作者贡献声明

Ran Ran：撰写——原始草稿，方法论。Kaiwen Shen：撰写——原始草稿，方法论。Jiwei Wei：撰写——审阅与编辑，验证。Ruikun Chai：可视化，软件。Shiyuan He：数据整理，概念化。Zeyu Ma：方法论，调查，形式分析。Yuyang Zhou：可视化，软件，方法论。Malu Zhang：方法论，调查，数据整理。Yang Yang：撰写——审阅与编辑，监督。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金（项目编号62306067和62220106008）的支持，部分得到了四川省科技计划（项目编号2024NSFSC1463）的支持，部分得到了广东省基础与应用基础研究基金（项目编号2025A1515010108）的支持。