针对部分相关视频检索的跨查询上下文线索动态增强方法

《Engineering Applications of Artificial Intelligence》：Cross-query contextual clues dynamic enhancement for partially relevant video retrieval

摘要部分相关视频检索通过跨查询上下文线索挖掘与动态蒸馏机制缓解文本与视频的语义不对齐问题，构建查询集提取全局-局部互补语义，设计动态机制抑制无关线索扩散，最终提升检索精度。

　　

欧阳叶|王荣康|余振华|张云|张文超|肖良国

西安科技大学人工智能与计算机科学学院，中国陕西省西安市雁塔中路58号，710054

摘要

部分相关视频检索旨在从大量视频中检索与查询部分相关的目标视频。现有方法使用的查询仅是对视频内容的粗略总结，无法捕捉视频中的丰富语义信息。这种查询的语义不完整性加剧了跨模态对齐中的语义不对称问题。为了解决这个问题，本文提出了一种结合跨查询上下文线索的部分相关视频检索方法。首先，对于每个查询，使用其对应视频中的其他查询构建一个查询集，并提取查询和视频特征。其次，设计了一个线索挖掘分支来提取跨查询的具有互补语义的全局和局部上下文线索，从而丰富单个查询的语义内容。最后，在线索继承分支中提出了一种动态线索提取机制。该机制动态传输能够增强查询语义的上下文线索，并抑制无关线索的传播，从而增强单个查询中上下文线索的语义表示。然后使用从上下文线索中提取的查询语义进行视频检索。在电视节目检索、ActivityNet字幕和Charades-句子时间注释数据集上的实验结果表明，所提出的方法表现出更好的性能。因此，利用跨查询的上下文线索来增强语义相关性可以更精确地检索与查询相关的视频。

引言

视频作为一种能够整合视觉、听觉和文本等多模态信息的媒介，逐渐成为信息传播的主要载体。近年来，随着TikTok等视频分享平台的迅速扩张，可用视频的数量呈指数级增长。由于用户主要对包含特定内容的视频感兴趣，因此对准确检索与用户查询匹配的视频的需求也在增加。文本到视频检索（T2VR）任务专注于从大量视频中识别与给定文本查询在语义上完全对齐的视频（Yang等人，2024年；X. Yu等人，2025年；Zhang等人，2024年）。它可以应用于其他下游视觉任务，如异常事件检测（Ristea等人，2024年；Z. Yu等人，2025年）、视频字幕生成（Ye等人，2024年；Kim等人，2024年）和视频超分辨率重建（Shen等人，2024年；Xiao等人，2024年）。然而，T2VR假设查询描述了视频的完整内容，这往往与现实世界的检索场景不符。实际上，用户通常只输入几个反映视频内容的关键词。无论视频是简短且经过编辑的还是长且未经编辑的，仅使用几个关键词都很难充分描述其复杂语义。为此，最近的研究（Dong等人，2022a）引入了部分相关视频检索（PRVR）任务，该任务旨在检索与查询在语义上部分相关的视频。在这个任务中，每个视频可能对应多个文本描述，每个文本描述一个特定的视频片段。与传统T2VR相比，PRVR更好地反映了实际需求，并由于文本和视频之间的部分语义对齐而带来了更大的挑战。

由于每个查询对应一个视频片段，因此对片段之间的语义差异进行建模已成为部分相关视频检索的关键目标。现有方法可以根据其视频片段建模策略分为两类：显式视频片段建模（Dong等人，2022a；Chen等人，2025年）和隐式视频片段建模（Wang等人，2024a）。显式建模使用不同规模的多个滑动窗口捕获不同时间范围内的视频信息，为每个片段构建清晰的语义表示。然而，这种方法对窗口大小和步长等超参数很敏感，可能会生成许多冗余片段，增加存储和计算成本。相比之下，隐式建模避免了滑动窗口的局限性。它允许每个帧与其邻居动态交互，产生更具区分性的多尺度片段特征。

虽然深入理解视频内容对于跨模态语义对齐至关重要，但部分相关视频检索最终依赖于测量查询和视频之间的语义相似性。因此，从查询中提取丰富的语义同样重要。分层局部-全局Transformer（HLGT）（Fang等人，2023b）通过并行建模局部级语义（视频片段和查询短语）和全局级语义（整个视频和查询）之间的交互来增强文本-视频语义一致性。桥接语义粒度差距（BSG）（Jun等人，2025）将查询分解为多个语义单元，并在细粒度级别上将其与视频帧对齐，有助于缓解语义粒度不匹配问题。然而，这种方法仍然在单个查询内进行上下文语义交互。由于单个查询包含的语义信息少于相应的视频，这种限制可能会加剧跨模态语义不对称问题。相比之下，单个查询文本本身提供的语义信息不完整，加上文本和视频之间的固有模态差异，导致了跨模态语义不对称。

考虑到各种隐式线索在文本中对恢复详细信息的有效性（Li等人，2024年；Ma等人，2023年），同一视频内不同查询之间的上下文线索可以为单个查询提供额外的语义信息（Wei等人，2025年；Zhao等人，2022年），从而增强文本和视频之间的语义相关性。受此启发，本文提出了一种结合跨查询上下文线索的部分相关视频检索方法。在从查询中提取语义特征后，我们的方法构建了一个由同一视频中的其他查询组成的查询集，以挖掘多个查询之间的上下文线索。通过动态提取上下文线索，抑制无关上下文线索的传播，从而增强单个查询的语义表示。最后，使用提取的查询特征进行部分相关视频检索。以图1为例，查询“Person starts eating”对应于9.3到18.3秒的视频片段。与视频内容相比，该查询缺乏对特定场景和细节的描述。为此，将全局-局部线索挖掘模块应用于相应的查询集，以增强三种类型的上下文线索：（1）场景线索：事件发生的地点是“一个房间”；（2）对象线索：“eating”动作的对象是“食物”；（3）方式线索：“eating”动作起源于“一个碗”。这些线索弥补了原始查询中的空间、对象和动作相关的语义差距。随后，通过知识蒸馏将挖掘分支提取的上下文线索传输到继承分支。然而，在此过程中也可能捕获到无关线索。例如，查询集中的“Another person”可能会误导模型找到多人场景的视频，而“walks”可能会扭曲当前查询的动作语义。为了抑制此类无关线索的传播，我们提出了一种动态线索提取机制。通过估计可学习的关联强度，该机制动态传输那些能够增强查询语义的上下文线索，如“一个房间”、“食物”和“from a bowl”，从而在单个查询输入的条件下增强文本和视频语义的相关性。

本文的主要贡献如下：

• •
  设计了一个全局-局部挖掘模块，用于提取跨查询的上下文线索，补充单个查询中缺失的部分视频语义。这增强了查询和视频内容之间的语义相关性，缓解了跨模态对齐中的语义不对称问题。
• •
  提出了一种动态线索提取机制，用于动态传输能够增强当前查询语义的上下文线索，有效抑制无关线索的传播。
• •
  所提出的方法在三个不同规模和场景的公共数据集上进行了验证，评估了跨查询上下文线索对部分相关视频检索性能的影响。

本文分为几个部分：第2节回顾了一些相关视频检索方法的研究现状，第3节详细介绍了所提出的方法，第4节通过大量实验评估了所提出方法的性能，并最终总结了所完成的工作。

节选

文本到视频检索

T2VR是跨模态检索的一个基本任务。现有方法主要使用不同的神经网络架构从查询和视频中提取特征，然后在共享嵌入空间中计算相似性。例如，阅读策略启发的视觉表示学习（RIVRL）（Dong等人，2022b）使用两个相互依赖的分支以粗到细的方式提取多粒度视频信息，然后在混合空间中计算相似性。

所提出的方法

为了减轻由于查询语义不完整而产生的跨模态语义不对称问题，本文提出了一种结合跨查询上下文线索的部分相关视频检索方法。整体框架如图2所示。首先，对于每个查询$q$，从其对应视频中的其他查询构建一个查询集$S={\left\{S_{}\right\}}_i^{\}}K$，其中$V$是第个查询，$S_i$是其他查询的数量$K$。给定一个具有$N$个相关查询的视频，我们定义$K=1$。文本和

数据集和评估指标

我们在三个公共未裁剪视频数据集上评估了所提出方法的有效性：电视节目检索（TVR）（Lei等人，2020年）、ActivityNet字幕（Krishna等人，2017年）和Charades-句子时间注释（Charades-STA）（Gao等人，2017年）。这些数据集在规模和场景类型上各不相同，其详细信息在表1中进行了总结。遵循Dong等人（2022a）和Dong等人（2023）的设置，本文采用了相同的数据划分协议。

接下来

结论

本文提出了一种结合上下文线索的部分相关视频检索方法，以减轻现有方法中由于查询语义不完整而加剧的跨模态语义不对称问题。该方法通过挖掘和动态提取同一视频中不同查询句子的全局-局部上下文线索来改进查询语义并增强文本和视频之间的语义相关性，从而提高检索准确性。实验结果

CRediT作者贡献声明

欧阳叶：撰写——原始草稿、方法论、概念化。王荣康：撰写——原始草稿、验证、数据管理。余振华：监督、项目管理、资金获取。张云：可视化、资源、调查。张文超：软件、形式分析。肖良国：验证、形式分析。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了中国自然科学基金（项目编号：62273272、62476216和U24A2092）的支持；部分得到了陕西省重点研发计划（项目编号：2024CY2-GJHX-49和2024GX-YBXM-146）的支持；以及部分得到了陕西省教育厅重点科研计划（项目编号：24JR110）的支持。