基于统一特征编码与双路径蒸馏网络的视频片段定位

《Engineering Applications of Artificial Intelligence》：Video moment localization via unified feature encoding and dual-path distillation network

　　

摘要

视频片段定位的目标是识别原始视频中与给定查询语义最匹配的目标时刻。现有方法在多模态特征编码和交互方面取得了显著进展。然而，仍有三个关键问题尚未解决。首先，独立编码的各模态特征在共同的表示空间中缺乏天然的对齐，降低了跨模态匹配的准确性。其次，其交互机制难以充分捕获跨模态间的复杂关系。第三，静态蒸馏策略和固定的效率设计无法动态引导模型聚焦于关键时间片段。我们提出了一种新颖的统一特征编码与双路径蒸馏网络（UFDNet）。具体而言，在特征编码方面，构建了一个统一的多模态编码框架，将多模态数据嵌入共享语义空间，从而缩小模态间的分布差异。在多模态交互方面，设计了一种层次化注意力引导的交互模块，融合了三种模态交互增强和文本引导交互，以强化局部语义建模和全局上下文感知能力。此外，为实现模型轻量化和高效部署，引入了一种双路径蒸馏策略，结合了自适应温度蒸馏和Top-K排名蒸馏。该策略有效提升了学生模型动态聚焦于教师模型赋予高注意力的时刻的能力，同时显著减少了模型参数和推理时间。在公开的Charades-STA和QVHighlights数据集上进行的实验表明，所提出的方法在定位准确性和推理效率方面均优于最先进的方案。

引言

随着互联网的进步和智能设备的普及，视频逐渐成为传递信息的关键渠道。与图像和文本相比，视频包含更丰富、更复杂的动态信息，具有更强的语义表达力。它已被广泛应用于智能监控、工业检测和社交媒体分析等多个领域（Tang et al., 2025）。随着视频数据量的快速增长，如何快速准确地从视频中理解和检索关键信息，已成为许多实际应用中的核心挑战。为解决这一问题，Gao等人（2017）和Anne Hendricks等人（2017）提出了视频片段定位（VML）方法，旨在检索原始视频中与给定自然语言查询语义匹配的时刻（H. Zhang et al., 2023）。然而，这些方法忽略了视频中固有的音频信息，而音频往往承载着丰富的语义线索。基于文本的VML方法可能面临语法错误或语义模糊等问题，而基于音频的方法则可能遇到背景噪声或多说话人场景等挑战。因此，同时使用文本和音频作为查询来源，可以发挥两者的互补优势，提高VML的准确性。如图1所示，给定查询文本"A sponge is used to scrub the sink with the cleaning solution"（用海绵配合清洁剂擦洗水槽）及其对应的音频，目标是检索从48.17秒到72.15秒的片段。

作为视频内容理解的重要组成部分，VML面临若干挑战：（1）如何实现异构多模态特征的深度语义理解与建模；（2）如何实现更精确的跨模态交互；（3）如何在保持定位准确性的同时提升模型效率与紧凑性。Liu等人（2022）提出了一种统一的多模态Transformer（UMT），用于联合进行视频片段检索和高光检测。其单模态编码分支引入了标准的Transformer自注意力层，分别捕获视觉和音频模态内的全局模态内上下文，增强了跨模态融合前的时序感知能力。此外，Lin等人（2023）提出了一种统一的视频时序定位框架（UniVTG），用于片段检索、高光检测和视频摘要。其跨模态对齐分支应用注意力池化将文本标记聚合为句子表示，并与视频片段进行模态内和模态间对比学习，在不进行额外跨模态融合的情况下增强了片段与查询的语义匹配。然而，尽管UMT和UniVTG在VML方面取得了显著进展，但它们采用独立的特征编码方式，阻碍了异构模态间语义表示在特征空间中的对齐，从而限制了跨模态匹配和时刻定位的准确性。为解决这一问题，本工作采用预训练的Meta-Transformer（Y. Zhang et al., 2023）构建统一特征编码框架，将不同模态嵌入共享语义空间，从而缩小模态间的分布差异并增强语义对齐。

在实现更精确的跨模态交互方面，研究人员提出了多种方法。Xiao等人（2024）提出了一种视频理解框架，其中局部关系感知模块对时序依赖关系进行建模，并引入跨模态随机游走机制，以实现视觉和语言之间细粒度的双向特征更新与对齐。Xu等人（2024）提出了片段与高光检测Transformer（MH-DETR）。其跨模态交互分支在编码器和解码器之间采用即插即用的注意力模块，动态对齐视觉特征与文本语义，以获得时序融合表示用于联合片段定位和显著性预测。Chen等人（2025）提出了一种跨模态因果对齐方法。该方法利用跨模态注意力机制整合视频帧和问答对的语义信息，并使用双向InfoNCE对比学习联合优化视频模态和语言模态正负样本对的相似度，从而有效增强模态对齐的判别能力。然而，这些方法仍依赖于浅层注意力机制或单层次交互，无法同时捕获局部时序依赖和全局上下文关系。为解决这一局限性，我们提出了一种层次化注意力引导交互策略，使模型能够更好地捕获全局和局部语义关系，有效选择关键语义信息，提升表示能力和匹配准确性。

为平衡准确性与计算效率，大量轻量级蒸馏方法已被探索。Wu等人（2024）提出了一种常识感知对齐网络用于快速视频片段定位（CCA）。其常识感知交互分支专注于自适应地将预提取的常识概念融入视觉和文本表示，在不引入额外在线交互的情况下弥合跨模态差距。其互补公共空间分支采用两个并行投影模块，通过高效的点积运算计算片段与查询的匹配分数，同时保留原始和常识引导的语义信息。Bao等人（2024）提出了一种局部-全局多模态蒸馏方法。其全局蒸馏分支专注于确保学生模型和教师模型在片段选择概率整体分布上的一致性。其局部蒸馏分支采用滑动窗口机制，关注局部帧与文本词之间的细粒度对齐，从而增强时序感知和局部语义建模。然而，这些方法存在两个明显的局限性。尽管CCA实现了高效的对齐和较低的计算成本，但它未利用知识蒸馏，因此缺乏通过从教师模型传递高层知识来压缩模型容量或进一步提升定位性能的能力。同时，现有蒸馏策略依赖固定温度，无法动态调整学习焦点或传递教师模型的注意力排名信息。因此，学生模型难以集中于最关键的时刻。为克服这一问题，我们引入了一种双路径蒸馏方法。自适应温度蒸馏根据学生模型对教师模型输出的拟合程度动态调整温度。Top-K排名蒸馏保留并传递教师模型的注意力排名信息，使学生模型能够在训练过程中更加关注语义显著的片段。该方法在保持高准确性的同时，减少了模型参数和特征提取后的推理时间。

为解决上述问题，我们提出了统一特征编码与双路径蒸馏网络（UFDNet）。首先，与使用独立模态特定编码器的先前方法不同，统一编码将视觉、音频和文本投影到共同的标记空间，直接缩小跨模态分布差异。其次，与现有方法中使用的浅层交叉注意力或简单拼接不同，层次化注意力结合了三种模态门控、多头自注意力、非局部块和文本引导交互，同时捕获局部时序依赖和全局上下文。第三，当先前的VML方法要么完全省略知识蒸馏，要么依赖固定温度时，双路径蒸馏引入了通过梯度反转层对抗更新的可学习自适应温度以及基于Spearman相关性的Top-K排名蒸馏。UFDNet利用这些精心设计的组件来解决VML的三个核心挑战，包括跨模态特征差异、局部-全局建模不足以及缺乏自适应蒸馏。消融研究证实每个组件都是必要的，且它们的组合优于任何子集。

本文的主要贡献总结如下：

1. 提出了一种统一特征编码机制，利用预训练的Meta-Transformer将多模态数据映射到共享语义空间。这实现了多模态特征的统一编码和对齐，有效缓解了多模态异构性造成的对齐困难，为跨模态理解提供了统一的语义基础。

2. 设计了一种层次化注意力引导交互策略，融合了三种模态门控增强、多层次注意力结构和文本引导门控机制。该策略实现了多模态特征的局部语义建模和全局上下文交互，从而缩小了模态间的分布差异。

3. 引入了一种双路径知识蒸馏框架，通过自适应温度蒸馏和Top-K排名蒸馏联合优化学生模型。该框架提升了模型的动态学习能力，同时显著减少了参数和推理开销，从而实现了高定位准确性和特征提取后的计算效率。

4. 在Charades-STA和QVHighlights数据集上进行了广泛评估，表明所提出的方法优于最先进的方法，具有更低的参数量和计算成本，以及更快的推理速度。

分节片段——视频片段定位

视频片段定位（VML）是一个研究充分但具有挑战性的任务，旨在准确定位原始视频中与给定自然语言查询语义对应的时刻。作为视频内容理解的核心任务之一，它需要对视频和查询句子进行语义理解和对齐。早期方法（Gao et al., 2017, Anne Hendricks et al., 2017）通常采用滑动窗口或片段提议网络来采样视频，将视频……

模型

本节概述了所提出的UFDNet的详细架构，图2展示了其整体框架。

数据集

通常，VML数据集包含多个视频，每个视频可能有一个或多个对应的"时刻-查询"对。每个标注包含一个自然语言查询及其对应的视频片段。实验在两个公开基准数据集Charades-STA和QVHighlights上进行，以验证所提方法的性能。表1详细总结了这些数据集的统计数据。Charades-STA主要包含室内活动视频，时长相对较短……

结论

在本工作中，我们提出了统一特征编码与双路径蒸馏网络，旨在准确定位原始视频中与查询对应的时刻。与现有方法相比，所提出的方法构建了统一的多模态特征编码框架，在评估的基准设置下提升了跨模态定位性能。此外，设计了一种层次化注意力引导交互策略，以增强跨模态语义……

CRediT作者贡献声明

Guangli Wu：软件、方法学、概念化。
Xinlong Bi：软件、方法学、概念化。
Jing Zhang：验证、软件。

利益冲突声明

作者声明以下可能存在潜在利益冲突的财务利益/个人关系：Guangli Wu报告获得了国家自然科学基金的资金支持。Guangli Wu报告获得了甘肃省科技计划资金和甘肃省重点研发计划的支持。Guangli Wu报告获得了兰州市科技计划的支持。

致谢

本研究得到了国家自然科学基金（批准号62466002）、甘肃省科技计划资金和甘肃省重点研发计划（批准号24YFFA028）、兰州市科技计划项目（批准号2025-2-108）、甘肃省教育科技创新计划（批准号2025B-132）以及甘肃省研究生创新之星项目（批准号2026CXZX-972）的支持。

简介

Guangli Wu于1981年出生于中国山东省潍坊市，教授，博士，IEEE会员（s852832）。他的研究兴趣是人工智能和网络与信息安全。

Guangli Wu | Xinlong Bi | Jing Zhang
甘肃政法大学网络空间安全学院，兰州，730000，中国甘肃省