Brain-TVR：一种受人类大脑情景记忆神经机制启发的多粒度结构感知文本-视频检索框架

《Neurocomputing》：Brain-TVR: A multi-granularity structure-aware text-video retrieval framework inspired by human brain episodic memory neural mechanisms

　　刘一辰|荣欢|卢振宇|李志飞|刘灿阳|刘恒
中国江苏省南京市江宁区紫金山大道210044，南京信息工程大学人工智能学院

摘要
文本-视频检索是多媒体研究中的一项艰巨任务，其目标是将视频中的视觉内容与自然语言描述相关联，近年来越来越受到关注。目前的先进方法能够实现文本与视频的多粒度对齐，不仅能进行粗粒度的整体表征，还能提取细粒度的局部细节。然而，这些方法往往无法有效建模多尺度元素之间的关系，难以区分那些具有相似元素但结构不同的视频。因此，由这些元素的多种组合产生的语义细微差别未能得到充分体现，限制了检索的精确度。受人类大脑情景记忆机制的启发，我们提出了一种名为Brain-TVR的新型文本-视频检索框架，该框架不仅能捕捉多粒度元素，还能将它们组织成层次结构，并将其映射到庞加莱球面上，从而进一步提升检索精度。此外，我们还设计了一种两阶段检索策略，以提高效率并增强模型的泛化能力。在多种基准测试上的实验结果证明了我们方法的有效性和高效性，Brain-TVR在所有基准测试中均取得了最佳的检索精度、效率及泛化性能。可视化实验表明，我们的层次化多粒度表征能够有效捕捉复杂的场景结构，而组合式硬负样本评估、鲁棒性分析以及超参数敏感性研究进一步验证了我们方法的有效性和泛化能力。

引言
随着在线视频平台的快速普及以及多媒体内容的激增，用户越来越需要有效的机制来将视频中的视觉信息与自然语言查询相关联[1]、[2]、[3]。文本-视频检索已成为一个重要的研究领域，其目标是准确衡量文本描述与视频内容之间的语义相似性[4]。目前大多数先进的文本-视频检索方法都利用交叉注意力机制来学习多粒度表征的对齐[5]、[6]、[7]、[8]、[9]、[10]，以同时捕获粗粒度的整体概要和细粒度的细节，同时借助基于CLIP的迁移学习显著提升检索精度[11]、[12]。然而，如图1左侧所示，对于复杂的查询，尽管现有的先进方法能够捕捉到诸如“接球”和“球场左侧”等多粒度语义元素，但它们仍无法正确组合这些元素，从而导致检索到的视频虽然与正确答案非常相似，但实际上却是错误的。这些方法往往无法有效建模多模态与多粒度元素之间的关系，难以区分那些包含相似元素但结构不同的视频。

基于上述认识，我们受到启发，试图在端到端框架中整合多粒度元素提取与关系建模功能。这一核心理念源自人类海马体编码情景记忆的方式。当外部感知信息进入大脑时，新皮层的不同区域会以相应的模态和粒度处理信息[13]。这些处理后的信号随后汇聚到海马体中，形成对该特定事件的连贯神经轨迹[14]、[15]。更重要的是，海马体具备模式分离的功能[16]，也就是说，即使两个情景记忆的语义成分极为相似，只要在结构上存在细微差异，海马体也能将其正确区分开来。因此，基于对人类情景记忆系统功能的借鉴，我们提出了Brain-TVR——一种受大脑启发的文本-视频检索框架，它采用了类似人类记忆处理组织的功能架构。需要强调的是，我们的模型并非对大脑的精确生物模拟，而是一种利用海马体情景记忆系统成熟原理的计算框架，旨在解决跨模态检索中的关键难题。

具体而言，我们提出的Brain-TVR由四个模块组成：内容路径、前海马体、上下文路径以及后海马体，每个模块都在不同的粒度层面对信息进行编码。首先，内容路径负责捕获中等粒度的语义单元表征；其次，前海马体将这些语义单元聚合为粗粒度的事件概要表征；第三，上下文路径则负责编码细粒度的标记表征；最后，上述三种输出都会被投影到后海马体中，形成一个统一的表征空间。为了明确建模这些多尺度特征之间的层次关系，我们在庞加莱球面上运用双曲图卷积网络，并引入保持层次结构的损失函数，以强化结构稳定性，从而显著提升检索精度。如图1右侧所示，面对复杂查询时，我们的方法不仅能捕捉多模态多粒度元素，还能在结构化的嵌入空间中对其进行层次化整合。

在Brain-TVR经过充分训练后，受海马体情景记忆回忆过程的启发，我们在推理阶段采用了两阶段检索策略。在第一阶段，内容路径和前海马体被激活，以快速进行粗略排序，缩小候选范围；在第二阶段，所有模块都被激活，进行更精细的重新排序，进一步提升检索精度。实验结果表明，这种两阶段策略不仅提高了检索效率，还增强了模型的泛化能力。在五个主流基准数据集（MSR-VTT-1KA、MSR-VTT-3K、VATEX、ActivityNet和DiDeMo）上的大量实验验证了Brain-TVR在检索性能和计算效率方面的优势。此外，我们还系统分析了两阶段检索策略中不同候选集规模的影响，证明Brain-TVR确实能够在降低推理成本的同时保持高精度。组合式硬负样本评估特别证实，我们的模型能够有效区分那些语义元素相同但结构不同的样本。

总体而言，我们提出的Brain-TVR的主要贡献如下：
(1) 受大脑启发的多粒度结构感知框架：我们提出了一种新型文本-视频检索框架Brain-TVR，它不仅能捕捉多粒度的文本和视频元素，还能将它们整合到统一的层次化嵌入空间中。此外，通过模仿情景记忆的回忆过程，我们的两阶段检索策略不仅提升了检索效率，还进一步增强了模型的泛化能力。
(2) 基于双曲图卷积网络的层次结构建模：为了在统一空间内明确建模不同粒度之间的关联，我们在庞加莱球面上运用双曲图卷积网络。同时，我们还设计了一组保持层次结构的损失函数，以确保结构稳定性，进而提升检索精度。
(3) 多种基准数据集上的全面验证：在多个基准数据集上的综合实验表明，Brain-TVR的性能始终优于现有的最先进方法。详细的消融实验明确了各个核心组件的作用，清楚地表明，带有保持层次结构损失的双曲图卷积网络是提升性能的关键因素，这一效果独立于多粒度对齐和两阶段检索带来的收益，而组合式硬负样本评估则进一步验证了Brain-TVR的泛化能力和结构感知能力。

本文的其余部分安排如下：第2节分析了与人类情景记忆路径以及基于不同原理的文本-视频检索相关的研究工作；第3节详细介绍了我们提出的Brain-TVR模型，第4节则对实验结果进行了分析，并在文末总结了主要发现。

片段摘录
人类大脑中的情景记忆路径及其启示
在人类大脑中，感官输入首先会在不同的新皮层区域进行处理。这些多模态且多粒度的信息流随后汇聚到海马体中，在那里被整合成一个统一的神经轨迹，代表一个独特的情景记忆[4]。更重要的是，海马体具备模式分离功能[16]，能够区分高度相似的记忆。一方面，海马体中的神经元数量比其直接上游的皮层输入更多，这“扩展了”……

我们方法的概述
我们正式定义了文本-视频检索任务。设{(Ti,Vi)}i=1N为一个包含N对文本-视频的数据集，文本和视频帧的最大长度分别为Lt和Lf。我们计算一个N×N的相似度矩阵S，其中Sij=sim?(Ti,Vj)，sim?(?)为相似度函数。我们的目标是在文本到视频检索（T2V）以及视频到文本检索（V2T）中，确保对于每一个i，匹配对(Ti,Vi)的得分都高于任何非匹配对(Ti,Vj)(j≠i)。在推理阶段，我们对数据进行排序……

数据集与评价指标
数据集：为了评估Brain-TVR框架的有效性，我们在五个广泛使用的文本-视频检索基准数据集上进行了实验。MSR-VTT-1KA[48]是基于MSR-VTT数据集划分的一个常用数据集，包含10,000个网络视频片段（总时长41.2小时）以及200,000对片段-句子对（每段视频有20条字幕）。1KA测试集包含1,000对片段-句子对，采用JSFusion划分协议[30]。此外，MSR-VTT也是公认认可度最高的数据集之一……

结论与未来方向
在这项工作中，我们提出了Brain-TVR，这是一种受人类大脑情景记忆系统启发的新型文本-视频检索框架。该模型利用多个编码器从文本和视频中提取多尺度组件，将它们按层次结构排列，并嵌入到庞加莱球面中。通过两阶段检索策略，进一步提升了效率与鲁棒性。在MSR-VTT、VATEX、ActivityNet和DiDeMo上的大量测试表明，Brain-TVR的表现十分优异……

CRediT作者贡献声明
刘一辰：概念构思。荣欢：方法论、研究实施、形式化分析。卢振宇：资金获取。李志飞：数据整理。刘灿阳：可视化处理。刘恒：模型验证。

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金（重点项目）（编号U20B2061）、中国国家自然科学基金（编号62102187）、中国国家自然科学基金（编号61906110）、中国国家自然科学基金（编号62162031）、江苏省自然科学基金（基础研究计划）（编号BK20210639）以及江苏省研究生创新项目（编号SJCX23_0406）的支持。