ETR：基于事件中心的时间推理方法，用于带条件的问题解答（适用于视频问题） 潘凌敏（Lingmin Pan）、 高子怡（Ziyi Gao）、 朱月明（Yueming Zhu）、 陈福臣（Fuchen Chen）、 张成远（Chengyuan Zhang）、 尹丹（Dan Yin）、 蔡勇（Yong Cai）、 谭思桥（Siqiao Tan） 以及 朱磊（Lei Zhu）

《Mathematics》：ETR: Event-Centric Temporal Reasoning for Question-Conditioned Video Question Answering Lingmin Pan, Ziyi Gao, Yueming Zhu, Fuchen Chen, Chengyuan Zhang, Dan Yin, Yong Cai, Siqiao Tan and Lei Zhu

　　摘要：视频问答（VideoQA）需要对动态视频内容有深入的理解，整合空间推理、时间依赖性和语言理解能力。现有方法在处理长视频或语义复杂视频时常常遇到困难，这主要是由于缺乏基于问题的关键帧权重调整机制，以及缺乏与问题对应的多模态描述生成能力。为了解决这些问题，我们提出了ETR（以事件为中心的时间推理，Event-centric Temporal Reasoning）这一适应性视频QA框架。ETR引入了三个关键机制：（i）一个分层权重调整选择器，用于识别需要以事件为中心的时间推理的问题；（ii）一个T-Route系统，它将视频分割成语义连贯的事件，并根据问题的意图动态调整关键帧的权重；（iii）一种基于问题的提示策略，该策略专注于关键对象，以生成与问题语义对齐的文本提示。这种分层和适应性的设计有效平衡了视觉信息和文本信息，增强了时间推理能力，并提高了以对象为中心的对齐精度。在两个数据集上的实验表明，ETR在精细的问题感知视频QA任务中表现出了竞争优势。

1. 引言
视频问答（VideoQA）[1,2,3]是人工智能[4,5,6]中的一项基本多模态任务，它结合了计算机视觉[7,8,9,10]、自然语言理解和时间推理，从动态视频内容中生成准确的文本答案。与基于图像的视觉问答（VQA）[11,12]不同，后者处理的是静态视觉输入，VideoQA需要同时建模空间语义（如对象、场景和交互）和时间动态（如动作演变、事件进展和因果关系）。捕捉长形式的时间依赖性和不断变化的视觉模式的需求使得VideoQA在理解复杂现实世界场景[14,15,16]时具有特别挑战性，同时也使其与需要精细时空推理的实际应用密切相关。

越来越多的研究[17,18,19]不仅仅依赖于越来越强大的模型架构，而是致力于提升时间推理能力和改进多模态融合机制，以推进VideoQA的发展。尽管如此，现有方法仍面临一些关键限制：它们难以准确捕捉微妙和连续的时间动态，缺乏有效的机制来抑制冗余或无关的视觉信息，并且在处理不同类型的视频和问题背景时表现出有限的泛化能力。这些挑战在长形式的VideoQA中尤为突出，因为复杂的时空结构显著增加了推理难度，并引入了严重的信息冗余。

这种冗余主要表现为两种形式：视觉过载[20]，由与问题语义关联较弱的大量采样帧序列引起；以及文本过载，由包含大量冗余或边缘相关信息的生成描述引起。为了减轻视觉冗余，先前的工作使用了预训练的大模型[21]或事件级建模策略[4,22]来分割视频成语义连贯的单元[23,24]。然而，无论是从帧级别还是事件级别来看，大多数现有方法对所有选定的帧赋予了相似的重要性，这使得在推理过程中难以反映真实的贡献。如图1所示，即使正确识别了关键帧并生成了语义相关的描述，几乎均匀的权重分配也阻止了冗余或相关性较弱的信息的抑制，从而最终影响了最终的预测准确性。此外，使用大型语言模型（LLMs）[25,26,27]进行的语言增强虽然引入了更丰富的语义，但也加剧了文本过载。尽管最近的研究[28,29,30]试图通过基于问题的字幕生成或多粒度检索来缓解这一问题，但在冗余约束下有效平衡视觉和文本信息仍然是一个开放且 fundamental 的挑战。

图1. 一个示例，展示了不同的权重分配方案。我们仅展示了视频的部分帧，并且这些帧并不是严格连续的，以展示视频的大致发展过程。红色框标出了模型关注的重点帧。

动机
上述未解决的挑战可以归结为两个密切相关的问题，这些问题共同激发了本研究。首先，现有的VideoQA方法[21]通常对整个视频进行视觉定位，并对所有选定的关键帧赋予几乎均匀的重要性，而没有考虑问题的具体意图。这种对问题不敏感的权重分配不可避免地引入了大量不相关的视觉信息，从而降低了推理效率和预测准确性。然而，在实践中，视觉帧的相关性和重要性会根据问题而显著变化，这凸显了需要适应性机制的必要性，这些机制能够以问题驱动的方式选择性地调整视觉重要性。这一观察进一步表明，需要识别出需要以事件为中心的时间推理的问题，并在事件的时间进展过程中进行适应性推理。尽管之前的研究[4,22,31]已经探索了事件分割以定位与问题相关的时刻，但它们主要停留在事件定位层面，未能在推理过程中明确建模事件的内部时间演变和相对重要性。其次，为了弥补有限的视觉感知，许多最近的框架结合了由语言模型生成的辅助文本描述；然而，这些描述的有效性不仅取决于语义相关性，还取决于所传达信息的粒度。虽然基于问题的字幕生成或多粒度检索方法[28]引入了一定的灵活性，但大多数现有方法仍然采用一刀切的生成策略，这阻碍了针对特定对象（例如，“穿黄色衣服的男孩在做什么？”）的精细问题的对齐。这种不匹配削弱了文本线索与视觉语义之间的对齐，最终限制了推理性能。综上所述，当前VideoQA框架存在一个根本性的缺陷：缺乏能够同时控制跨模态的视觉重要性估计和文本粒度选择性的、基于问题的建模。基于这一观察，我们提出以下研究问题：
RQ1：问题意图如何使得精细的事件级推理成为必要？
RQ2：如何通过对事件时间演变的推理来有效建模关键帧的相对重要性？
RQ3：如何生成以对象为中心的文本描述，以实现视觉内容与语义线索之间的精确对齐？

2. 方法
为了解决上述研究问题，我们提出了ETR——一个以事件为中心的时间推理框架，旨在实现精确的时间推理和以对象为中心的视觉-语义对齐。在高层次上，ETR采用分层和基于问题的设计，以选择性地调节时间和语义维度之间的信息流。为了解决RQ1，ETR引入了一个分层权重调整选择器，该选择器使用一系列指标（如问题内容、关键对象的存在以及帧与问题的语义相关性）来表征问题意图。基于这种表征，每个问题会被适应性路由到多个推理路线中的一个，以确保需要以事件为中心的时间推理的问题能够被准确识别。对于RQ2，ETR引入了一种新的基于问题的精细时间推理路线，包括一个两阶段聚类策略（T-Route），通过该策略，视频被适应性分割成事件，并与问题语义对齐，以识别最相关的关键事件。这些事件进一步沿着它们的时间进展被分解，同时动态调整关键帧的重要性，以问题为导向，同时考虑视频动态，从而实现更高阶的时间推理。为了解决RQ3，ETR提出了一种基于问题的提示策略，该策略明确关注关键对象。通过将问题中提取的对象线索纳入提示构建过程，ETR指导大型语言模型生成与问题语义更精确对齐的以对象为中心的描述。通过这种统一和适应性的设计，ETR实现了以事件为中心的时间推理和以对象为中心的语义基础，为VideoQA提供了一个高效且语义稳健的解决方案。

3. 贡献
我们的贡献总结如下：
**一般性进展**：我们引入了ETR，这是一种新颖的VideoQA方法，它分层且适应性地提高了视觉-语言对齐。
**创新方法**：我们提出了一个分层权重调整模块以及一个基于问题的精细事件理解路线，使得可以根据问题意图选择性地对关键帧进行加权。此外，我们引入了一种新的以对象为中心的描述提示机制，生成以问题中的关键对象为中心的描述。这些组件共同使得VideoQA模型能够为每个给定问题适应性利用最相关的视觉和文本表示。
**全面实验**：我们在两个常用数据集上进行了广泛的性能评估和分析，证明我们的ETR方法具有竞争性的性能。

4. 组织结构
本文的其余部分组织如下。第2节回顾了相关工作。第3节介绍了问题公式化和ETR方法的详细信息。第4节报告了实验结果，第5节讨论了局限性，第6节得出了结论。根据输入的视频?? = {????}????=1和问题??，模型首先基于关键帧与问题的相关性选择K个关键帧：{?????}????=1=??????-????({????}????=1,????(????,??))，（2）其中???(????,??)是在第3.3.2节定义的帧-问题相关性评分函数。然后，层次选择器?根据问题类型??、关键对象{????}????=1的存在以及相关性评分{????}????=1将每个问题路由到相应的推理路径：??=??(??,{????},{????})∈{??-??????????,??-??????????,??-??????????}，（3）其中??表示选定的推理路径。对于被路由到T-Route的问题，视频通过DBSCAN聚类进一步分割成事件：{????}????=1=???????????????({????}????=1），（4）并通过最大化语义对齐选择最相关的问题事件?? ???：?????=arg?max????????????(????,??），（5）其中????是由第3.4.2节中的方程（13）生成的事件????的文本描述。然后应用细粒度时间聚类来获得 refined 的帧表示：{??+??}????=1=????-???????????(?????,??=3）。（6）对于所有路径，根据第3.4.2节中详细说明的提示策略生成以问题为中心的对象描述{????}????=1。最后，将多模态表示融合并输入到答案预测器??中以产生最终答案：^??=???({??+??}????=1?{????}????=1,???,???），（7）其中?表示特征连接。这种层次化的公式通过将条件概率???(?? ∣??,??)分解为一系列可解释的子过程来具体实现方程（1）：关键帧选择（方程（2））、自适应路由（方程（3）、事件分割（方程（4）和（5））、细粒度聚类（方程（6）以及多模态融合（方程（7））。每个子过程都有助于以问题适应的方式捕捉粗粒度的事件语义和细粒度的时间动态。3.2 ETR Overview如图2所示，所提出的ETR是一个为视频问答（VideoQA）中的自适应时间推理和以对象为中心的视觉-语言对齐设计的统一框架。它由三个连续模块组成：初始处理模块第3.3节、层次权重调整模块第3.4节和答案模块第3.5节。每个模块都是为了处理视频QA推理流程的不同阶段而专门设计的，同时collectively实现了基于问题意图的事件中心时间推理。图2. ETR框架概述。初始处理模块。给定输入视频??，该模块首先识别前K个关键帧{?????}????=1并估计它们的帧-问题相关性评分{????}????=1。关键帧识别是通过一个跨模态匹配机制来执行的，该机制联合使用Q-Former和一个预训练的LLM来评估每个帧与问题??之间的语义对齐。同时，一个关键对象提取器从问题中识别关键对象，为后续的自适应推理提供以对象为中心的语义线索。层次权重调整模块。基于推断出的问题意图，该模块选择性地执行以事件为中心的时间推理。其核心是一个层次关键帧路由器?，它根据一组复合的语义指标将每个问题路由到三个推理路径中的一个，包括问题类型、关键对象{????}????=1的存在以及帧-问题相关性评分{????}????=1。这种路由机制使ETR能够动态地将计算和语义对齐分配到不同层次的时间粒度。路由过程定义如下：对于需要精细事件理解的问题，需要详细的时间推理。当没有检测到关键对象且帧-问题相关性评分较低，表明没有足够捕获问题特定细节时，输入被路由到T-Route。在这个路径中，关键事件{?????}根据它们的时间进展进一步分析以提取细粒度事件信息。否则，输入被路由到N-Route，在那里直接使用关键帧{??+??}????=1及其相应的描述{????}????=1来回答。对于其他问题，可能需要更广泛的上下文推理。当没有检测到关键对象且帧-问题相关性评分仍然较低时，输入被路由到O-Route以结合额外的上下文信息。否则，它由N-Route处理，后者直接使用选定的关键帧{??+??}????=1和描述{????}????=1来进行答案预测。答案模块。在最后阶段，选定的关键帧{??+??}????=1和以问题为中心的对象描述{????}????=1被输入到基于LLM的答案预测器??中以生成最终答案^??。3.3 初始处理模块初始处理阶段根据问题??识别初步的关键帧，有效降低视觉信息过载的风险。该阶段由三个模块组成：多模态编码器、关键帧选择器和关键对象提取器。3.3.1 多模态编码器作为第一个处理阶段的初始模块，多模态编码器旨在从视觉和文本模态中提取语义丰富的表示。它由两个并行分支组成：一个视觉编码器为每个帧????生成视觉嵌入，以及一个文本编码器生成相应的令牌嵌入????。在我们的框架中，视觉编码器使用预训练的ViT模型来捕获空间视觉语义，而文本编码器使用预训练的Flan-T5-XL模型来编码语言上下文。3.3.2 关键帧选择器为了以问题感知的方式捕获帧级语义，我们引入了一个关键帧选择器，它根据关键帧与输入问题??的语义相关性来识别一组关键帧{?????}????=1。给定输入帧{????}????=1，选择器旨在抑制冗余或弱相关的视觉内容，同时保留对后续推理最有信息量的帧。选择过程分为两个阶段：（i）相关性评分，量化每个帧与问题之间的语义对齐；以及（ii）前K个关键帧选择，检索相关性评分最高的K个帧。相关性评分。对于输入帧集{????}????=1，Q-Former ??Q将一组可学习的查询嵌入??投影到视觉表示??ip中（其中上标“ip”表示初始处理模块），计算如下：{??ip??}????=1=??Q?({????}????=1,??）。（8）这些表示{??ip??}????=1，连同问题??、候选答案集??和定位提示[LP]一起被输入到预训练的Flan-T5-XL模型??5中，以计算帧-问题相关性评分：{????}????=1=??5?({??ip??}????=1,??,??,[LP]。（9）根据[21]，提示[LP]定义为：“帧内的信息是否提供了准确回答给定问题所需的细节？”前K个关键帧选择。使用帧级相关性评分{????}????=1，根据它们的相关性排名选择前K个帧{?????}????=1。然后，选定的帧-评分对{(?????,?????)}????=1被转发到层次权重调整模块进行进一步细化和生成相应的描述。3.3.3 关键对象提取器为了稳健地识别问题中引用的最显著的实体并为后续的视觉注意力引导提供可靠的基础，我们引入了一个关键对象提取器。该模块统一了多种互补的语言线索，以稳定地从不同的句法结构中提取以问题为中心的对象，从而促进可解释的视觉-语言对齐。提取器实现为一个基于spaCy的自然语言处理程序，它分析原始问题?? ={????}????=1并输出一组关键对象{????}????=1。提取流程从问题预处理开始，它移除了答案选项的干扰（例如，A、B和C的描述），将文本转换为小写，并保留问号以保留疑问意图。然后使用依存关系分析和词性标注来分析处理后的问题。为了全面捕获潜在的对象提及，采用多种互补策略来收集候选名词短语，包括主语依存关系（nsubj/nsubjpass）、连系动词后的属性（attr）、与疑问词相关的名词（例如，what、which、who、whose）以及助动词前的名词（例如，do、does、did）。对于每个候选词元，通过合并周围的修饰词（例如形容词、复合词、限定词和所有格标记）来组装完整的名词短语。随后，过滤掉无效的候选项，包括包含停用词（例如，what、which、question、answer）或仅由单个字母答案选项组成的短语。这个过滤过程有效地抑制了可能误导下游视觉注意力和路由决策的虚假或无信息量的实体。最终输出是一个使用连词“and”连接的关键对象排序列表（例如，“man and car”），如果没有检测到有效对象，则输出空字符串。3.4 层次权重调整模块为了实现选择性和以事件为中心的时间推理，我们设计了一个层次权重调整模块，该模块明确适应问题的意图来调整时间和语义的重要性建模。该模块由三个关键组件组成：层次权重调整选择器、层次处理器和多模态融合模块。3.4.1 层次权重调整选择器为了选择性地实现以事件为中心的时间推理，我们设计了一个层次权重调整选择器，它系统地将问题路由到不同的处理路径并应用相应的视觉定位校准策略。通过明确将高级问题意图识别与低级置信度感知的视觉评估解耦，选择器促进了自适应和问题驱动的语义建模。选择器分两个连续阶段操作。第一阶段称为问题类型选择器，它执行粗粒度分析，以区分需要详细信息和精细事件推理的问题和不需要的问题。基于这种分类，第二阶段采用一个复合选择器，综合考虑关键对象的存在和帧-问题相关性评分来确定最合适的管理路径。具体来说，对于被识别为需要详细信息的问题，复合选择器根据信心和对象线索将它们进一步分为两个分支：一个分支对应于（i）至少存在一个相关性低的帧且布尔标志non_key_object为True的情况（即，来自关键对象提取器的对象集为空），或者（ii）即使布尔标志non_key_object为False，所有帧的相关性都很低；另一个分支包括其余的问题。这个决策过程被形式化为以下路由函数：???(·)=?{ {?{ {?T-Route,(?????,????
O-Route：恢复弱相关片段的缺失上下文。在长视频中，许多帧与问题的直接相关性较低，但仍然提供了对连贯推理至关重要的上下文信息。完全丢弃这些帧可能会导致模型错过重要的背景线索，而将它们与高度相关的帧平等对待则会引入噪声。O-Route旨在通过增加事件级别的上下文语义来平衡这两者。在O-Route中，整个视频{????}????=1使用DBSCAN聚类被分割成事件{????}????=1。然后，从每个事件簇的中心选择代表性的关键帧{??+??}????=1。然后按照T-Route第一阶段的相同策略生成事件级别的文本描述。通过将事件级别的描述{????}????=1整合到帧表示中，O-Route在保持视频时间连贯性的同时恢复了缺失的语义信息。

N-Route：保留高置信度的视觉证据。一些问题可以通过少量已经与问题语义高度对齐的关键帧来准确回答。对这些帧应用复杂的时间建模是不必要的，甚至可能会扭曲它们的语义内容。因此，N-Route提供了一种简化了的推理路径，既能保留高置信度的视觉证据，又不会引入过多的处理开销。具体来说，N-Route直接操作与问题相关的关键帧{??+??}????=1，并像T-Route的第二阶段那样生成详细的帧级别描述{????}????=1，而无需额外的事件建模。这种设计在提高计算效率的同时确保了语义的准确性。

多模态融合。最后，所有路径选择的关键帧及其相应的由问题指导的文本描述通过统一的多模态融合模块集成：{????={??+??}????=1?{????}????=1}，其中?表示拼接，m表示多模态融合。所得的视觉-语言表示用于最终答案预测。

3.5. 回答模块
回答模块作为最终预测模块，旨在通过利用融合的视觉表示及其相关描述来生成可靠的答案。为此，我们使用一个冻结的Flan-T5-XL模型作为答案预测器??，它接收融合表示{????}、问题??、候选答案??和特定任务的QA提示[QP]作为输入。所得到的预测答案表示为：^??=???(????,??,??,[QP])，其中QA提示[QP]定义为：“根据帧中的信息，从选项中选择正确答案。”

4. 实验
我们通过将所提出的框架与两个标准基准数据集上的最先进VideoQA基线进行比较来评估其有效性。第4.1节详细介绍了实验设置，随后在第4.2节、第4.3节和第4.4节进行系统的定量和定性评估。

4.1. 实验设置
数据集
为了全面评估我们方法的有效性和泛化能力，我们在两个广泛使用的VideoQA基准数据集NExT-QA [65]和STAR [66]上进行实验，这两个数据集强调了互补的推理能力。NExT-QA是一个旨在推进VideoQA中时间和因果推理的综合性大规模基准。然而，其数据的专业性对其泛化能力有一定的限制：它包含5440个短视频片段（主要关注具有固定场景设置的日常生活场景）和52,044个人标注的问题-答案对，这些问题-答案对被分为三类推理类型：因果（48%）、时间（29%）和描述（23%）。具体来说，因果问题强调理解动作背后的意图及其结果，时间问题集中在对动作序列和时间依赖性的推理上，而描述性问题主要考察感知定向能力，包括对象识别和计数。该数据集被划分为3870个训练视频、570个验证视频和1000个测试视频。平均每个问题包含11.6个单词，而每个答案由2.6个单词组成。与STAR相比，NExT-QA的视频场景较少多样，其推理类型缺乏对情景逻辑的探索，这使得其模型难以泛化到超出日常简单交互的复杂真实场景。更多详细统计信息总结在表1中。表1。NExT-QA数据集中的问题分布。
STAR致力于情境化VideoQA，旨在通过提供结构化的情境表示和基于逻辑的注释来促进复杂场景下的推理。同样，STAR在数据的专业性上也有限制：该数据集包含22,000个修剪过的视频片段、大约60,000个问题-答案对和240,000个候选答案。尽管其视频场景比NExT-QA更多样化，但大多数片段来自固定类型的现实世界场景（例如，家庭、办公室），缺乏对罕见或特殊场景的覆盖，这限制了在其上训练的模型对非传统情境推理任务的泛化能力。每个问题都附有符号推理程序以及真实答案，这支持了组合推理并增强了可解释性。STAR将推理分为四种类型：交互（捕捉人与对象的关系）、序列（建模时间顺序）、预测（推断即将发生的动作）和可行性（评估动作是否可行）。此外，该数据集还包括111个动作谓词、28个对象类别和24种关系类型。在四种推理任务中的答案一致性得分分别为82.5%、85.3%、80.4%和78.5%，表明了每种推理类型的相关难度水平。与NExT-QA相比，STAR的优势在于情境化和组合推理，但其有限的场景覆盖范围和固定的谓词/关系类型仍然限制了其在跨场景或跨领域VideoQA任务中的泛化能力。

实施细节
所提出的框架基于BLIP-2 [21]视觉-语言架构构建，该架构包含4.1B个参数，并在COCO [67]、CC12M [68]、Visual Genome [69]和SBU [70]收集的129M图像-文本对上进行预训练。对于视觉流，采用了一个具有1.3B个参数的冻结ViT-g/14模型来提取帧级别的视觉表示。语言骨干是一个冻结的Flan-T5-XL模型（4B参数），它被一致地用于帧字幕生成、事件抽象和最终答案预测。用于从问题中提取关键对象的模型是‘en_core_web_sm’。为了确保可重复性，除非另有说明，所有实验都在统一的默认配置下进行。关键帧的数量固定为?? =4，阈值??1为0.2，T-Route中预定义的时间路由权重设置为[0.8, 1.0, 1.2, 1.5]。所有超参数都是根据经验选择的，以便在评估的基准测试中在准确性、鲁棒性和计算效率之间取得适当的平衡。

实验环境
所有算法都是使用PyTorch 2.4.1开发的，并在配置有20个Intel(R) Xeon(R) Platinum 8457C vCPU、48 GB系统内存和两个NVIDIA L20 GPU的计算服务器上执行。

基准方法
我们将我们提出的ETR框架与NExT-QA基准上的27个代表性VideoQA基线进行比较，这些基线根据它们对大型语言模型的依赖性进行分类。非基于LLM的方法
我们包括了9种传统的VideoQA方法——MIST [4]、HiTeA [58]、CFMMC-Align [71]、CBSR [28]、T3T [72]、ITMP [73]、SHG-VQA [74]和MCG [75]。这些方法主要依赖于独立训练的视觉和文本编码器——无论是从头开始构建的还是通过中等规模的预训练获得的——没有结合任何大型语言模型。因此，它们为评估在仅有有限语义先验知识的情况下问题引导的地标和時間推理的有效性提供了强大的基线系统。

基于大型模型的方法
我们将我们的框架与18种最近的方法进行比较，这些方法结合了LLMs或LVLMs进行多模态推理，包括SeViLA [21]、Q-ViD [62]、LangRepo [60]、Mistral [76]、LLoVi [61]、VideoINSTA [31]、Vista-LLaMA [77]、MVU [78]、Video-STaR [80]、InterVideo [81]、AssistGPT [82]、VideoAgent [83]、TOPA [59]、IG-VLM [84]、LLaVA-NeXT-Video+Selector [85]、VGentailment [86]和ProViQ [63]。这些方法涵盖了从完全端到端的大型语言模型到由LVLMs驱动的推理代理的广泛建模范式，从而为比较评估提供了全面而具有挑战性的基准。

评估协议
我们遵循之前VideoQA基准中建立的标准评估协议，以确保公平和一致的比较。具体来说，对于NExT-QA数据集，根据问题类型应用两个互补的指标。对于多项选择题，我们使用准确性作为评估指标，定义为正确预测答案的数量与问题总数的比例。描述性问题，包括二进制或计数格式的问题，使用准确性来评估一致性。对于STAR数据集以及仅包含多项选择题的NExT-QA的验证子集，也统一使用准确性作为评估指标。正式地，准确性计算为：ACC =??correct/??total，其中??correct是正确回答问题的数量，??total是评估问题的总数。这一统一的评估框架确保了不同数据和推理类型之间的可比性。**性能比较**
为了评估我们方法的有效性和泛化能力，我们在NExT-QA和STAR数据集上与基线方法进行了广泛的比较。结果分别在表2和表3中呈现，表明我们的方法在各种架构、不同的模型规模和任务复杂性水平上均持续超越了现有最先进的方法。

**表2. NExT-QA上的定量比较**
ACC@D、ACC@T和ACC@C分别表示描述性、时序性和因果性问题的准确率，以百分比（%）表示。最佳结果用粗体标出，次优结果用下划线标出。

**表3. STAR数据集上的定量比较**
ACC@I、ACC@S、ACC@P和ACC@F分别表示交互性、序列性、预测性和可行性问题的准确率，以百分比（%）表示。最佳结果用粗体标出，次优结果用下划线标出。

**4.2.1. NExT-QA上的定量比较**
表2总结了ETR与23种代表性方法在NExT-QA基准测试上的整体性能比较，其中包括7种不使用大型模型的方法和16种基于大型模型的方法。据报告，ETR的准确率为64.4%，在所有评估的模型中排名第一，同时保持了相对紧凑的模型规模和计算效率。
在非LLM方法类别中，MIST [4]、HiTeA [58]、CFMMC-Align [71]、CBSR [28]、MCG [75]、T3T [72]和ITMP [73]的ACC@All得分在51.3%到63.1%之间，其中HiTeA [58]的表现最为突出。尽管这些方法在视觉-语言融合和推理策略上有所改进，但在处理具有挑战性的视频场景中的复杂时序动态和丰富的跨模态语义时仍存在局限。相比之下，ETR的准确率为64.4%，比表现最好的非LLM方法高出1.3个百分点，显示出更强的鲁棒性和推理能力。

对于基于大型模型的方法，性能因不同的模型规模和推理框架而异：
(i) 轻量级模型（如SeViLA [21]和Q-ViD [62]，配备Flan-T5-4B）的准确率为60.2%–63.6%；
(ii) 中型模型（包括LangRepo [60]、Mistral [76]、LLoVi [61]、Vista-LLaMA [77]、DYTO [87]、LLaVA-NeXT-Video+Selector [85]和VGentailment [86]）的准确率通常在51.1%–63.4%之间；
(iii) 大型系统（如AssistGPT [82]、ViperGPT [79]、VideoAgent [83]和ProViQ [63]，尽管使用了GPT-3.5、GPT-4或LLaVA-13B），其总准确率主要在48.8%到63.8%之间，且无法超越ETR。

总体而言，ETR在所有比较方法中提供了最佳的总准确率表现。其优越性可归因于T-Route模块，该模块有效地过滤和增强了与问题相关的视觉证据，从而加强了视觉-语义对齐，并实现了更可靠的高层次推理，同时比许多基于LLM的方法更加节省参数。

**4.2.2. STAR数据集上的定量比较**
表3展示了STAR数据集上的准确率比较。值得注意的是，传统方法SHG-VQA [74]的底层模型是SlowR50-K400，而其改进版本SHG-VQA*使用的是ResNext101-ImageNet1K。作为代表性的基于符号推理的视频问答模型，SHG-VQA主要依赖于视频-文本对齐和手动设计的推理模块。虽然在较简单的数据集上有效，但这两个版本在包含复杂因果结构和跨时间事件序列的STAR数据集上表现不稳定，准确率仅为38.3%–39.5%，难以维持连贯的推理链。
最近基于大型模型的方法（如InterVideo [81]、Video-STaR [80]、SeViLA [21]、Q-ViD [62]、TOPA [59]和IG-VLM [84]）利用大规模预训练知识来克服传统方法的局限性，但在需要组合或跨时间推理的任务中，这些框架在视觉证据和文本推理之间的对齐仍然不一致。
ETR通过自适应权重调整机制和分层对齐框架解决了这些问题。该框架根据问题中强调的对象动态地为关键帧分配重要性权重，并捕捉多层次的视觉-语言交互，从而促进了与中心主题的对齐。在这种设计下，ETR在STAR数据集上的准确率达到45.2%，比所有传统和基于LLM的基线方法高出6.9个百分点。这些结果表明，问题引导的权重调整和分层视觉-语言对齐对于在复杂的时序和因果背景下推进情境视频理解至关重要。

**4.3. 消融研究和比较研究**
我们首先进行消融研究，以评估表4中每个关键模块的贡献。逐步移除或替换组件以量化它们在解决任务核心挑战方面的影响。为了系统验证ETR在解决研究问题方面的有效性，我们随后进行了三项实验：分层选择器的有效性、T-Route进行以事件为中心的时间推理的能力，以及语义描述与关键问题相关对象的对齐。所有实验都在NExT-QA数据集上进行，结果分别总结在表5、表6、表7、表8、表9、表10和表11中。

**表4. 关键组件的综合效应**
**表5. 分层选择器的影响**
**表6. T-Route的影响**
**表7. k均值聚类中k值的影响**
**表8. ??1值的影响**
**表9. 字幕提示设计的影响**
“GDP”、“GQP”、“QDP”和“QQP”分别表示通用陈述性提示、通用问题提示、问题引导的陈述性提示和问题引导的问题提示。
**表10. 我们的方法与所有T-Route方法的性能比较**
**表11. 不同帧采样设置下的推理时间、FLOPs和GPU内存消耗比较**

**4.3.1. 关键组件的综合效应**
为了研究ETR核心模块的累积和交互效应，我们在NExT-QA数据集上进行了系统性的消融研究（见表4）。研究考察了三个关键模块：分层选择器、T-Route和以对象为中心的提示。从仅具有粗糙关键帧选择的基线模型开始，总体准确率达到了63.63%。加入以对象为中心的提示后，准确率略微提高到63.77%，表明与问题相关对象对齐的文本描述提供了弱监督的语义指导，改善了文本语义和查询意图之间的对齐，同时补充了视觉信息流。进一步整合分层选择器和T-Route后，准确率提高到64.45%。分层选择器能够自适应地识别需要以事件为中心的时间推理的问题，而T-Route根据事件级信息动态调整视觉线索的注意力权重，优化了问题与视频内容之间的对齐。这种机制不仅提高了关键帧选择的精度，还减少了由于视频截断或帧采样导致的时间信息损失，从而更准确地建模了事件内的因果和语义关系。总体而言，完整的ETR配置比基线模型提高了0.82个百分点的准确率。尽管模型规模适中，但这种模块间的协同作用体现了它们的互补性：分层选择器识别需要详细事件理解的问题，T-Route细化了对关键视觉线索的关注，同时补偿了缺失的时间信息，而以对象为中心的提示保持了以查询为中心的语义对齐——特别是对于精细问题非常有效。

**4.3.2. 关键帧选择策略的影响**
表5比较了不同的路由策略，并提供了关于我们分层路由机制最佳性能条件的见解。非策略（对所有问题采用通用方法）的准确率为63.77%。统一使用非T-Route或T-Route处理所有问题时，准确率较低（分别为63.67%和63.11%），这揭示了两个关键发现：
(1) 过度处理会损害简单问题的性能：所有T-Route（63.11%）与非T-Route（63.77%）相比的性能下降表明，对简单描述性问题应用细粒度的时间推理引入了语义噪声而非收益；
(2) 处理不足会损害复杂问题的性能：非T-Route（63.77%）的适度性能表明，虽然它能很好地处理简单问题，但无法捕捉复杂时间问题所需的时间动态。基于这一观察，我们提出的分层选择器能够自适应地识别需要以事件为中心的时间推理的问题，准确率提高到64.45%。这种基于语义的驱动选择通过将每个问题与其最合适的处理路径匹配来实现最佳性能——仅在预期收益超过引入噪声的风险时才使用昂贵的T-Route。相对于单一路由基线，0.68%–1.34%的改进表明，智能路由而非模块复杂性本身才是有效视频问答的关键。

**4.3.3. T-Route的影响**
使用表6，我们分析了T-Route中的注意力权重调整机制对整体问答性能的影响。当使用统一权重时，准确率仅为63.97%。相比之下，我们的方法进行了两轮聚类——首先基于与问题相关的对象，然后基于事件的时间线索——以动态调整关键视觉线索的注意力权重。这使模型能够更有效地促进与问题的相关主体、动作和关键事件的对齐。这些结果表明，T-Route中的动态权重调整机制增强了模型对语义和时间信息的敏感性，提高了事件级推理和跨模态对齐的能力。对于精细或时间复杂的问题的作用尤为明显，明显优于统一加权策略。

**4.3.4. k均值聚类中k值的影响**
表7分析了不同k值对整体模型性能的影响。具体来说，当k = 1时，性能最低，为63.51%。这可能是因为将所有高信心时间步骤视为单一模式会混淆不同的时间结构，无法有效捕捉事件的顺序特征。随着k增加到4，整体性能略微下降到64.25%，与k = 3相比。虽然在一定程度上捕捉到了时间关系，但过度分割可能会引入冗余和噪声，导致性能下降。总体而言，k = 3在表达能力和模型稳定性之间取得了最佳平衡，从而更有效地建模了高信心时间步骤中的底层时间结构。

**4.3.5. ??1值的影响**
表8分析了不同??1值对整体模型性能的影响。??1值作为阈值，用于将关键帧与问题之间的语义相似性较低的样本路由到事件级理解。当??1太小时，许多需要事件级分析的样本直接使用相关性较低的关键词帧进行回答，限制了模型捕捉整体事件结构和时间逻辑的能力，从而降低了准确率。随着??1的增加，性能先提高后下降。当??1过大时，过多的样本被不必要地路由到时间推理；对于那些关键帧已经具有高语义相关性的样本，这种额外处理引入了多余的时间噪声，干扰了模型的判断。为了实证验证我们的阈值选择，我们从数据集中随机抽取了多个视频并分析了帧-问题相关性的分布。在这个随机样本中，我们发现平均有18.23%的帧的相关性评分低于??1 = 0.2，不同视频之间的标准差为4.68%。这一一致的比例（大约五分之一的帧低于阈值）表明阈值在广泛的视频内容中得到了适当的校准。18.23%的比例代表了最佳平衡：它足够高以有意义地影响性能，因为总体上0.8–1.3%的改进正是来自这些受益于更深层次时间分析的帧；同时它又足够低，以便大多数帧（81.77%）可以通过更简单的路径高效处理，保持快速的推理速度。4.68%的中等标准差表明，这种平衡在各种视频类型中都能一致实现，而不是由少数非典型样本决定的。因此，在??1 = 0.2时获得了最佳性能，模型在直接关键帧问答和事件级理解之间达到了最佳平衡。

**4.3.6. 以对象为中心的描述的影响**
表9研究了不同提示设计对生成文本描述的质量及其对VideoQA性能的下游影响。文本描述的有效性高度依赖于提示设计：构建不当的提示可能会产生低质量的输出，不仅无法提高性能，还可能引入语义噪声。具体来说，使用通用问题提示（‘GQP’）的准确率为63.49%，而使用通用陈述性提示（‘GDP’）、陈述性问题引导提示（‘QDP’）或疑问性问题引导提示（‘QQP’）的准确率分别达到了63.63%、64.09%和63.55%。相比之下，那些明确有助于与问题中提到的关键对象对齐的提示能够生成更具针对性和语义一致性的描述，从而显著提高了性能，峰值准确率达到了64.45%。我们假设通用或非以对象为中心的提示往往会产生模糊或不相关的内容，削弱了视觉证据与问题意图之间的语义对齐。这些发现强调了精确和结构化的提示设计对于生成高质量文本描述和支持有效视频推理的重要性。4.3.7. 性能分析表10展示了性能分析结果。我们将我们提出的方法（Ours）与在相同硬件和数据集条件下的所有T-Route方法进行了比较。结果显示，Ours的平均每个视频的推理延迟为1.01秒，比基线的1.26秒快了大约20%。总墙钟时间和总GPU时间均减少了25%。加速的主要来源在于T5生成阶段的优化，其中每次调用的平均时间从基线的1.8至2.4秒减少到了Ours的0.92秒（减少了超过50%），而峰值和平均内存消耗几乎保持不变（24.29 GB/19.2 GB）。如果基线进一步引入了完整的时间序列建模功能，必将导致显著的额外计算开销和延迟增加。相比之下，Ours在其当前设计下实现了推理速度和时间理解能力之间的有效平衡。为了进一步分析所提出方法的计算特性，我们还报告了在不同帧采样设置下的推理成本，如表11所总结的。所有实验都遵循相同的硬件配置和固定帧采样策略，从每个视频中均匀采样固定数量的帧（24/32/48）。在这种设置下，计算成本由采样的帧数决定，而不是原始视频的持续时间。按照常见的GPU性能分析惯例，我们在热身后进行了稳态迭代来消除初始化开销，并确保运行时性能的一致性测量。如表11所示，计算成本与采样的帧数成正比增长。视觉编码的FLOPs从24帧时的37,172.75 GFLOPs增加到32帧时的49,563.66 GFLOPs，再到48帧时的74,345.49 GFLOPs，呈现出严格的线性增长模式。相应地，总推理时间从12.45秒适度增加到13.41秒和15.39秒，峰值GPU内存分别从20.14 GB增加到24.19 GB和32.31 GB。值得注意的是，内存增长比率低于FLOPs的增长率，表明只有依赖于帧的特征表示才会随采样帧数而变化，而模型参数保持不变。在特征后处理阶段，k-means和DBSCAN共同应用于帧级表示，它们的计算复杂度由采样的帧数N决定。具体来说，k-means的时间复杂度为O(N · k · T)，而DBSCAN的空间索引平均复杂度为O(N log N)。由于这两种聚类方法都在低维特征表示上操作，它们的运行时间和内存开销显著低于视觉编码阶段。总体而言，这些结果表明，在固定帧采样策略下，推理时间、FLOPs和内存消耗主要由采样的帧数控制，而不是原始视频的长度。这一特性确保了对长视频输入的稳定和可控的资源使用，并支持所提方法在实际部署场景中的可扩展性。4.4. 定性分析为了进一步证明所提方法的有效性，我们在NExT-QA数据集上展示了几个性能结果，如图3所示。每个案例包括原始的问题-答案对及其候选选项、检测到的关键对象、选定的关键帧（后两个帧被赋予了更高的权重），以及与关键对象对齐的生成描述。通过这些可视化结果，我们可以清楚地观察到，我们的分层问题引导框架能够根据视频内容与问题目标之间的语义对齐，自适应地定位信息丰富的帧和显著对象。通过突出最相关和最具区分性的证据，我们的方法有效地抑制了冗余信息，支持了更可靠和细致的视频推理。图3. 一个示例，展示了不同的加权方案。我们仅展示了视频的部分帧，并且这些帧不是严格连续的，以展示视频的大致发展过程。红色框标出了我们的模型关注的重点帧。5. 局限性尽管我们的方法总体上有效，但在实验分析中仍然存在几个局限性。为了更好地理解长形式视频问答（VideoQA）中模型失败的根本原因，我们研究了代表性的错误案例，并根据观察到的缺陷性质将它们分为两类主要类型。失败类型I——对干扰的鲁棒性不足。模型在构建事件表示时有时难以过滤掉视觉上分散注意力或时间上不相关的内容。如图4的第一个示例所示，尽管模型对视频有一个总体理解——视频显示一个男孩正在拆礼物——但它被中间一个男孩短暂向女孩展示礼物的片段误导了。这种干扰导致模型错误地选择了“与女孩分享”作为答案，而不是正确的动作“拆开它”。这表明模型当前的评估事件片段重要性的机制不足以抑制与任务无关但显著的视觉线索。图4. 一个示例，展示了加权方案的失败案例。我们仅展示了视频的部分帧，并且这些帧不是严格连续的，以展示视频的大致发展过程。红色框标出了我们的模型关注的重点帧。失败类型II——对细粒度视觉细节的敏感性不足。在其他情况下，模型对场景有一个粗略的理解，但未能捕捉到准确推理所需的细粒度视觉信息。图4的第二个示例说明了这一局限性：给定一个乐队表演的视频，模型正确识别了总体动作（例如“演奏乐器”），但忽略了关于动作执行方式（例如，拉弓与拨弦）的关键细节。这表明需要在帧级特征提取和跨模态对齐方面提高感知粒度。ETR的核心设计基于从视频内容中提取的一般语义表示——包括视觉特征和语义相似性计算——而不是依赖于任何特定语言模型的内部参数或架构。这意味着ETR的时间增强功能，如时间分割、关键事件定位和帧重要性加权，是独立于用于描述生成或答案预测的语言模型来执行的。然而，本文中的当前实现和所有报告的结果都是基于Flan-T5-XL的。不同规模或架构的模型在语义表示质量和时间推理能力上可能存在差异，这可能会影响最终的问题回答性能。为了应对这一局限性，并更全面地验证ETR的适用性，我们计划在未来的工作中进行跨不同语言模型的系统实验。具体来说，我们将：（i）在不同规模的语言模型上评估ETR，包括小型模型（例如T5-base）、中型模型（例如Flan-T5-XL）和大型模型（例如LLaMA或GPT变体）；（ii）通过比较“ETR + LLM”框架与单独使用基础LLM的情况来量化ETR为每个模型带来的性能提升；（iii）将实验扩展到具有不同架构和预训练目标的模型，包括为效率设计的轻量级模型和开放域预训练模型。这些实验将有助于确定ETR是否在不同语言模型上一致地提供时间增强，并进一步加强我们框架的泛化能力。6.结论在本文中，我们提出了ETR，这是一个用于视频问答（VideoQA）的框架，旨在实现精确的时间推理和以对象为中心的视觉-语义对齐。ETR的关键创新包括：（i）分层权重调整模块，该模块动态识别需要以事件为中心的时间推理的问题，并利用详细的事件分析和问题意图来调整关键事件线索的权重，从而增强与问题相关的视觉信息并提高推理准确性；（ii）以问题为中心的关键对象描述生成机制，该机制生成与问题语义对齐的以对象为中心的文本描述，确保关键视觉对象得到有效表示，并加强视觉-语义对齐，以进行更准确的答案预测。在两个基准数据集上的实验结果表明，ETR有效地将关键视觉线索与语义上下文整合在一起，显著提高了对复杂动态视频的理解，并为视频问答提供了强大、高效和高精度的性能。