通过语言和图文问答任务进行时序模态细化的时间片段定位

《Neurocomputing》：Temporal modality refinement for temporal moment localization via language and video-image question answering tasks

　　

摘要
本文聚焦于一项新颖任务，即引入一个统一的平台，能够在单一架构中解决多种多模态视觉-语言研究方向。具体而言，基于自然语言的视频时间片段定位旨在识别与自然语言查询相对应的时序片段，而视频问答与图像问答则分别旨在根据视频和图像内容预测正确答案。提出的框架无需同时输入所有模态，而是支持在单一架构下输入视频、图像和语言。在推理过程中，统一任务路由模块（UTRM）仅动态激活目标任务所需模态，其中时间片段定位（TML）和视频问答（Video-QA）使用视频和语言输入，而图像问答（Image-QA）使用图像和语言输入。据我们所知，我们首次提出了用于时序模态精炼（CMR）的统一框架，为时间片段定位、视频问答和图像问答提供一个单一平台，同时有效减少模态纠缠并促进模态协作。我们的CMR包含一个由若干层组成的时序金字塔（TP）模块和一个独特的基于Transformer的架构，能够通过共享表示空间处理异构视觉模态。为进一步加强统一设计，我们引入了轻量级的统一任务路由模块（UTRM），自动识别活跃的模态配置并将视频、图像和语言特征路由至相应处理路径，从而在单一架构中实现任务自适应的多模态推理。该路由机制在保持有效时序、空间和语言交互的同时，增强了跨任务特征一致性。在多个基准数据集上的大量实验表明，所提出的CMR框架在多种多模态视觉-语言任务中取得了具有竞争力甚至更优的性能。

引言
现代计算机视觉系统必须越来越多地在多个相互关联的模态上运行——视频、图像和自然语言——因为现实世界的理解很少发生在单一模态中。诸如基于自然语言的视频时间片段定位（TML）[64], [75], [102], [105], [109]、视频问答（Video-QA）[33]以及图像问答（Image-QA）[38], [50]等任务，均需要对这些模态进行推理。然而，尽管这些任务在概念上相近，它们通常被孤立地研究和处理。这种分离导致了碎片化的架构、重复的训练流程以及不一致的表示，从而限制了泛化能力和跨任务可迁移性。

更深入的观察表明，这三项任务共享共同的结构模式。(1) 它们都需要将视觉内容与语言语义进行对齐。(2) 它们都涉及基于视觉证据选择某个时刻或答案。(3) 它们都可以表达为一般视觉-语言定位问题的专门实例。例如，TML的目标是在未修剪的视频中定位与自然语言查询相对应的时序片段（“一个男孩用遥控器打电视”）。Video-QA要求根据视频内容回答问题（“有几只熊在玩耍？”），而Image-QA旨在识别静态图像中的语义细节（“地板上掉了什么？”），答案为（披萨），如图1(c)所示。在这些任务中，输入始终包括视觉来源（视频或图像）以及文本描述或问题，而输出则是定位的答案或时序时刻。

尽管存在这些相似之处，由于几个根本性挑战，现有研究仍将每项任务独立对待。首先，视频表现出显著的类内变化、外观模糊性和复杂运动模式，需要同时进行空间和时序建模，而传统统一框架无法处理。其次，多模态系统受模态纠缠困扰，其中一个模态的表示会干扰另一个模态，导致多任务共存时性能下降。第三，不同任务需要不同的推理路径——TML需要时序推理，Image-QA需要空间定位，Video-QA需要混合推理——使得在不引入有害跨任务干扰的情况下设计单一架构变得困难。第四，计算约束通常迫使当前模型限制模态交互，从而阻碍了更深入的跨模态学习。

这些局限性暴露了一个关键空白：缺乏一个能够在单一自适应架构中处理多种模态组合（视频-语言、图像-语言）和多种任务的统一科学框架。弥合这一空白不仅仅是工程目标；它对高效、可扩展且符合认知规律的多模态系统是基础性的。受人脑层次记忆理论（如Atkinson–Shiffrin模型和Cowan的嵌入过程理论）的启发，这些理论强调结构化的时序抽象和选择性模态集成，我们设计了一个反映类似时序处理、选择性路由和语义对齐原则的统一架构。

我们提出了一种新颖的统一框架，称为时序模态精炼（CMR），在单一模型中联合解决时间片段定位、视频问答和图像问答。CMR围绕三个核心科学原则构建：(1) 层次化时序抽象，通过时序金字塔模块（TPM）实现，捕捉由细到粗的视频动态；(2) 模态解纠缠和可控的跨模态交互，通过多功能时空映射模块（STM）和广泛应用层模块（WALM）实现；(3) 任务自适应路由，通过我们新提出的统一任务路由模块（UTRM）实现，根据输入任务配置选择性地激活空间、时序或语言路径。

与传统硬编码任务特定路径的多模态系统不同，UTRM自动检测输入的模态组成，并动态地将特征表示路由至相应的精炼模块。该机制减少了模态混淆，确保了计算效率，并极大地提高了跨异构多模态任务的泛化能力。CMR的新颖之处不在于引入全新的Transformer算子，而在于建立了一个统一的任务自适应多模态推理框架，使时序定位和视觉问答任务能够在单一路由架构中共存。

本工作的贡献总结如下：
- 我们提出了一个统一的多模态平台，能够使用单一架构解决TML、Video-QA和Image-QA，消除了现有研究中观察到的碎片化现象。
- 我们引入了层次化时序金字塔模块（TPM），捕捉细粒度时序结构，并实现对长未修剪视频的一致表示。
- 我们通过时空映射模块（STM）和广泛应用层模块（WALM）提出了模态解纠缠和协作机制，在避免模态干扰的同时实现深度跨模态推理。
- 我们开发了新颖的统一任务路由模块（UTRM），自动检测模态配置（仅视频、仅图像、视频+语言、图像+语言）并激活相应推理路径，显著提高了任务适应性和可扩展性。

我们强调，本工作的贡献不在于发明孤立的注意力或Transformer原语本身，而在于开发了一个统一的路由多模态框架，系统地将时序抽象、模态解纠缠和任务自适应推理整合进单一优化架构中。与先前的任务特定方法不同，CMR使异构多模态任务能够共享表示，同时选择性地激活适当的推理路径。

在九个基准数据集——包括Charades-STA、TACoS、ActivityNet、TGIF-QA、MSVD-QA和MSRVTT-QA——上的全面实验表明，与现有最先进方法相比，CMR取得了具有竞争力的性能。结果在多个数据集上确立了新的性能水平，并为统一多模态理解框架的可行性和优势提供了强有力的证据。

章节片段

文献综述
通过自然语言的视频时间片段定位，使用查询来指定所需片段的起止边界[18]。本文讨论了访问视频-文本对而非视频时序范围的问题，由于学习数据标注不足导致性能下降[21]。作者通过循环网络将两种模态结合，然后将该联合表示用于多个起止帧预测网络。

概述
在未修剪视频 中，基于自然语言的视频时间片段定位的目标是识别与自然语言查询 相对应的时序时刻 。视频 由一系列帧组成，而 由一系列词组成。我们记 和 为所定位时序片段的起始和结束时间戳。类似地，给定视频 和问题 ，视频问答（Video-QA）的目标是基于视觉内容预测答案 。

统一流程概述
整个CMR工作流可简明地总结如下：
该表达式捕捉了CMR架构完整的层次化、路由式、认知启发的多模态推理流程。

设置
如前所述，我们的目标是使用自然语言确定与查询相对应的具有起始和结束边界的时间片段。本部分涵盖数据集、实现、评估指标以及我们的方法与几个基准的比较。我们还全面考察了视频问答和图像问答。我们还与最先进的方法进行了比较，结果无可辩驳地表明我们的方法提供了

消融实验
为定量评估每个所提组件的贡献，我们通过逐个移除一个模块同时保持其余架构不变进行全面的消融实验。目标是分析每个模块在提出的CMR框架中跨时间片段定位、视频问答和图像问答任务的个体重要性。所评估的变体总结如下：
- CMR w/o TPM：时序金字塔模块（TPM）

结论
本文提出了CMR，一个为时间片段定位（TML）、视频问答（Video-QA）和图像问答（Image-QA）设计的统一多模态时空推理框架。所提出的框架集成了多个互补组件，包括用于层次化时序表示学习的时序金字塔模块、用于自适应模态选择的统一任务路由模块（UTRM）、用于上下文

CRediT作者贡献声明
Hafiza Sadia Nawaz：撰写——审阅与编辑，撰写——原稿，可视化，方法，形式分析，数据整理，概念构思。Haibing Yin：监督。Huaizhong Li：监督。

利益冲突声明
作者声明不存在已知的可能影响本文报告的工作的竞争性经济利益或个人关系。

致谢
本工作受项目编号QDZK112025014、ZXZK072026007支持。本工作还受省自然科学基金项目No. ZCLQN26F0208支持。

Hafiza Sadia Nawaz于2018年在中国海洋大学完成博士学位，并于2024年在中国深圳大学完成博士后研究。目前她任教于中国丽水学院，担任研究员和讲师。她的研究兴趣包括视频理解、基于自然语言的视频时间片段定位、视频问答、活动检测以及使用计算机视觉技术的.sign language解决方案。

Hafiza Sadia Nawaz|Haibing Yin|Huaizhong Li
丽水学院人工智能学院，中国丽水