一个涵盖语义、空间和时间类别的多任务视频推理数据集，具有四个难度级别

《Scientific Data》：A multi-task video reasoning dataset across semantic, spatial, and temporal categories with four difficulty levels

　　

摘要

视觉推理是指通过多步推理来解读基于隐式文本查询的视觉输入的能力。由于缺乏相关的基准测试，这仍然是深度学习模型面临的一项挑战。以往在视觉推理方面的研究主要集中在推理分段上，即模型试图根据隐式文本查询对对象进行分割。本文提出了推理视觉任务（RVTs），这是一种统一的框架，它不仅涵盖了传统的视频推理分段任务，还扩展到了多种视觉语言推理问题，因此可以支持多种输出格式，包括边界框、自然语言描述和问答对。然而，现有的基准测试构建方法主要依赖于大型语言模型（LLMs），这些模型在处理视频中的复杂时空关系和多步推理过程时存在不足，因为它们依赖于词汇表示，从而导致基准测试的推理复杂度被人为地限制了。为了解决这一局限性，我们提出了一种新颖的自动化RVT基准测试构建流程，该方法利用数字孪生（DT）表示作为感知与生成隐式文本查询之间的结构化中介。基于这种方法，我们构建了RVTBench，这是一个包含3,896个查询的RVT基准测试集，涵盖了超过120万个词汇，涉及四种类型的RVT（分割、锚定、视频问答和总结），三个推理类别（语义、空间和时间），以及四个难度级别，这些数据来自200个视频序列。此外，我们还提出了RVTagent，这是一个用于RVT的代理框架，它能够在无需针对特定任务进行微调的情况下实现零样本泛化。数据集和代码可在此链接获取：https://doi.org/10.5281/zenodo.19697191 和 https://github.com/yiqings/rvt。