OpenVid++：一个用于文本到视频生成的大规模高质量数据集

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：OpenVid++ : A Large-scale High-quality Dataset for Text-to-video Generation

　　

摘要

文本到视频（T2V）生成技术最近受到了广泛关注，并取得了显著进展。然而，T2V生成仍面临三个重要挑战：1）缺乏精确的开源高质量数据集。以往流行的视频数据集过于注重数据集的规模，导致其中包含了许多低质量视频和不准确的字幕；2）难以生成具有复杂精细动作的视频。其中一个关键原因是T2V模型未曾在包含丰富动作的高质量视频数据集上进行训练；此外，现有的视频字幕方法将视频视为静态图像的集合，缺乏时间关联性，无法有效建模动态内容，从而导致动作描述不够充分和不精确；3）未能充分利用文本信息。最近的T2V方法主要依赖于视觉 transformer，并使用简单的交叉注意力模块进行视频生成，但这种方法未能充分挖掘文本tokens的语义信息。在本文中，我们推出了\(\mathtt {OpenVid ++}\)，这是一个包含精确字幕的高质量数据集。该开放场景数据集包含超过100万组文本-视频对，为T2V生成研究提供了有力支持。我们进一步从\(\texttt{OpenVidHD}-\mathtt {0.4M}\)数据集，旨在推动高清视频生成技术的发展。同时，我们还创建了\(\mathtt {OpenVid ++}\)相较于以往数据集的优越性，以及MVDiT的有效性。相关数据集、模型和代码将会公开发布。

文本到视频（T2V）生成技术最近受到了广泛关注，并取得了显著进展。然而，T2V生成仍面临三个重要挑战：1）缺乏精确的开源高质量数据集。以往流行的视频数据集过于注重数据集的规模，导致其中包含了许多低质量视频和不准确的字幕；2）难以生成具有复杂精细动作的视频。其中一个关键原因是T2V模型未曾在包含丰富动作的高质量视频数据集上进行训练；此外，现有的视频字幕方法将视频视为静态图像的集合，缺乏时间关联性，无法有效建模动态内容，从而导致动作描述不够充分和不精确；3）未能充分利用文本信息。最近的T2V方法主要依赖于视觉 transformer，并使用简单的交叉注意力模块进行视频生成，但这种方法未能充分挖掘文本tokens的语义信息。在本文中，我们推出了\(\mathtt {OpenVid ++}\)中精选了43.3万个1080p视频，构建了\(\texttt{OpenVidDy}-\texttt{60K}\)，这是一个包含6万个1080p高动态视频片段的集合，用于辅助生成具有复杂精细动作的视频。为了更好地描述这些视频中的时空动态特性，我们提出了一种基于动作感知的帧采样（MAFS）策略来生成动态感知的字幕。通过根据动作幅度适应性地采样帧，MAFS能够更有效地利用视频帧，提升高动态视频的字幕质量。此外，我们提出了一个新颖的多模态视频扩散Transformer（MVDiT），该模型结合了视觉tokens的结构信息和文本tokens的语义信息。大量实验和消融研究证明了

相关新闻