VBench++：一款全面且多功能的视频生成模型基准测试套件

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

视频生成评估基准研究，提出VBench++系统，从16个维度（如主体一致性、运动流畅性、时空关系）量化生成质量，结合人类偏好数据验证评估有效性，支持文生视频和图生视频任务，包含开源框架、评估方法及多模态模型对比分析。

　　

摘要：

视频生成技术取得了显著进展，然而评估这些模型仍然是一个挑战。建立一个全面的视频生成评估基准至关重要，原因有二：1) 现有的评估指标并不能完全反映人类的感知；2) 一个理想的评估系统应该为未来的视频生成技术发展提供有价值的见解。为此，我们推出了VBench++，这是一个综合性的基准测试套件，它将“视频生成质量”分解为具体、分层且相互独立的维度，每个维度都配有针对性的提示和评估方法。VBench++具有以下几个特点：1) 全面性：VBench++涵盖了文本到视频生成中的16个维度（例如，主体身份的一致性、动作流畅性、时间抖动以及空间关系等）。细粒度的评估指标能够揭示各个模型的优缺点。2) 与人类感知的一致性：我们还提供了人类偏好注释数据集，以验证我们的评估指标是否与人类的感知相符。3) 有价值的洞察：我们研究了当前模型在各种评估维度及不同内容类型上的表现，并分析了视频生成模型与图像生成模型之间的差距。4) 多功能性：VBench++旨在评估多种视频生成任务，包括文本到视频和图像到视频的转换。我们引入了一套高质量的图像集，并采用了自适应的宽高比，以确保在不同图像到视频生成场景下进行公平的评估。除了评估技术质量外，VBench++还评估了视频生成模型的可信度，从而提供了对模型性能的更全面了解。5> 完全开源：我们已将VBench++的所有内容（包括提示、图像集、评估方法、生成的视频以及人类偏好注释）全部开源。同时，我们还会持续向VBench++中添加新的视频生成模型...

显示更多