Diff-VF：基于扩散模型的免训练高质量长视频生成

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Diff-VF: Training-free High-quality Long Video Generation via Diffusion Model

　　

摘要AI 摘要

要查看此AI生成的摘要，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

近期，扩散模型在视频生成领域取得了巨大进展。然而，大多数现有的视频扩散模型都是在短视频上训练的，当外推到长视频时性能会下降，难以在保持多样化运动的同时维持长程时间连贯性。为了生成一致、高质量且具有动态感的长视频，我们提出了Diff-VF——一个无需训练、即插即用且模型无关的框架，可将现有的短视频扩散骨干网络转换为长视频生成器，而无需修改或微调基础模型。Diff-VF将三种互补策略相结合：混合噪声初始化（HNI）用于约束全局语义、加权窗口采样（WWS）用于消除窗口间的不连续性、以及时步变化的融合来建立长程依赖关系的时序扩展采样（TES）。我们进一步通过残差跳跃引导将Diff-VF扩展至长视频增强，通过时间步依赖的引导来平衡保真度与真实感。VBench-Long评估结果显示，Diff-VF在时间连贯性与运动多样性之间取得了比基础模型和近期无需训练的长视频生成基线（包括FreeNoise、FreeLong和RIFLEx）更优的平衡，同时保持了具有竞争力的逐帧质量。在两个基础模型上的实验证明了该方法适用于具有不同时空建模策略的视频扩散模型。广泛的消融实验验证了每个组件和超参数的贡献。

AI 摘要

AI生成的摘要（实验性功能）

此摘要由自动化工具生成，未经本文作者撰写或审阅。它旨在辅助发现、帮助读者评估相关性，并协助相邻研究领域的读者理解本文工作。它作为作者提供的摘要的补充，作者提供的摘要仍然是论文的主要摘要。全文仍是权威的正式版本。点击此处了解更多。

点击此处对本摘要的准确性、清晰度和实用性发表评论。您的反馈将有助于改进和未来的重新生成版本。

要查看此AI生成的通俗语言摘要，您需要拥有高级访问权限。