MV-Crafter：一种用于音乐引导视频生成的智能系统

《ACM Transactions on Interactive Intelligent Systems》：MV-Crafter: An Intelligent System for Music-Guided Video Generation

音乐视频自动生成系统MV-Crafter通过脚本生成、视频生成与动态同步模块解决输入复杂和输出质量差问题，结合大语言模型和动态节拍匹配算法实现精准音乐视频同步，并设计用户友好界面提升创作效率。

　　

摘要

音乐视频作为一种常见的多媒体娱乐形式，为观众提供了引人入胜的视听体验，在歌手和粉丝中获得了极大的流行度。创作者可以通过视觉元素自然地表达他们对音乐的理解。然而，音乐视频的创作过程需要掌握剧本设计、视频拍摄以及音乐与视频同步等方面的技能，这对非专业人士来说是一个重大挑战。以往的研究已经设计了自动音乐视频生成框架，但这些框架存在输入复杂性和输出质量较差的问题。为了解决这些问题，我们提出了MV-Crafter系统，该系统能够生成具有同步音乐节奏和风格的高质量音乐视频。我们的方法包括三个技术模块：剧本生成模块、视频生成模块和音乐与视频同步模块。MV-Crafter利用大型语言模型来生成考虑音乐语义的剧本。为了解决短视频片段与不同长度音乐同步的问题，我们提出了一种动态节拍匹配算法和基于视觉包络的变形方法，以确保音乐与视频的精确且单调的同步。此外，我们还设计了一个用户友好的界面，通过直观的编辑功能简化了创作过程。大量实验表明，MV-Crafter为提高生成音乐视频的质量提供了有效的解决方案。