关于视频转音乐生成技术的综合研究

《ACM Computing Surveys》：A Comprehensive Survey on Generative AI for Video-to-Music Generation

　　摘要
视频转音乐生成技术的发展得益于多模态生成模型的兴起。然而，目前尚缺乏对该领域研究进行全面梳理的文献。为填补这一空白，本文对基于深度生成式AI技术的视频转音乐生成方法进行了系统综述，重点分析了三个关键组成部分：条件输入构建、条件机制以及音乐生成框架。我们根据各组件的设计方式对现有方法进行分类，明确了不同策略的作用。在此之前，我们还对视频和音乐两种模态进行了详细分类，说明了不同类别如何影响生成流程中各组件的设计。此外，我们还总结了现有的多模态数据集及评估指标，同时指出了该领域当前面临的挑战。

AI总结（实验性）
本总结由自动化工具生成，并非由文章作者撰写或审核。其目的是帮助读者发现相关内容、评估文章相关性，以及便于相关领域的研究者理解本文内容。它旨在补充作者提供的摘要，后者仍是论文的核心总结。完整文章才是最具权威性的版本。点击此处了解更多信息。点击此处对本总结的准确性、清晰度及实用性发表意见，您的反馈将有助于后续优化及新版本的生成。要查看此AI生成的通俗版总结，需具备高级访问权限。

1 引言
视频转音乐生成是计算机视觉与音频合成领域中快速发展的一个方向，其目标是生成在语义和时间上与视频内容相匹配的音乐。研究表明，动听的音乐能极大吸引观众的注意力，提升他们观看视频的兴趣。传统的视频配乐依赖于专业编辑手动调整视频与音频的同步，或是音乐制作人定制作品，这不仅需要大量资源，且灵活性较差。对于视频创作者而言，寻找合适的免版税背景音乐也是一项繁琐且耗时的任务。此外，尽管诸如Suno等先进的音乐生成工具能够输出高质量音乐，但其文本转音乐功能难以实现与视频内容的精确时间同步，限制了其应用范围。

随着深度学习的进步，尤其是多模态生成模型如多模态扩散模型和多模态大语言模型的出现，跨模态生成领域取得了显著进展，视频转音乐生成也不例外。随着YouTube、TikTok等视频流媒体平台的普及，以及Seedance 2.0、Veo等自动视频生成技术的出现，视频转音乐生成因其在娱乐、内容创作及个性化媒体体验方面的应用潜力而备受关注。例如，自动视频转音乐生成可以简化电影制作者的创作流程，提升用户生成内容的质量，还能为虚拟现实、游戏等交互式平台提供自适应配乐，从而大幅降低制作成本。由于现有高质量音乐资源丰富，一些视频音乐检索方法也能够自动为视频匹配音乐，但这些方法可能无法与视频的动态内容完美契合。此外，数据库规模及版权限制也影响了可选择的音乐数量，导致音乐风格趋同。

既要保证生成音乐的音质，又要确保音乐与视频的一致性，使得视频转音乐生成成为一项具有挑战性的任务。视频转音乐生成的关键在于有效连接两种本质不同的模态——视觉与音乐。视频通常包含复杂的时间动态和语义线索，如人物动作、场景切换以及情感氛围等，这些都需要转化为节奏、旋律和和声等音乐元素。这就要求模型具备复杂的跨模态理解能力，包括时间同步、上下文关联以及音乐创造力。

根据现有研究，视频转音乐生成的流程通常包含三个部分：条件输入构建、音乐生成框架以及连接不同模态的条件机制，如图1所示。由于视频转音乐生成本质上属于条件生成任务，条件输入构建指的是从视频中提取用于指导音乐生成的视觉线索，必要时还可结合其他外部条件。条件机制则描述了模型如何利用这些输入来学习条件信号与生成音乐之间的跨模态映射关系。音乐生成框架则负责输出最终的音乐结果，通常采用自回归或非自回归模式。需要注意的是，有些研究仅明确涉及条件输入构建和音乐生成部分，还有一些研究直接使用端到端模型将视频转换为音乐，其条件机制则隐含在模型之中。

图1. 视频转音乐生成流程概述。

在视频转音乐生成流行之前，已有不少研究试图从视觉信号中推断出合理的音频，这类任务包括图像转音频、视频转音效以及唇形转语音等。Owens等人[98]能够从无声视频中合成逼真的音效。Chen等人[14]提出了一种条件生成对抗网络，用于实现音乐表演的跨模态图像转音频生成。Zhou等人[166]则设计了视频编码器与基于样本RNN的音效生成器，能够从真实视频中生成婴儿哭泣、人类打鼾、狗叫声等音效，这一技术后来通过Chen等人提出的REGNET得到了进一步改进。Ephrat等人[29]则基于卷积神经网络提出了端到端模型，能够从无声视频帧中生成可理解的音频语音信号。Kumar等人[65]提出了名为Lipper的多视图唇读转音频系统。Prajwal等人[102]则是最早在包含数千个单词和句子的大词汇量环境下研究唇形转语音合成的学者。

尽管这些方法的生成流程相似，但视频转音乐生成与其他类似跨模态生成方法存在以下差异：（1）与图像转音乐相比，由于视频具有动态特性，生成与视频匹配的音乐时需要考虑节奏同步和时间对齐问题。（2）与视频转音效或视频/唇形转语音任务不同，后者要求音频起始点实现精确同步，比如将触发动作出现的确切帧与对应的枪声同步，或将口型动作与说话内容对齐，而视频转音乐生成对时间对齐的要求相对宽松，尤其是对于普通视频而言。不过，对于以人为主体的视频，如无声表演视频，则要求人的动作与对应音乐的起始点实现更精确的同步。（3）音效仅在特定事件发生时才会产生，其声音会随事件突然变化，而音乐则需要保持连续性和一致性。（4）音乐生成还需考虑创造力和美学因素，即需要评估生成音乐的艺术质量及整体情感效果，以确保其能有效增强视频内容。

此外，近期还有研究致力于同时生成视频及其配套配乐，以实现多模态协同生成和整体一致性。例如，Ruan等人提出了首个联合音频-视频生成框架MM-Diffusion[108]。Xing等人[147]提出了多模态潜在对齐器，用于将单模态的预训练扩散模型整合起来，实现音频-视频生成。You等人[154]则提出了MoMu-Diffusion，用于实现长时间跨度内的同步运动与音乐生成。相比之下，视频转音乐生成被定义为一种条件生成任务：输入为预先指定的视频，目标则是生成与其语义内容、节奏结构及情感表达相匹配的音乐，从而强调从视觉到音频的跨模态映射。虽然这两类任务都需要对跨模态对齐进行建模，但它们在输入输出、任务目标等方面存在显著差异。需要说明的是，本综述仅聚焦于作为跨模态音乐生成任务的视频转音乐生成，而联合视频-音乐生成则不在本综述的范围之内。

据我们所知，尽管已有不少关于单模态音乐生成的综述[9, 20, 44, 57, 67]，但目前尚未有专门针对视频转音乐生成的全面综述。Wang等人[141]和Li等人[75]虽也对多模态音乐生成进行了综述，但这些综述仅对不同任务中的方法进行了粗略列举，未能对视频转音乐生成流程中的各个组件进行细致的分类和分析。而本文则对视频转音乐生成的相关方法进行了深入探讨，重点分析了条件输入构建、音乐生成以及条件机制这三个关键组成部分。我们根据各组件对应的策略对现有方法进行分类，并阐明了这些选择背后的原因。不同方法的各个组件可以通过多种方式组合，以实现特定的生成目标。这一分类体系能为研究人员在设计视频转音乐生成的各组件时提供有针对性的指导。在此之前，我们还对现有研究中的视频和音乐类型进行了详细分类和解释，说明了不同类别如何影响各组件的设计策略。此外，我们还总结了该领域现有的数据集及常用的评估指标，最后指出了当前面临的挑战。我们认为，本综述能为视听领域及更广泛的多模态研究领域的学者提供有益的参考，尤其是在探索跨模态关系方面。从美学角度而言，本综述有助于揭示视觉艺术与听觉艺术之间的相互作用，以及跨感官艺术表达的潜在机制。这些见解将为未来技术与艺术交叉领域的探索提供思路，而多模态生成模型正逐渐成为推动创意实践发展的重要力量。

1.1 历史与发展
在生成式AI驱动的跨模态音乐生成技术出现之前，早期的方法主要依靠基于推荐的策略，从现有的音乐库中为视频挑选配乐，这些策略包括潜在语义分析、启发式排序、相似度匹配以及高潮同步等。虽然音乐推荐仍是当前研究的热点，但由于版权等问题，人们越来越倾向于开发能够直接根据视频内容生成全新AI作曲音乐的方法。

大约在2020年左右，随着相关数据集的出现以及基于AI的音乐生成技术的进步，视频转音乐生成方法开始向生成式方法转变。早期的研究主要针对无声乐器演奏视频的自动配乐生成，其输出主要以符号化音乐格式为主，且视频类型也仅限于这一领域。后来，随着舞蹈数据集的出现（如AIST [135]、AIST++ [71]），研究范围扩展到了舞蹈视频，由此产生了大量关于舞蹈转音乐生成的研究成果[3, 120, 157, 169, 170]。由于无声表演和舞蹈都涉及人体动作，而这些动作往往与背景音乐的节奏存在时间同步性，因此早期研究通常会利用姿态估计技术提取人体关键点，进而生成与节奏相关的条件信号用于音乐生成。这一阶段的模型大多基于CNN、长短期记忆网络、Transformer，以及变分自编码器和生成对抗网络等传统生成模型。

随着在线视频平台及视频生成技术的发展，人们对普通视频（如电影、视频博客、音乐视频）的自动音乐配乐需求日益增加。研究人员收集了更大规模、更多样化的数据集，从而引发了新一轮的通用视频转音乐生成研究[56, 58, 76, 84, 117, 130, 132, 142, 172]。在方法论方面，强大的预训练视觉理解模型（如CLIP [104]、I3D [11]）为视频提供了丰富的特征，而多模态大模型和扩散模型的发展则为跨模态音乐生成提供了新的技术基础。特别是文本转音乐模型（如MusicGen [18]和AudioLDM [82]）的快速发展，为视频转音乐生成提供了强大且可复用的基础模型。与此同时，随着Suno、ElevenLabs、Adobe等公司推出的工具开始支持视频转音乐生成，商业层面的兴趣也日益浓厚，这反映出AI生成音乐技术已经逐渐成熟并得到广泛应用。

以上对视频转音乐生成研究的简要概述表明，该领域的进展不仅得益于音乐AI技术的进步，还离不开计算机视觉、多模态学习以及整体生成式AI领域的快速发展。这一趋势也与更广泛的行业动向相一致，比如AI音乐质量的提升、市场需求的增长，以及公众对AI生成音乐的接受度不断提高。展望未来，新一代V2M技术有望应对更多开放领域和现实挑战，从而带来更丰富、更灵活且更逼真的多模态生成体验。本文余下部分结构如下：第2节对V2M生成所涉及的两种模态进行分类，阐述不同模态特性如何导致不同的组件设计；第3节围绕条件输入构建、条件机制以及音乐生成三个核心部分，全面详细地综述现有V2M方法，并从主观、实用性和工程角度对各类代表性方法进行对比分析；第4节总结V2M生成领域常用的数据集；第5节介绍广泛采用的客观与主观评估指标；第6节阐述V2M生成中仍存在的若干难题；第7节探讨相关更广泛的意义，包括伦理考量及实际应用场景；最后，第8节对本文进行总结。

2 所涉及的模态
本节对V2M生成所涉及的两种模态进行细致分类，如图2所示。通常，视频以三维信号形式呈现，包含空间维度（即高度×宽度）和时间维度上的RGB数值，而音乐则以一维波形数据或时间维度上的离散符号事件形式存在[108]。不同的分类方式与各研究使用的数据集及具体目标相关，进而影响V2M生成中各组件的设计。
图2. 视频转音乐生成中所涉及的模态及生成组件

2.1 视频
根据是否包含人类动作，视频可划分为以人为中心的视频和普通视频，这类视频包括舞蹈、体育赛事等场景。
2.1.1 以人为中心的视频
以人为中心的视频具有与音乐节奏同步的规律性动作，比如舞蹈、地面体操和花样滑冰。为这类视频生成音乐时，重点通常是确保生成的音乐节奏与视频中的动作相匹配。因此，大多数研究会从这些视频中提取节奏特征，具体内容见第3.1.1节。值得注意的是，无声表演视频也属于以人为中心的视频，因为乐器演奏的动作也会随着音乐节奏发生变化。
2.1.2 普通视频
与前者不同，本文所说的普通视频是指那些没有明确包含与音乐节奏同步的人类动作的视频，比如叙事音乐视频、商业广告和日常生活视频博客。相比以人为中心的视频，从普通视频中提取节奏更为困难。通常，人们会借助场景切换和显著的视觉变化来引导音乐节奏的生成，而高层次的视频语义则有助于塑造旋律和情感。由于这类视频在现实内容中占比很大，近期越来越多的研究致力于为普通视频生成背景音乐。

2.2 音乐
根据表现形式，音乐可分为符号格式和音频格式[55]，前者通常源自MIDI文件，后者则来自WAV文件。符号格式将音乐表示为一系列离散的事件（如节拍和音符），而音频格式则将音乐作为波形或频谱图进行处理。在符号音乐[57]和音频音乐生成[7, 8, 18, 27, 34]这两个领域，已有大量相关研究。

2.2.1 符号格式
符号音乐包含具有明确语义的音乐元素，如音高、时长和速度，因此能够与视频中的时间节点和动作速度等元素形成清晰对应，CMT方法就是这种思路的典型代表[26]。不过，符号音乐也存在一些局限性：首先，相关数据集规模通常较小，难以收集；其次，其表现力和情感深度不足；最后，所能使用的乐器种类有限，限制了音乐的多样性，也降低了模型合成复杂多变音乐的能力。表示符号音乐的方法有很多，其中最常用的是MIDI事件表示法[57]。

2.2.2 音频格式
相比之下，音乐音频更为复杂，处理成本也更高，虽然缺乏明确的语义信息，但却包含丰富的表现细节。此外，由于网上有大量成对的视频-音乐音频数据，这类数据的收集相对容易。因此，许多研究首先从互联网上收集视频-音乐数据集作为训练数据。由于波形具有高维度和复杂性，通常需要先将其转换为频谱图或潜在空间表示，再交由模型处理。

3 视频转音乐生成的方法
目前，V2M生成研究主要采用了两类模型：专用模型和多模态生成模型，包括多语言大模型和多模态扩散模型。专用模型是专门为V2M生成任务设计的，而多模态生成模型则能处理多种多模态任务，通用性更强，但针对该任务的优化程度较低。因此，专用模型通常能生成高质量、领域特定的音乐，而多模态生成模型则可能因为适用范围更广，在V2M生成任务中的性能稍逊。无论使用专用模型还是多模态生成模型，现有的V2M生成方法通常都包含三个核心组成部分（如图2所示）：条件输入构建、条件机制以及音乐生成。由于V2M生成本质上属于条件生成任务，条件输入构建指的是从视频中提取用于指导音乐生成的信号，必要时还可以结合其他外部条件。条件机制则描述了模型如何利用这些输入，学习条件信号与生成音乐之间的跨模态映射关系。本节将围绕这三个关键组成部分，综述现有的V2M研究，具体内容见表1。每个组成部分都可以通过不同的方法实现，我们已根据它们的目标或技术特点将其分为不同的子类。
表1. 方法、年份、视频类型、音乐类型、条件输入、音乐生成方式
视觉线索、外部条件、视听转换[62]，2020年，无声表演视频，符号格式，时空特征，卷积多层感知机，无
音频[118]，2020年，无声表演视频，符号格式，时空特征，卷积多层感知机和生成对抗网络
拟声音乐[33]，2020年，无声表演视频，符号格式，节奏特征，卷积注意力网络，Transformer架构
MI Net[119]，2020年，无声表演视频，音频格式，节奏特征，频率频率向量量化-变分自编码器
舞蹈2音乐[3]，2021年，舞蹈视频，符号格式，语义特征，全连接层，节奏特征网络
[120]，2021年，舞蹈视频，符号格式，节奏特征，卷积注意力网络，CMT方法
[26]，2021年，普通视频，符号格式，节奏特征，流派、乐器，前馈Transformer架构
V-MusProd[171]，2022年，普通视频：音乐视频，符号格式，融合方法，前馈Transformer架构，条件自动编码器
D2M-GAN[169]，2022年，舞蹈视频，音频格式，融合方法，频率调制生成对抗网络
DCCD[170]，2022年，舞蹈视频，音频格式，融合方法，条件自动编码器，扩散模型
RA LORIS[157]，2022年，舞蹈和体育赛事视频，音频格式，融合方法，流派，条件自动编码器，扩散模型
Motion2Dance[126]，2023年，舞蹈视频，音频格式，节奏特征，流派，条件自动编码器，扩散模型
MuMu-LLaMA[85]（M2UGen[84]），2023年，普通视频，音频格式，语义特征，全连接层，音乐生成模型
CAAudioLDM 2Dance2MIDI[40]，2024年，舞蹈视频，符号格式，融合方法，卷积注意力网络
DanceComposer[78]，2024年，舞蹈视频，符号格式，融合方法，卷积注意力网络
文本逆向生成方法[74]，2024年，舞蹈视频，音频格式，节奏特征，舞蹈流派，全连接层，音乐生成模型
CA音频扩散模型或音频低秩分解模型，Dance2Music-Diffusion[162]，2024年，舞蹈视频，音频格式，节奏特征，舞蹈流派，条件自动编码器，扩散模型
MoMo-Diffusion[154]，2024年，舞蹈和体育赛事视频，音频格式，节奏特征，前馈扩散模型
RA交互式节拍生成方法[86]，2024年，舞蹈和体育赛事视频，符号格式，节奏特征，卷积注意力网络
Video2Music[58]，2024年，普通视频，符号格式，融合方法，前馈Transformer架构
Diff-BGM[76]，2024年，普通视频：音乐视频，音频格式，语义特征，条件自动编码器，扩散模型
V2Meow[117]，2024年，普通视频：音乐视频，音频格式，融合方法，文本描述，频率Transformer架构
VidMuse[130]，2024年，普通视频，音频格式，融合方法，卷积注意力网络
MuVi[73]，2024年，普通视频，音频格式，语义特征，频率流匹配方法
RA匹配方法，VMAS[80]，2024年，普通视频：音乐视频，音频格式，时空特征，前馈Transformer架构
RA视频音乐家模型[77]，2024年，普通视频，音频格式，融合方法，条件自动编码器，音乐生成模型
SONIQUE[164]，2024年，普通视频，音频格式，语义特征，流派、乐器、速度、旋律，频率扩散模型
CA Mozart’s touch[70]，2024年，普通视频，音频格式，语义特征，全连接层，音乐生成模型
CA视觉音乐桥接模型[VMB][137]，2024年，普通视频，音频格式，获取参考音乐，频率扩散模型
CAPN-Diffusion[122]，2025年，舞蹈视频，音频格式，融合方法，条件自动编码器，扩散模型
MotionComposer[139]，2025年，舞蹈视频，符号格式，融合方法，获取参考和弦，条件自动编码器，生成对抗网络
GACA-DiT[138]，2025年，舞蹈视频，音频格式，频率流匹配方法，X音乐模型
EMSYNC[121]，2025年，普通视频，符号格式，融合方法，前馈Transformer架构
GVMGen[172]，2025年，普通视频，语义特征，卷积注意力网络
C3GVS[103]，2025年，普通视频，语义特征，情感、音乐风格，条件自动编码器，扩散模型
RA CoT-VTM[39]，2025年，普通视频，语义特征，频率Transformer架构
CA电影作曲模型[146]，2025年，电影相关视频，音频格式，融合方法，前馈Transformer架构
时变条件生成方法[142]，2025年，普通视频，音频格式，节拍、旋律、强度、情感，频率Transformer架构
分解对齐方法[155]，2025年，普通视频，音频格式，融合方法，卷积多层感知机和条件自动编码器
RA VeM[132]，2025年，普通视频，音频格式，融合方法，前馈扩散模型
CA Diff-V2M[56]，2025年，普通视频，音频格式，融合方法，条件自动编码器
DyViM[87]，2025年，舞蹈和普通视频，音频格式，融合方法，前馈Transformer架构

“CM（条件机制）”列中的FF、FM、CA和RA分别代表特征融合、特征映射、交叉注意力以及表示级对齐。“音乐生成”列中背景色不同的单元格分别代表自回归方法和非自回归方法。Perf是性能的缩写。
从表1可以看出一些显著特点。首先，近年来V2M生成逐渐成为热门研究方向，越来越多的研究开始关注这一领域。随着技术的发展，那些能够综合考虑视频多方面信息的视觉线索融合方法被越来越多地采用，而交叉注意力也已成为各类音乐生成方法中常见且实用的条件机制。在音乐生成方面，自回归模型和非自回归模型依然是主流技术路线。此外，外部条件也经历了从静态属性（如流派）向更动态的形式的发展，比如时变条件和参考音乐。

3.1 条件输入构建
在视频转音乐生成过程中，条件输入既包括从视频的各个层面提取的视觉线索，如语义特征和节奏特征，也包括用户可以指定的外部条件，这些条件能够提升生成音乐的可控性和个性化程度（详见补充图1）。
3.1.1 视觉线索
时空特征。为了有效捕捉视频中的时空信息，一些研究采用了基于连续帧的卷积网络。在针对钢琴演奏视频的早期V2M研究中，Koepke等人[62]和Su等人[118]使用ResNet18[43]作为核心模型，处理连续的五帧视频，以此获取时间和空间信息。两者的主要区别在于，Koepke等人使用了基于3D卷积的聚合模块来整合连续帧的时间信息，同时还加入了专门模拟键盘布局的斜率模块，以保持空间的定位精度。而Su等人则引入了特征变换模块，对残差块中的多尺度特征进行变换，以便更好地检测不同尺度的视觉线索，同时搭配多尺度特征注意力网络来捕捉空间依赖关系和语义关联。此外，Lin等人[80]还对分层时空编码器模型[109]进行了改进，以提高视频编码的效率。
节奏特征。节奏特征是视频驱动音乐生成中的重要指导条件，其来源因视频类型而异。在以人为中心的视频中，节奏通常来自人体动作，可通过2D关键点[10]或3D皮肤多人物线性模型[88]来表示。在普通视频中，节奏线索则一般从光流[49]或连续的RGB帧差异中提取，这些信息反映了场景的切换和视觉动态变化。
以人为中心的视频。为了为无声乐器演奏视频生成合理的音乐，Gan等人[33]首先使用开源的OpenPose工具箱[10]及其API[114]，从视频帧中提取人体和手指的关键点。之后，他们利用图卷积网络编码器逐步生成随时间变化的视觉潜在向量。Su等人[119]则使用双向门控循环单元作为人体动作编码器，将2D人体姿态关键点转换为潜在表示。为了检测音乐节拍，Pedersoli等人[99]从每帧视频中提取舞者的骨骼关键点，再利用时间卷积神经网络架构进行节拍检测，以此为节奏音乐的生成提供依据。
考虑到3D角色动作在游戏和动画中的广泛应用，一些方法不再局限于2D关键点的编码，而是开始处理3D运动数据，以此扩大应用范围。Zhang等人[162]采用Transformer编码器，从3D SMPL序列中提取舞蹈动作特征，以便更好地捕捉舞蹈动作中的时间信息和帧间关联。Tan等人[126]则用关节位置、6D关节方向以及线速度/角速度来表示每一帧的动作，从而同时捕捉动作的结构和动态特征。虽然这些方法没有明确建模节奏线索，但丰富的动作编码能够有效反映时间变化，有助于生成与节拍匹配、节奏连贯的舞蹈音乐。Li等人[74]在Yu等人[157]的研究基础上，通过计算关键点的一阶差分得到关节速度，将关节方向离散为K个区间，再通过对时间求导得到离散加速度。随后将所有关节和方向的正加速度相加，得到全局加速度曲线，再将该曲线上的局部最大值标记为1，最终得到节奏序列。
除了动作特征外，尤其是对于舞蹈音乐生成，一些研究还会提取节奏风格特征。例如，Su等人[120]将视频编码为与动作相关的节奏，并将“风格”定义为人体的过渡性动作，比如快速而突然的动作。他们结合时空图卷积网络[150]和Transformer编码器[136]处理关键点，以此捕捉动作特征来估计音乐节拍，同时还增加了专门的风格流来捕捉快速动作，这两种流结合在一起就构成了动作节奏。Liu等人[86]提出了InteractiveBeat方法，能够根据捕捉到的动作视频实时生成动态音轨。基于GRU的VisBeatNet首先从实时的人体动作流中预测运动偏移量、视觉节拍并估算速度，然后通过对抗式风格迁移模块MuStyleNet将这些运动偏移量转换为代表鼓点节奏的“风格”向量。
普通视频。虽然动作特征能够帮助为以人为中心的视频生成节奏连贯的音乐，但由于它们不适用于没有人类动作的普通视频，因此其应用场景较为局限，也无法有效处理内容多样的普通视频[58]。为了解决这个问题，Di等人[26]建立了视频与音乐之间的三种节奏关联关系，即视频时间与音乐节拍、动作速度与模拟音符密度、动作显著性与模拟音符强度。在训练阶段，从MIDI音乐中提取节奏特征，而在推理阶段则从视频中提取节奏特征。这种方法无需依赖成对的视频和音乐数据，就可以为任意视频生成音乐。不过，它忽略了语义层面的对应关系，有时会导致风格冲突[171]。
语义特征。尽管节奏特征能够提供细致的时间导向，但它无法体现视频所传达的整体语义，比如氛围和情感。对于那些不需要严格节拍对齐的普通视频来说，这些语义线索非常重要。即便对于以人为中心的视频而言，提取语义特征也有助于捕捉高层次的动作特性。在以人为中心的视频处理中，Aggarwal等人[3]从提取的姿态序列中计算出舞蹈相似性矩阵，该矩阵经过CNN层和全局平均池化处理后，可得到能够体现身体动作语义结构的舞蹈特征表示。此外，为视频动作识别而在Kinectics[59]上预训练的I3D模型[11]也被广泛用于提取与动作相关的语义特征，相关研究可见[122, 138, 139, 157, 169, 170]。在更广泛的场景中，随着视觉理解技术的进步，预训练模型被越来越多地用来从视频中提取语义特征，从而帮助人们超越单纯的动作和节奏层面来理解视频内容。这类模型通常在大规模数据集上训练，能够捕捉高层次的概念和上下文信息，让研究人员无需进行大量领域特定训练，就能专注于将提取的特征与音乐进行跨模态对齐。Li等人[76]使用预训练的Video CLIP[148]从每帧中提取视觉特征，同时运用预训练的BERT编码器[24]从视频字幕中提取语言特征。Li等人[73]研究了多种视觉特征提取器，如CLIP[104]、VideoMAE[133]、VideoMAE V2[140]、CAVP[89]，并提出了一个视觉适配器，用于压缩视频特征，使其与音频特征的帧长度保持一致。Su等人[117]则研究了来自纯视觉模型、多模态模型以及量化模型的各类视觉特征，这些模型分别对应I3D[11]、CLIP[104]和ViT-VQGAN[156]。这些视觉特征可以结合起来用于指导音乐生成。Zuo等人[172]使用带有空间自注意力的预训练ViT-L[28]来提取深度视觉特征。Qi等人[103]通过经过对比学习训练的两个多层感知器，将视频特征映射到音乐和音效特征空间，从而生成基于视觉的控制信号。作为基础的视觉-语言表征模型，CLIP已被广泛用于提取语义特征[39, 129, 142]。那些能够实现V2M生成的多模态模型也同样会利用预训练模型来提取语义特征。Zhang等人[164]使用Video-LLaMA[163]提取视频描述，随后将其输入大型语言模型，以此生成简洁的描述性音乐标签。通过这类描述性标签，该方法无需使用成对的视频-音乐数据集。MuMu-LLaMA（或M2UGen）[84, 85]则结合了大型语言模型理解并生成不同类型音乐的能力，它分别使用冻结版的ViT[28]、ViViT[5]和MERT[153]对图像、视频和音乐三种模态进行编码，同时还开发了多模态理解适配器，用于将这些嵌入向量与LLaMA 2[134]对齐。Mozart’s Touch[70]和Wang等人[137]也采用了BLIP[69]或InternVL2[16]，将视频转换为描述性的音乐提示词。尽管这些方法能够实现语义对齐，但由于没有从视频中提取与节奏相关的特征，因此无法保证时间上的节奏同步。如果只关注节奏对齐而忽视语义对应，可能会导致风格冲突，进而降低沉浸感和体验效果；反之，若优先考虑语义匹配而忽略节奏同步，则可能使音乐与视频动作或场景转换在时间上出现不一致，导致连贯性欠佳，破坏整体的感知流畅性。因此，近期的研究倾向于提取多方面的视频驱动特征，并将它们融合在一起，以提升整体对齐度。Zhu等人[169, 170]使用基于卷积的运动编码器来编码身体动作，同时提取I3D语义特征[11]，再将运动特征和I3D特征拼接起来，形成最终的连续条件输入。Sun等人[122]也将ST-GCN提取的运动信息与I3D视觉嵌入向量拼接，用于实现舞蹈到音乐的生成。Yu等人[157]将研究范围从舞蹈扩展到体操、花样滑冰等多类运动场景，他们引入了包括人体动作、视频帧以及音乐风格在内的多种情境感知条件，从节奏动作中提取视觉节奏，运用霍克斯过程[41, 93]捕捉时间上下文，还通过基于I3D特征的双向长短期记忆网络来建模时间关系。Wang等人[139]通过直接图和峰值检测来识别视觉节奏，从而预测音乐节拍，同时使用I3D模型提取视觉嵌入向量。Liu等人[87]通过比较相邻帧来计算相关性特征和流畅性特征，进而提取逐帧动态特征，再通过自注意力和池化操作得到最终的逐帧动态特征，而高层次的语义则通过CLIP提取。Wang等人[138]提取了I3D语义特征，还提出了风格自适应节奏提取模块GARE，该模块通过计算关节层面的运动信息、应用多尺度小波分析、根据不同风格对具有节奏信息的关节进行加权，以及通过注意力机制融合时空运动特征，从而提取精细的舞蹈节奏。在一些研究中，全局特征常被用作语义信息，而局部特征则用于捕捉节奏模式。Tian等人[130]首先使用CLIP对视频帧进行编码，然后借助长短时视觉模块来学习时空特征，其中长时模块用于模拟整个视频，以捕捉全局上下文，而短时模块则用于学习片段层面的细微线索。Li等人[77]也将全局特征和局部特征分别视为高层次的语义特征和低层次的节奏特征，语义特征来自CLIP的CLS标记，而局部特征的均值互帧相似度则被用作节奏条件。Wu等人[142]提取了基于块级的精细图像特征、通过CLIP获得的帧级视觉特征，以及通过VideoMAE V2[140]得到的情境感知视觉特征，这些特征通过自注意力、交叉注意力和可学习权重相结合的方式被融合在一起。Tong等人[132]采用分层视频解析策略，在全局、故事板和帧三个层面分别提取语义、结构及节奏线索，全局字幕和情感标签提供高层次的语义信息，故事板分割则提供局部描述、时间戳和持续时间，帧级过渡检测则用于确定精细的节奏边界，所有解析出的信息都会通过CLAP处理文本语义、MAViL[52]处理视觉内容、连续时间多层感知器处理时间属性，以及二元指示符处理场景转换，最终形成统一的多模态条件，用于音乐生成。除了语义特征和节奏特征之外，视频还能提供与风格相关的线索。Han等人[40]使用了两个分支分别提取舞蹈动作特征和风格特征，然后将它们拼接起来形成条件控制信息。Liang等人[78]提出了DanceComposer，旨在同时实现节奏对齐和风格匹配，预测出的节拍和跨模态风格特征共同引导音乐生成。此外，还会从视频内容中提取与情感相关的特征，为音乐生成提供明确的情感指导。Zhuo等人[171]为V2M生成提取了语义特征、颜色特征和运动特征，其中CLIP2Video[31]提供高层次的语义信息，逐帧颜色直方图[2]用于编码视觉情感，而基于RGB的颜色差异则通过节奏嵌入和时间编码[26]来引导节奏控制。Kang等人[58]也从音乐视频的每一帧中提取语义特征、场景偏移特征、运动特征和情感特征，具体来说，语义特征是通过CLIP获得的，该模型还能给出不同情感类别（“兴奋”“恐惧”“紧张”“悲伤”“放松”和“中性”）的概率分布，他们还使用了PySceneDetect库[12]来准确检测视频中的场景变化，根据检测到的场景ID计算场景偏移量，运动特征则来自连续帧之间的RGB差异值，对所有像素取平均值。Sulun等人[121]使用预训练的情感分类器从视频中提取情感概率分布，然后通过高斯混合模型将它们映射到愉悦度-唤醒度平面，除情感之外，他们还利用ffmpeg10提取的场景边界作为时间条件。为了在可控的V2M生成中实现更精细的控制，You等人[155]使用SAM[61]对视频帧进行分割，然后提取多种特征，如语义特征、区域特征、起始位置特征、运动特征和颜色特征。Xie等人[146]使用ChatGPT-4V[1]来识别视觉属性（场景、亮度、色彩色调、动作、情感基调、视角规模和主题），同时运用开源算法提取运动速度、运动显著性、镜头切换和剧情发展特征，此外，他们还设计了一种可控的节奏变换器，用于从视频中预测节奏点。Ji等人[56]则将基于CLIP的语义特征、基于颜色直方图的情感特征以及预测得到的明确音乐节奏（包括低分辨率的梅尔频谱图、节奏图和ODF）作为V2M生成的条件。3.1.2外部条件视频与音乐之间的关系本质上是多对多的，也就是说，将同一视频与不同节奏或情感风格的音乐搭配，可能会极大改变其整体含义，因此仅依靠视频驱动的线索可能不足以确定合适的音乐。为了实现更精细的控制，可以指定外部条件，这些条件包括节奏、情感、速度和强度等明确的音乐属性，以及以参考示例形式存在的隐含指导信息。需要注意的是，这里的这些属性是可以外部指定的，这与之前那些直接从视频中提取类似信息（如风格、情感）的方法有所不同。作为重要的音乐属性，风格已被纳入外部条件之中，与从视频中提取的特征一起用于指导音乐生成。例如，Di等人[26]将风格和乐器类型作为CMT模型的初始标记，用来控制音乐的总体属性，LORIS[157]和Tan等人[126]则将音乐风格作为高层控制信号来对模型进行约束，在舞蹈到音乐的生成过程中，舞蹈风格也会被用作外部条件，Li等人[74]将舞蹈风格的独热向量映射到文本空间，而Dance2Music-Diffusion[162]则将风格作为运动编码器训练的监督信号，V2Meow[117]允许用户根据个人喜好选择性地提供与音乐相关的文本描述，音乐-文本联合嵌入模型MuLan[53]则在训练阶段用于提取音频嵌入，在推理阶段用于提取文本嵌入，Qi等人[103]在推理阶段通过基于乐谱的噪声迭代优化来施加情感和风格条件，Wu等人[142]则开发出了首个具备多个时变条件的V2M生成模型，这些条件包括节拍、旋律、强度和情感，从而实现对V2M生成更精细的控制，此外，为了为音乐生成提供参考示例，人们还采用了检索增强生成技术来挑选相关的音乐作品，Wang等人[137]设计了双轨音乐检索框架，该框架首先使用CLIP或CLAP嵌入向量进行广泛检索，然后再根据音乐属性进行精准检索，为了提升风格化的和弦生成能力，Wang等人[139]开发了RAGate，该工具能够根据I3D视觉嵌入向量动态检索最相关的示例。3.1.3总结综上所述，用于V2M生成的视频线索提取技术已经从早期的时空特征逐渐发展到多视角特征的组合，比如语义特征和节奏特征。这一发展主要受到两个因素的推动：首先，视频的类型范围已经从无声表演和舞蹈视频，即以人为中心的视频，扩展到了更广泛的一般视频；其次，视觉理解模型的快速发展大大提升了高层次视觉特征的获取效率和质量。在早期针对以人为中心的视频，如舞蹈或无声乐器表演的研究中，仅提取时空特征或节奏相关特征就足以生成与视频内容相匹配的音乐，但随着视频类型扩展到一般视频，就需要捕捉多视角的视频信息，尤其是语义特征和节奏特征，这两种特征之间存在明显的权衡：语义特征擅长捕捉视频的整体氛围和情绪，但可能忽略与节奏相关的细微动态，而节奏特征在舞蹈和其他以人为中心的场景中至关重要，但在静态或以语义为导向的视频中表现力较弱，两者结合能够提供互补的信息，从而丰富对视频的理解，而风格和情感等其他视频驱动因素则能进一步强化条件设定。不同的视频类型需要不同的特征提取策略，对于节奏特征，以人为中心的视频通常依赖OpenPose或MMPose[74]这类姿态估计方法来提取关键点，然后再用GCNs或TCNs之类的模型对这些关键点进行编码，而对于一般视频，节奏线索可以从光流或帧差异中提取，之后再通过基于规则或基于网络的方法进行处理，至于语义特征，现有的方法几乎都依赖于预训练的视觉理解模型，例如，I3D被广泛用于以人为中心的视频，而CLIP则常用于一般视频，不过，仅仅依靠视频驱动的线索往往不足以确定合适的音乐，也无法对生成结果进行有效控制。为解决这一问题，人们引入了音乐属性和参考音乐等外部条件，以提高模型的可控性和多样性。3.2 条件机制要实现视频到音乐的生成，需要一个关键组件来连接这两种模态，本综述中将其称为条件机制。该组件建立了视频与音乐之间的对应关系，使模型能够生成在语义上一致且节奏上与输入视频同步的音乐。从跨模态对齐学习的角度来看，本综述将V2M生成中的条件机制分为四类（见补充图2）：(1)特征融合，通过简单的运算或调制机制，如求和、拼接以及自适应层归一化（AdaLN），将视觉特征整合到音乐生成器中，让网络隐式学习跨模态对应关系；(2)特征映射，将视觉特征显式投影到音乐空间（声学或符号域）或文本空间，作为音乐生成的中间条件桥梁；(3)动态特征交互，模型采用跨模态注意力机制，显式学习视频与音乐之间的对应关系，从而实现动态信息整合；(4)表示层面対齐，主要通过基于相似度的目标，在表示或特征层面实现视频与音乐的対齐。3.2.1 特征融合本节介绍最直观的条件机制，即通过简单运算，如求和或拼接，或通过AdaLN这类调制机制，将视频特征融合到音乐生成器中。在所有情况下，融合后的特征都会直接被音乐生成网络使用，无需显式建模跨模态交互。在特征拼接方面，条件特征会在被输入模型之前与音乐表示相结合。Su等人[119]将身体关键点编码器的最后一个隐藏状态与VQ-VAE离散潜变量表示的每个时间步相拼接。You等人[154]则将带噪声的输入与嵌入的条件输入以及沿时间维度嵌入的扩散时间步相拼接。融合后的输入在经过DiT模型处理之前会与位置嵌入相结合。Xie等人[146]依次将处理过的节奏和文本条件前置到Transformer的输入中。Wu等人[142]将语义特征置于第一个音乐标记之前，确保后续生成过程以完整的视频表示为条件。Sulun等人[121]则沿序列维度将输入的标记序列与情感输入相拼接，同时沿特征维度将学习到的位置编码与边界偏移量相拼接。Wang等人[138]则将带噪声的潜变量与时间对齐的节奏特征、I3D视频特征以及时间步一起作为基于DiT的V2M框架的输入。其他方法，如CMT[26]，则是将提取的节奏特征嵌入到音乐表示中，从而生成节奏对齐的输出，而XMusic[128]则通过在符号音乐序列中的指定位置放置视觉条件标记来控制生成过程。元素级加法也是一种融合条件输入的方法。在视频到符号音乐生成技术[26, 171]中，通常会将从视频中提取的时间嵌入加到标记嵌入和位置编码上，以此引导音乐生成的时间结构。Li等人[73]将视觉条件和音乐潜变量表示转换到同一维度后，进行元素级求和，作为DiT生成器[100]的输入。这种元素级求和有助于实现精确的点对点对齐。Liu等人[87]则在现有的由RVQ码本衍生的音乐编码基础上，加入插值后的动态特征，并将它们求和，从而为MusicGen获得音乐编码的扩展版本。值得一提的是，Tong等人[132]通过基于AdaLN的自适应归一化，将提取的节奏特征注入到音乐潜空间中，以实现精确的跨模态节奏同步。3.2.2 特征映射特征映射方法是将视频输入映射到另一种模态，要么直接将视频映射为音乐表示，要么先将其转换为中间性的文本桥接嵌入或与LLM兼容的嵌入，这些嵌入再作为文本到音乐生成的条件。已有不少研究直接将视觉特征转换为音乐表示。Koepke等人[62]和Su等人[118]将视频信息输入到端到端网络中，该网络可输出音乐（MIDI或钢琴卷帘图）。Zhu等人[169]则将融合后的运动-视觉特征输入到VQ生成器中，以预测音频VQ表示。Su等人[117]采用了AudioLM[7]流程，首先学习从视觉输入到音乐语义标记的映射关系，然后再将这些标记映射为粗略和精细的声学标记。You等人[155]则先通过密集层和时间自注意力将视频特征映射为音乐特征，再利用转置卷积1D网络预测音高、响度、色彩和音色。这些音乐特征随后被用作音乐生成的条件输入。还有些研究则采用文本作为中间模态，先将视觉条件映射到文本空间，再利用预训练的文本到音乐基础模型。受到文本反转技术[28]的启发，Li等人[74]开发了一种双路径节奏-风格反转方法，将舞蹈动作序列的节奏和风格编码为固定提示模板中的可学习伪词，从而适应不同的节奏和风格，实现个性化音乐生成。Zhang等人[164]则通过LLM将Video-LLaMA[163]提取的视频描述映射为描述性音乐标签，之后再由CLAP[145]处理这些标签以及用户提供的其他标签（如乐器、风格、节奏速度和旋律）以实现定制化。类似地，Li等人[70]还将BLIP[69]输出的帧级字幕聚合为视频级字幕，再由LLM处理，形成用于描述音乐的提示。Wang等人[137]也通过多模态音乐描述模型将视频转换为详细的音乐描述。此外，还有研究将LLM作为桥梁层，连接视频表示与音乐生成。在MuMu-LLaMA[85]中，视频数据首先被编码为时空嵌入，然后通过多模态理解适配器转换为与LLM兼容的表示形式。这种适配后的视频表示会被输入到LLaMA 2中，以实现跨模态的上下文解析，而输出音频标记的隐藏嵌入则通过输出投影层转换为条件信号，用于后续的音乐解码器，如MusicGen或AudioLDM。3.2.3 动态特征交互在本综述中，动态特征交互指的是一种机制，即一种模态通过跨注意力机制动态影响另一种模态。跨注意力最初作为Transformer架构的一部分被引入，它能够让解码器在生成预测时聚焦于编码器的输出。如今，它被广泛用于条件生成任务中，用于将一种模态的上下文信息整合到另一种模态中。尤其是在V2M生成中，跨注意力常被用作以下两种场景中的条件机制。第一种场景是当使用基于Transformer的架构作为生成器时，条件信息通常会被输入到解码器的跨注意力模块中。例如，视觉特征[33, 58, 80, 130]、鼓乐轨道[120]、舞蹈条件[40]、风格特征[171]都会被输入到Transformer解码器的跨注意力模块中，以引导音乐生成。Li等人[77]采用了两阶段训练策略，逐步将全局和局部视频特征整合到生成器中。高级语义特征通过跨注意力注入，而低级节奏特征则通过带有零初始化和恒等初始化的注意力机制纳入其中。Liang等人[78]则分别用音乐节拍以及鼓乐轨道和风格特征的融合嵌入序列对Drum Transformer和Multi-track Transformer进行条件约束。Zuo等人[172]则通过空间和时间跨注意力将隐藏的视觉特征转换为音乐特征。第二种场景涉及基于Transformer的扩散模型，此时条件输入通常会被输入到去噪网络的跨注意力层中。例如，运动、视觉和风格特征常常会被融合并注入其中，以引导音乐生成[126, 162, 170]。在LORIS[157]中，视觉、运动和风格特征是通过分层跨模态注意力块进行条件约束的。Li等人[76]发现，在无条件音乐生成过程中，模型往往先生成旋律，再生成节奏。因此，他们引入了特征选择器，以便在不同时间步应用不同的条件，同时还使用了具有掩码机制的段感知跨注意力，从而以细粒度、短时间的方式实现音乐节奏与视频的同步。Sun等人[122]则将正向条件信息和负向条件信息都输入到稳定扩散[106]的适配版Unet中的跨注意力模块中。Tong等人[132]提出了故事板引导型跨注意力（SG-CAtt），通过基于全局特征和故事板级别特征的拼接对扩散查询进行条件约束，并在故事板边界内掩码注意力，以此保持语义对齐和时间同步。Ji等人[56]设计了一个分层跨注意力模块，该模块首先整合情感特征以引导整体氛围，然后通过并行跨注意力处理语义和节奏特征，并结合FiLM和加权融合等考虑时间步的策略对它们进行自适应融合。还有许多其他研究[87, 103, 123, 129, 137, 139, 142]也通过跨注意力注入条件信号来引导音乐生成，此处为简洁起见不再详述。3.2.4 表示层面対齐表示层面対齐方法旨在在表示或特征层面强制实现视频与音乐之间的对应关系，确保生成的音乐能够紧密跟随输入视频的时间和语义模式。对比学习已被用来增强不同模态之间的对齐和同步效果。Zhu等人[170]通过使用条件离散对比扩散（CDCD）损失函数最大化输入与输出之间的互信息，从而显式强化二者之间的联系。他们采用了分步并行扩散方法，结合内部负样本来捕捉样本内部的特征（如节奏），同时采用逐样本辅助扩散方法，结合外部负样本来增强实例间的差异（如风格），这种方法相比传统的DPM模型，能实现更快的收敛速度和推理效率。Li等人[73]提出了一种对比式音乐-视觉预训练策略，旨在实现更精确的同步效果。他们提出了两组新的负样本对：一组是通过时间移位原始音乐波形得到的，另一组则是用同一首音乐的另一个片段替换原始片段的波形。Lin等人[80]则结合了全局视频-音乐对比目标与细粒度的视频节拍对齐方案，以此同步高层次和低层次的特征。You等人[154]认为，通过随机选择方式构建负样本可能会导致捕获相似的节奏序列，因此他们提出了节奏对比学习方法，根据从空间运动直方图差异中得出的运动幅度指标来构建对比对，具体方法详见[22]。运动-音乐片段会根据其最大运动幅度进行分类，负样本则从不同类别中随机选取，以此确保时间和节奏上的有效对齐。此外，Qi等人[103]通过提取和匹配音乐与视频中的时间曲线来实现节奏对齐。音乐节奏通过连续小波变换后得到的逐帧量化音高值来表示，而视频节奏则通过相邻帧之间的差异值来表示。音高曲线与视频变化曲线之间的余弦距离可作为基于分数的推理优化中的引导分数，用以促进两者之间的同步。You等人[155]则提出了一种基于流匹配的对齐方法（FMA），该方法将视频特征视为条件信号，并通过学习得到的速度场来模拟音乐嵌入的演变过程。通过训练速度模型来近似理想的跨模态流动，他们可以判断预测出的音乐轨迹是否遵循由视频条件决定的流动路径，进而通过对应的对齐损失来强制实现视频与音乐之间的对应关系。需要强调的一点是，上述四种条件机制并非相互排斥。实际上，可以将多种机制结合起来，将多种条件融入模型中，前述研究[39, 70, 73, 74, 80, 85, 87, 103, 132, 137, 142, 154, 155, 164, 170, 171]便体现了这一点。3.3 音乐生成根据生成范式的不同，音乐生成方法大致可分为两类：自回归模型和非自回归模型（见补充图3）。自回归模型常用于预测MIDI音乐事件或离散的音频标记，而非自回归模型则更擅长处理类似图像的音频频谱图或通过编码得到的潜变量特征。作为目前最为流行的生成模型之一，扩散模型[47]常被用于非自回归生成方法中。3.3.1 自回归建模符号化方法。Transformer在视频到符号音乐生成中被广泛使用。Gan等人[33]在获取运动特征后，使用了仅包含解码器的Transformer[51]来自回归预测MIDI事件，随后再利用标准合成器（即FluidSynth）生成音乐波形。Su等人[120]提出了基于Transformer的Rhythm2Drum方法，用于自回归生成鼓点起始信号，这些信号随后会被输入到Unet中，用于生成音量和偏移量。在生成鼓乐轨道之后，还会采用REMI表示[54]以及基于transformer-XL的[19]编解码器架构来生成额外的钢琴或吉他乐器音色。同样，Han等人[40]首先使用变换器模型根据舞蹈动作和风格生成鼓点节奏，随后引入类似BERT的[24]模型来基于鼓点轨道丰富剩余的音乐轨道。Liu等人[86]提出的InteractiveBeat能够根据人体动作生成交互式节奏音频，其中还提出了基于变换器的DrumGenNet，用于根据估算的节奏速度和鼓点“风格”合成多声部鼓点轨道。与Rhythm2Drum不同，DrumGenNet摒弃了用于生成速度和偏移矩阵的UNet，而是将连续的一维节奏输入直接作为速度，从而形成更为简洁且适合实时处理的鼓点生成网络。Di等人[26]和Tian等人[128]基于类似复合词的音乐表示方法[50]，提出了可控音乐变换器（CMT）模型，用于为任意视频生成音乐。V-MusProd[171]将音乐生成分为三个逐步的变换器阶段：和弦、旋律和伴奏，每个阶段都依据视频特征以及前序阶段的输出结果来进行处理。Kang等人[58]提出了情感多模态变换器（AMT），将视频嵌入输入编码器，同时将和弦嵌入与调性信息结合后输入解码器，以此生成和弦序列。Sulun等人[121]开发了一种基于视频的MIDI生成器，该生成器采用基于事件的音乐表示方法以及变换器，根据从输入视频中提取的情感和场景边界来生成音乐。为确保节奏一致性和风格匹配，Liang等人[78]提出了两阶段编码器-解码器生成流程：首先，Drum Transformer根据预测的音乐节拍生成鼓点轨道；随后，Multi-track Transformer再根据之前生成的鼓点轨道以及舞蹈风格特征创建多轨MIDI。然而，符号化音乐生成通常仅限于少数传统乐器，且其符号表示方式的表现力不足，无法涵盖典型音轨中所存在的各种声音，从而导致生成的结果较为固定，难以合成复杂多样的音乐。此外，生成音乐的保真度在很大程度上取决于声音合成器或MIDI播放引擎的质量，这些工具可能无法充分呈现真实乐器的深度与复杂性。最后，MIDI标注的规模较小且风格多样性有限，这也导致了较差的泛化能力[80]。在音频生成方面，采用自回归方法时，直接处理长时原始波形在计算上十分耗资源且难度较大[157]。为解决这一问题，大多数方法首先使用SoundStream[160]、EnCodec[23]以及Improved RVQGAN[64]等编码器将音频转换为离散标记，再利用自回归模型预测这些离散标记，最后通过编码器的解码器将其重新还原为音频。在这种方法中，生成音乐的音频质量受限于编码器的性能，而且训练音乐标记预测模型还需要大量的计算资源。为弥合粗糙的视频表示与高分辨率音频表示之间的差距，Su等人[117]提出了V2Meow，这是一种能够根据多种视频输入生成高保真音乐波形的工具。V2Meow遵循AudioLM[7]的流程，包含三个自回归阶段：第一个变换器根据视觉特征（以及可选的MuLan嵌入）预测音乐语义标记；接下来的两个仅为解码器的变换器则将语义标记转换为粗略和精细的声学标记；最后由SoundStream解码器还原出音频。Encodec与MusicGen的组合已被广泛用于V2M生成任务[80, 87, 130, 172]。Wu等人[142]同样采用Encodec作为默认的压缩模型，并使用带有特殊时间掩码的仅解码器型变换器，迫使每个音乐标记仅关注附近的视频帧，从而实现从全局到局部语境的层次化对齐，提升节奏一致性。Rhythm-Controllable MusicGen[146]则整合了节奏条件器、T5文本编码器以及MusicGen解码器，通过自回归方式生成音乐代码库投影。You等人[155]首先用Conv1D层压缩预测出的音乐特征，然后通过一种类似解码器的交叉注意力模块生成音乐嵌入，其中查询项为经过位移的真实音乐嵌入，而键值项则为预测出的音乐特征。尽管预训练的文本到音乐模型[18, 32]已展现出生成高质量且多样化音乐的能力，但当前大多数模型仅能控制音乐的整体属性，无法操控节奏等动态特性，因此难以直接应用于V2M生成任务。为解决这一问题，Li等人[77]提出了VidMusician，这是一种基于两阶段MusicGen的模型，通过语义特征捕捉整体内容，同时通过零初始化和恒等初始化的方式融入节奏线索。Li等人[74]学习了两种能够代表舞蹈视频中节奏和风格的伪词，并将其纳入文本编码器的词汇表中，用以引导基于变换器的MusicGen[18]或基于扩散模型的Riffusion[32]以及AudioLDM[82]进行音乐生成。Guan等人[39]首先根据视觉条件生成音乐的文本描述，再利用预训练的MusicGen生成对应的音乐。在缺乏配对数据的情况下，LLM通过三步思维链（CoT）推理来实现视觉描述与音乐描述之间的映射。最近的大型语言模型[70, 84]也采用了预训练的MusicGen进行跨模态音乐生成，由于拥有基于AudioSet的[35]MUVideo数据集，这类模型在处理时长为10秒的短视频时表现良好。3.3.2非自回归建模。在符号化建模方面，给定五帧连续的灰度视频帧，Koepke等人[62]和Su等人[118]预测了位于中间视频帧周围的所有音符起始点。Koepke等人[62]将某帧视频的所有输出通过高斯滤波器处理以实现时间平滑处理，之后对其进行阈值处理，得到可用于MIDI转换的逐音符二进制输出。Su等人[118]则训练了一个GAN[38]，将预测结果向使用Onset and Frames框架[42]得到的伪GT MIDI靠拢，随后再通过基于深度学习的MIDI合成器将MIDI转换为频谱图。Li等人[76]首先将原始MIDI文件转换为钢琴卷帘图形式，然后使用潜在扩散模型作为生成器，根据视频内容生成相应的钢琴卷帘图。在音频生成领域，最初人们常用VAE和GAN这类经典生成模型来进行V2M生成。为在无监督环境下从视频中生成多乐器音乐，Su等人[119]提出了一种多带残差一维卷积VQ-VAE模型，用于学习各类乐器音乐的离散潜在表示。训练完成后，自回归先验网络首先根据音乐家的动作特征生成离散潜在表示，随后再通过VQ-VAE解码器对这些潜在表示进行解码，从而生成特定乐器的音乐。为应对音频数据维度过高的问题，Zhu等人[169]提出了D2M-GAN，这是一种基于卷积的VQ生成器，配有多尺度判别器，能够从融合后的舞蹈动作与视觉数据中生成VQ码，随后再由JukeBox[25]进行解码。然而，波形数据的极高变异性（如乐器相位、能量和音色的变化较大）使得直接建模高质量波形十分困难，因此生成的音乐往往包含奇怪的杂音[40]。此外，VQ音频表示的解码速度较慢，导致生成的音乐时长较短（通常为2至6秒）[157, 162]。扩散概率模型（DPMs）[47, 116]的出现彻底改变了内容生成的模式。与直接处理高维原始数据不同，潜在扩散模型（LDMs）在压缩后的潜在空间（如VAE或VQ-VAE）中运行，效率更高。一旦生成过程完成，解码器就会将潜在表示重新还原为原始形式。VAE与LDM或流匹配模型的组合已被广泛用于V2M生成任务。作为D2M-GAN[169]的后续研究，Zhu等人[170]提出了一种对比度扩散框架，该框架结合了潜在扩散训练与对比学习[97]，能够完成包括舞蹈转音乐生成在内的多种多模态条件生成任务。Tan等人[126]则利用基于UNET的潜在扩散模型与预训练的VAE模型相结合的方式，实现了从3D动作到舞蹈音乐的生成，不过生成的音频时长仅限于5秒左右。LORIS[157]则通过带有分层交叉注意力模块的LDM，能够生成长度达25至50秒的长期波形，该模型可依次考虑视觉、节奏和风格等条件。Zhang等人[162]首先使用预训练的Diffusion Magnitude Autoencoder（DMAE）[111]将音乐压缩到潜在空间中，随后提出了基于U-Net的舞蹈转音乐扩散生成器，用于生成潜在音乐表示。Li等人[73]则采用了基于流匹配的音乐生成方法，并利用预训练的无条件DiT生成器来继承其生成能力。其他扩展方案还包括利用正负条件共同作用的双扩散机制[122]、结合AudioMAE与UNet扩散模型以实现音乐与音效联合生成的条件下音轨生成器[103]，以及MotionComposer[139]——这是一种两阶段扩散框架，首先预测节拍，然后利用视觉嵌入、检索到的和弦参考以及BeatNet预测出的音乐节拍来构建和弦。此外，最近的VeM[132]、Diff-V2M[56]和GACA-DiT[138]也都以LDM或潜在流匹配模型作为V2M生成的底层生成架构。虽然并非专门为V2M生成设计，但Ruan等人[108]提出了MM-Diffusion，这是首个用于音频与视频联合生成的多模态扩散模型。该模型采用了耦合式的U-Net架构，分别为音频和视频设置独立的U-Net结构，并通过带有随机位移注意力掩码的多模态注意力机制，高效地实现两种模态的对齐。尽管MM-Diffusion最初是为音频与视频的联合生成设计的，但它也能以零样本迁移的方式实现视频转音频的功能。类似地，MM-LDM[123]也是一种专为视频和音频分别设计的基于两个LDM的音视频联合生成模型，当被扩展用于视频转音频任务时，也表现出出色的适应性。MoMu-Diffusion[154]则能够支持包括动作转音乐、音乐转动作以及动作与音乐联合生成在内的多种任务，该模型同样采用了基于变换器的扩散模型。除此之外，诸如多模态转音乐、多模态转多音频以及多模态转多模态之类的更广泛的框架也能够用于支持V2M生成。Visual Music Bridge（VMB）[137]能够从文本、视频和图像等多种输入模态中生成音乐，它将两种明确的桥接机制（即文本桥接和检索音乐桥接）整合到文本到音乐扩散变换器中，也就是stable audio open[30]。最近的大型语言模型如MuMu-LLaMA[85]和Next-GPT[143]则采用了包括AudioLDM[82]和AudioLDM 2[83]在内的基于扩散的模型，用于实现跨模态音频生成。像CoDi[127]和Diffusion Latent Aligner[147]这类通用多模态扩散模型也可用于V2M生成任务，不过由于可用音乐数据量有限，其性能会受到一定限制。AudioX[129]则将一切内容到音频的生成任务统一在同一个扩散变换器中，能够处理文本、图像、视频和音频等各类输入；而AudioGenie[107]则提供了一种无需训练的多智能体框架，可处理包括文本、图像、视频及其组合，以及音效、语音、歌曲、音乐及其组合在内的多种输入类型。All2All多模态基础模型旨在构建一个统一的框架，用于实现多模态的理解与生成，从而支持在文本、图像、音频和视频等多种模态之间进行灵活的双向映射与联合生成。从这个意义上说，All2All模型与V2M生成之间的关系，就如同通用框架与特定应用之间的关系。与注重普遍性和全面能力的All2All模型不同，V2M任务更强调针对性的建模与领域适配，对节奏同步、属性可控性等方面有着更高的要求。虽然All2All模型能够提供强大的通用表示能力以及出色的迁移潜力，使其适合作为V2M任务的底层架构或预训练基础，但它们在细粒度控制能力方面往往表现不佳，因此需要针对特定任务设计专门的模块并进行领域适配的微调，才能满足V2M生成的特殊需求。3.3.3总结。综上所述，在V2M生成领域，音频已逐渐取代符号化音乐，成为主流的输出格式。这一趋势主要得益于大规模模型的发展以及获取大规模音频数据集的相对便利性。此外，音频通常具有更强的表现力，能够传递更丰富的音乐细节，且无需经过MIDI合成或渲染之类的额外处理步骤。尽管自回归模型与非自回归模型之间存在固有的优缺点，但两者至今仍被广泛使用。自回归模型虽然推理速度较慢，但能够保留更长的音乐结构；而非自回归模型则往往能生成保真度更高、音色细节更丰富的音频。尤其是流匹配方法，相比基于扩散的方法，其训练过程更加稳定，所需的采样步骤也更少，因此推理速度明显快于自回归模型。3.4方法比较由于大多数V2M生成系统都是在不同的数据集上训练和评估的，使用的预处理流程也各不相同，而且不同研究报道的指标数值也存在差异，因此要对现有的V2M生成系统进行直接的定量比较十分困难。这些差异使得人们很难将各种结果整合为一个统一的评估标准，也无法确定哪种方法是目前最先进的。为解决这一限制，本节提供了现有方法的公开演示链接（如有），以便进行主观评估。除了生成质量外，我们还从多个实际应用和工程角度对各种方法进行了比较，比如推理延迟、训练需求以及模型规模和计算成本。表2列出了演示视频、生成时长、模型规模及训练资源，便于直观地进行对比。由于逐一进行全面比较并不现实，后续讨论将从高层次对比自回归与非自回归方法。

表2. 方法　演示视频　音乐时长　模型规模　训练资源
Silent Performance　Audeo [118]　链接　30秒–2台Titan X GPU　Foley Music [33]　链接　6秒--MI Net [119]　链接　4秒--舞蹈或体育　Dance2Music [3]　链接　约12秒　3M-Rhythmic-Net [120]　链接　16小节　359M　2台Titan X GPU　D2M-GAN [169]　链接　2秒　535M　CDCD [170]　链接　6秒　6.4G　4台NVIDIA RTX A5000 GPU　LORIS [157]　链接　25秒或50秒　3.12G　8台NVIDIA A100 GPU　Motion to Dance [126]　链接　5秒　846M　1台NVIDIA RTX A5000 GPU　Dance2MIDI [40]　链接　30秒--Textual Inversion [74]　链接　5.12秒　约25G　1台NVIDIA A40 GPU　Dance2Music-Diffusion [162]　链接　5.9秒　约900M　1台NVIDIA RTX 2080ti GPU（11GB）　MoMo-Diffusion [154]　链接　25秒或50秒　8台NVIDIA 4090 GPU　MotionComposer [139]　链接　25秒　1台NVIDIA A6000 GPU　GACA-DiT [138]　链接　5秒--通用　CMT [26]　链接　3分钟　188M　4台RTX 1080Ti GPU　V-MusProd [171]　链接　6分钟　1台V100 GPU　MuMu-LLaMA (M2UGen) [84]　链接　30秒　约25G--Video2Music [58]　链接　300秒　125M　NVIDIA Tesla V100 DGXS 32 GB GPU　Diff-BGM [76]　链接　8小节　506M　V2Meow [117]　链接　10秒--VidMuse [130]　链接　30秒　7.87G　64台H800 GPU　MuVi [73]　链接　4秒–30秒　8台NVIDIA V100 GPU　VMAS [80]　链接　10秒　32台NVIDIA GPU（4000G）　VidMusician [77]　链接　30秒　约100M　4台NVIDIA Tesla V100-SXM2 GPU　SONIQUE [164]　链接　23.8秒　33G　4台RTX8000 GPU　Mozart’s touch [70]　链接　10秒　约25G　1台NVIDIA RTX 3090 24GB GPU　Visuals Music Bridge (VMB) [137]　链接　30秒　4台NVIDIA A100 GPU　XMusic [128]　链接　30秒–2分钟　8台NVIDIA A800 GPU　EMSYNC [121]　链接　1分钟　约150M　1台NVIDIA A100 80GB GPU　CoT-VTM [39]　链接　10秒　1台NVIDIA RTX A6000 GPU　FilmComposer [146]　链接　30秒　1台NVIDIA A6000 GPU　VeM [132]　链接　10秒–60秒　1台NVIDIA A100 GPU　Diff-V2M [56]　链接　30秒　23.4G　2台NVIDIA A100 GPU

视频转音乐生成方法的比较
需注意，本表仅列出有演示版本的方法，以便公平比较生成质量。

3.4.1 训练
不同的视频转音乐生成方法在数据量和计算需求方面存在差异。符号音乐模型通常需要更小的架构，且训练资源需求更低，这得益于其符号表示的紧凑性，相比高采样率的音频更具优势。而像VidMuse、VMAs这样的自回归音频令牌模型，则往往需要大量内存并处理较长的注意力跨度，从而导致较高的计算成本。相比之下，非自回归方法，尤其是基于扩散和流匹配的模型，还需要额外的潜空间学习与多阶段训练。扩散框架的训练复杂度通常高于自回归方法，而流匹配变体则因优化更稳定、收敛更快，在不牺牲表现力的前提下具有更高的计算效率。

3.4.2 推理
不同架构的推理行为也存在显著差异。自回归方法逐个生成音乐令牌，因此延迟会随输出长度增加而上升。尽管KV缓存、分块注意力机制和分层令牌化等技术可部分缓解这一问题，但自回归模型本质上仍属于顺序处理方式。扩散模型则需要通过多次采样步骤进行迭代去噪，因此尽管其生成的音频具有很高的保真度和细节度，但每个音频窗口的推理延迟仍相对较高。若没有高效的采样加速技术，这类模型难以实现实时或交互式应用。相比之下，流匹配模型由于采样步骤更少，且对生成轨迹的参数化更为高效，因此推理速度更快。这样一来，流匹配模型在延迟与音频质量之间实现了更好的平衡，尤其适用于交互式或低延迟的视频音乐应用。

3.4.3 模型规模
模型规模和计算成本进一步区分了这些方法。符号音乐生成系统仍是最为轻量级的，能够以较低的硬件要求实现高效训练，并支持生成较长时长的音乐内容。自回归音频模型在参数量和存储容量方面处于中等水平，但其顺序解码方式在推理时会带来较大的计算负担，尤其是在处理高分辨率音频时。扩散模型和流匹配架构的模型结构通常更大，因此需要更多的内存和存储资源。不过，这类更大的模型往往能呈现出更丰富的音色和声学细节。此外，基于文本转音乐技术的模型，如MusicGen、AudioLDM和Stable Audio，由于其采用了大容量的模型架构，通常也具有相当大的模型规模。

4 数据集
本节从视频类型的角度对现有的多模态视频音乐数据集进行了分类。这些数据集的简要介绍及获取方式汇总于表3中。如需了解各数据集的详细信息，请参阅补充材料（第2节）。

表3. 数据集　年份　视频类型　音乐类型　标注内容　规模　获取方式
URMP [68]　2018　无声表演　符号音乐与音频　乐器、音符标注、音高曲线　44（1.3小时）　链接
MUSIC [165]　2018　无声表演　符号音乐　乐器　714（23.8小时）　链接
CoP Benchmark [81]　2025　无声表演　符号音乐与音频　10小时　链接
AIST [135]　2019　舞蹈　音频　舞蹈类型、舞者、摄像机视角、编舞　13,940（118.1小时）　链接
AIST++ [71]　2021　舞蹈　音频　舞蹈类型、舞者、摄像机视角、编舞　1,408（5.2小时）　链接
TikTok Dance-Music [169]　2022　舞蹈　音频　445（1.5小时）　链接
LORIS [157]　2023　舞蹈、地面动作、花样滑冰　音频　类型　16,593（86.43小时）　链接
InDV [74]　2024　舞蹈　音频　舞蹈类型　595（0.85小时）　链接
HIMV-200K [48]　2018　通用　音频　视觉元素　200,500　链接
MusicCaps [4]　2023　通用　音频　音乐标题、音乐特征：类型、情绪、节奏、歌手声音、乐器、不协和音、节奏等　5,521（15.34小时）　链接
SymMV [171]　2023　通用：音乐视频　符号音乐与音频　类型、歌词　1,181（78.9小时）　链接
MuVi-Sync [58]　2024　通用：音乐视频　符号音乐与音频　场景偏移、情绪、动作、语义、和弦、调性、音量、音符密度　784　链接
Popular Hooks [144]　2024　通用：音乐视频　符号音乐与音频　歌词、调性、和弦进行、结构、类型、情绪、地区　38,694（249小时）　链接
BGM909 [76]　2024　通用：音乐视频　符号音乐与音频　和弦、节拍、调号、语言描述、镜头切换、歌词、类型、节奏模式　909　链接
V2M [130]　2024　通用　音频　视频类型　360k（18,000小时）　链接
MusicPro-7k [146]　2025　通用：电影　音频　描述、节奏节点、主旋律　7,418　链接
HarmonySet [167]　2025　通用　音频　视频类型、关键时刻、内容匹配度、叙事增强、视频与音乐关系的详细描述　48,328（458.8小时）　链接
OSSL [60]　2025　通用：电影　音频　情绪、电影类型　736（36.5小时）　链接

数据集总结
需注意，本表仅列出可公开下载的数据集。

5 评估
在人工智能生成内容领域，评估通常包括客观指标和人类主观评价，这样才能全面了解模型的性能。视频转音乐生成领域也不例外。本节总结了V2M生成任务中常用的评估指标。

5.1 客观指标
V2M生成的客观评估通常涵盖以下方面：（1）音频保真度；（2）生成音频的多样性；（3）给定视频与生成音乐之间的语义一致性；（4）给定视频与生成音乐之间的时间同步性。

保真度。对于符号音乐，人们常用一些统计描述指标[26, 40, 76, 78, 120, 128, 151]来评估生成音乐的质量，比如每小节的音高数量、平均音高间隔、平均音符起始间隔、音高类别直方图熵、节奏模式相似度、音阶一致性、空拍率等。Ji等人[57]已对这些符号音乐生成的客观指标进行了系统总结。而对于音乐音频，则有多种广泛采用的评估指标，如下所示：

Frechet音频距离[FAD][4, 117, 126]通过衡量生成音频与真实音频的相似度来评估音频质量。FAD值越低，说明音频越逼真。该指标的计算依赖于音频嵌入模型，常用的模型包括VGGish[45]和PANNs[63]。

Kullback Leibler散度[KLD][117, 126]可用于反映生成样本与参考样本之间的声学相似性，它是基于PANNs的多标签类别预测结果计算得出的[130]。此外，借助预训练的 genre分类器，如MS-SincResNet[13]和LEAF分类器[161]，该指标还可以用来衡量生成音乐的预测类别概率与真实音乐类型标签之间的距离。

Frechet Inception距离[FID][46]最初是用于评估GANs中的图像质量，它通过衡量真实样本和生成样本的InceptionV3[125]预分类特征分布之间的距离来实现评估。Liu等人[86]将InceptionV3的输入改为2D幅度频谱，并在Groove MIDI数据集[36]上对其进行训练，用以对12种鼓类风格进行分类。之后，通过从两组样本的最后一层提取的2048维向量来计算FID值。

密度[96, 130]用于衡量生成样本与真实样本的相似程度，它会奖励那些真实样本密集区域的样本，从而降低对异常值的敏感度。

MuLan循环一致性[MCC][4]用于判断生成的音乐在语义上是否与参考音频或文本相关。在V2M任务中，Su等人[117]将MCC定义为生成音乐音频的MuLan[53]音频嵌入与真实音频嵌入之间的平均余弦相似度。类似地，CLAP得分[74, 77, 145]则是通过计算真实音乐与生成音乐的CLAP嵌入之间的平均余弦相似度得出的。

多样性。统计不同区间数量指标[NDB][33, 86, 120, 151]用于评估生成音频的多样性。计算NDB时，首先使用k均值算法将训练样本聚类为k个Voronoi区域，测试集中的每个生成样本会被分配到最近的区域。NDB的值表示训练样本与测试样本在显著不同的区域数量，该数值越低越好。

多样性。Li等人[76]提出了一种评估生成音乐多样性的指标。他们将生成的音乐随机分为两组，每组的样本数量相同。生成音乐的多样性定义为两组中对应样本的音乐特征之间的平均欧几里得距离。

覆盖度[96]用于衡量真实样本中有多少样本的邻域内至少包含一个生成样本，也就是评估生成样本是否能覆盖真实样本中的所有变化范围[130]。覆盖度的取值范围在0到1之间。

基于色度的多样性[146]是通过计算所有不同样本对之间的平均差异来得出的：D=1?2N(N?1)∑i=1N∑j=i+1NSimilarity(Ci,Cj)，其中N是所有色度特征矩阵的总数，Ci是集合中的第i个色度特征矩阵，Similarity(Ci,Cj)则是Ci与Cj之间所有片段的整体相似度。

语义一致性。类型准确率得分[169, 170]用于评估生成的音乐样本与舞蹈风格的类型是否一致。首先从具有相同序列长度的原始音频样本构成的段落级数据库中，找出与生成音乐相似度最高的音乐样本。相似度得分是通过基于AudioSet[35]预训练的类似VGG的网络[45]提取的音频特征之间的欧几里得距离来确定的。如果找到的音乐样本与给定的舞蹈风格类型相同，则认为该段落在类型上是准确的。随后，类型准确率是通过Sc/St来计算的，其中Sc表示类型准确的段落数量，St则是测试集中段落的总数。需要注意的是，计算这一客观指标需要舞蹈和音乐类型的标注信息。Liang等人[78]提出了类型准确距离GAD，将其定义为类型准确的音乐特征与最接近的真实音乐特征之间的平均距离。

视频音乐CLIP精确度[VMCP][171]用于衡量视频与音乐之间的对应关系。首先为这一基于检索的指标预训练一个视频音乐CLIP模型，其原理类似[149]。给定一段生成的音乐音频后，VMCP是通过该CLIP模型从M个候选视频中检索出排名靠前的K个视频的准确率来计算的。具体而言，会先计算生成样本与其对应视频以及另外M-1个随机抽取的视频之间的余弦相似度得分，并对这些得分进行排序。该模型会使用所有的生成样本进行测试，最终以成功检索的比率作为精确度得分。Zhuo等人[171]在实验中将M设置为70，K设置为5、10、20。

音乐检索精确度。Li等人[76]提出了一种名为音乐检索的新指标，用于衡量音乐与视频的一致性。给定一段生成的音乐及其对应视频的真实音乐后，他们会随机选择M-1段音乐作为干扰项。使用Musicnn[101]为每段生成的音乐提取音乐特征。如果真实音乐在排名中位于前K位，则视为检索成功。所有生成样本的检索成功比率被用作最终的精确度得分P@K。他们将M设置为64，K设置为5、10、20。由于真实音乐与给定视频相关，这一检索精确度指标能够衡量生成音乐与给定视频的匹配程度。这一指标与VMCP的理念类似，只不过它是计算音乐样本之间的相似度，而VMCP则是计算音乐与视频之间的相似度。

Imagebind得分[IS][37, 77, 94, 130]用于衡量生成音乐与视频的匹配程度。具体而言，它是通过计算音频和视频嵌入之间的余弦相似度来评估二者的语义相关性。尽管Imagebind将CLIP扩展到了六种模态，但实际上只使用了音频和视觉两种模态。需要指出的是，ImageBind并非专门在音乐数据上训练的。同样，LanguageBind[168]也能将视频和音乐映射到统一的文本潜在空间，然后通过计算嵌入之间的余弦距离来得到LanguageBind（LB）得分。Li等人[73]则是通过计算视频帧数范围内视频表示与音乐表示之间的平均余弦相似度来得到该得分。此外，刘等人[84]为了排序目的计算了相似度分数，从而得到了ImageBind排名（IB Rank）。CLAPScore[137]也可用于衡量视频映射的音乐描述与生成音乐之间的匹配程度。上述几种指标都采用了余弦相似度这一概念来评估同一模态或不同模态之间的一致性，比如MCC、IS、LB Score和CLAPScore。具体而言，MCC侧重于衡量生成音乐与真实音乐之间的相似性，更关注音乐本身的内容真实性，而IS等其他指标则着眼于视频（或基于视频的文本）与生成音乐之间的相似性，更能体现跨模型的语义对齐程度。因此，在视频到音乐的生成任务中，后者通常更适合作为跨模态对齐指标。

时间同步方面，节拍覆盖率得分（BCS）[126, 169, 170]计算的是生成音乐中的总节拍数与真实音乐中总节拍数的比例。节拍命中率得分（BHS）[126, 169, 170]则是衡量对齐后的生成节拍数与真实音乐中总节拍数的比例。此外，余等人[157]还计算了BCS和BHS的F1值作为综合评估指标，并报告了这两项指标的标准差（分别称为CSD和HSD），以此来评估生成的稳定性。他们还将BCS调整为对齐节拍数与生成音乐中总节拍数的比例，用以评估长时长音轨的质量。节拍对齐得分（BeatAlign）[78, 126]源自音乐到舞蹈的研究[72, 115]，用于评估动作与音乐之间的关联程度。该得分通过计算每个运动节拍（根据动能速度的局部最小值确定）与最近的音乐节拍（使用Librosa库[92]提取）之间的平均距离来量化二者之间的关系。另外，李等人[77]提出了一种新的指标，该方法利用SceneDetect[12]识别出视觉变化剧烈的帧，再结合类似BHS的机制来衡量节奏对齐程度。该指标通过计算在允许0.1秒时间容差的条件下，与音乐节拍对齐的场景变化帧的比例来体现对齐程度。

音视频对齐得分（AV-Align）[121, 152]则分别检测音频和视频中的能量峰值，进而衡量二者重合的程度。音频峰值是通过起始点检测算法[6]获得的，而视频峰值则是通过计算每帧的平均光流幅度并识别快速的时间变化来确定的。对于某一模态中的每个峰值，该方法都会验证在三帧时间窗口内另一模态中是否也检测到了相应的峰值，反之亦然。最终得分会根据峰值总数进行归一化处理，其数值范围在0到1之间。节奏差异值（TD）[74]则是生成音乐与真实音乐之间节奏差异的L1范数平均值。节拍交并比（IoU）[132]这一指标用于衡量在特定阈值范围内，生成音乐中检测到的节拍数Bsyn与真实音乐中的节拍数Bgt之间的重叠程度，计算公式为：BIoU = Bgt∩Bsyn / (Bgt∪Bsyn)。跨模态相关性（CMR）和时间对齐度（TA）[142, 155, 172]则是用于评估视频与音乐之间的整体及局部（时间）对应关系。这两种指标都基于同一个计算值——即由专门训练的评估模型计算得到的交叉注意力矩阵a(v,m)对角线元素的平均值。CMR作为整体指标，其评估模型是通过InfoNCE损失函数（对比学习）来训练的，旨在最大化这种相关性；而TA作为局部指标，则是通过使用MSE损失函数来训练模型，从而实现対角线相关性的最大化。

5.2 主观评估

人类主观评估被广泛视为评估生成模型的黄金标准。如[57]中所述，主观评估包括图灵测试[33]、二元/多项选择比较[3, 80, 84, 120, 171]，以及基于主观标准的评分[26, 169]等方法。其中最基础且应用最广泛的指标就是平均意见得分（MOS）[105]。在评估视频到音乐的生成效果时，甘等人[33]在Amazon Mechanical Turk平台上开展了听力研究，旨在定性比较生成音乐的质量。还有一些研究[40, 58, 70, 74, 169, 170]通过MOS人类测试来评估视觉与音乐之间的协调性以及音乐样本的整体质量。李等人[73]和童等人[132]则分别采用了5分制和10分制的李克特量表进行人类评估，并给出了音频质量（MOS-Q）和内容对齐度（MOS-A）的数值，同时给出了95%的置信区间。生成音乐的质量通常从以下几个方面进行评估[39, 56, 58, 76, 78, 121, 128, 130, 137, 171]：——音频质量：音频的感知清晰度与保真度；——丰富性：音乐在旋律、和声、节奏、音色等方面的丰富程度；——结构：旋律与节奏的结构一致性；——音乐性：与音频质量无关的音乐美学价值；——整体音乐质量：与视频内容无关的生成音乐的整体质量；——节奏/内容/情感/主题/风格上的对应性：音乐与视频在节奏、内容、情感、主题或风格方面的匹配程度；——综合评价：综合考虑以上所有方面的音乐质量。

5.3 总结

这些指标从不同角度相互补充，共同用于评估视频到音乐生成方法的质量。例如，语义对齐指标基于全局信息来衡量跨模态的对应关系，但可能忽视视频与音乐之间细微的时间对应性，而时间同步指标则可以弥补这一问题，反之亦然。近期，施等人[113]提出了一种名为VERSA的通用评估工具包，可用于语音、音频和音乐领域的评估，该工具包提供了63种指标，还有711种基于不同配置的指标变体。在音乐生成方面，VERSA能够自动计算之前提到的FAD、KLD、CLAP、密度和覆盖率等指标，有助于提升研究的公平性、可重复性，并提供有价值的洞察。不过，VERSA更多侧重于基于文本的外部资源，如转录文本和字幕，缺乏专门用于评估视频与音乐之间语义和节奏对齐程度的指标。

6 挑战

视频到音乐生成领域在跨学科创新方面具有巨大潜力，它连接了计算机视觉、音频处理和人工智能等多个领域。随着技术的发展，这一领域有望为娱乐、教育以及虚拟现实等行业带来革命性变革，让音乐能够动态地适配视觉叙事，从而创造出沉浸式体验。此外，将美学原则与不同文化的音乐传统相结合，还有可能打造出具有普遍感染力的配乐，为全球故事讲述增添丰富内涵。根据上述综述，近年来关于视频到音乐生成的研究日益增多，人们在生成在语义和时间上都能与给定视频相对应的音乐方面取得了显著进展。然而，仍存在一些尚未解决的挑战，具体如下：

质量方面。这一挑战涉及生成音乐的音乐性以及其与视频的对齐质量。如何在创作自由度与同步精度之间找到最佳平衡，仍是亟待解决的关键问题。只有做到恰当平衡，才能确保音乐既富有吸引力，又能与视频的节奏和语义完美契合。需要说明的是，这里所说的质量并不包括声音质量。

叙事层面的对齐。一个长期存在的挑战是实现叙事层面的对齐，这要求模型不能仅停留在简单的节拍或氛围同步上，而要能够跟随视频不断发展的叙事脉络。目前的视频到音乐系统缺乏理解高层次故事发展能力的机制，比如情节紧张感的逐步积累、情感转折点或角色驱动的变化等，因此生成的音乐往往无法把握整体的叙事节奏。要实现具备叙事意识的生成，就需要更丰富的视频表征方式、长序列建模技术，以及能够体现故事结构而非短期时间模式的新学习目标。

外部控制方面。(1) 流派控制。专用模型生成的音乐流派在很大程度上取决于训练所用的数据集。虽然预训练的文本到音乐模型在控制生成音乐的整体属性方面具有更大灵活性，但它们往往难以维持时间同步，主要是因为仅通过简短的文本描述很难准确捕捉随时间变化的节奏特征。(2) 情感控制。目前的视频到音乐生成方法大多忽视了捕捉和传达情感内容这一重要方面，这很可能是因为缺乏带有详细情感标注的视频与音乐数据集。尽管有一些方法试图从视频中提取情感，但其在捕捉和表达预期情感方面存在不准确性。与流派控制类似，预训练的文本到音乐模型也可以用来引导生成音乐的情感基调，但这些方法同样面临着将不同情感转化为文本嵌入的难题。

精细编辑方面。在某些情况下，用户可能只对生成音乐中的某个特定部分不满意，比如某件乐器或几秒钟的片段。在这种情况下，无需重新生成整个音轨，只需修改那些不符合要求的部分即可。然而，目前的视频到音乐生成方法还不支持此类精细编辑和控制。虽然现有的音乐编辑技术确实存在，但在视频到音乐生成的背景下，任何编辑都必须保持与视频内容的对齐和一致性。

统一框架方面。目前的做法是为以人为中心的视频和普通视频分别采用不同的特征提取方法，每种方法都侧重于视频特征的不同方面。例如，在以人为中心的视频中，节奏通常是从人体动作中提取的；而对于普通视频，节奏则一般通过场景切换或视觉节奏来推断。目前还没有一种统一的框架能够以一致且连贯的方式处理这两种情况。尽管刘等人[87]声称他们的逐帧动态特征编码方法能够解决不同场景下的时间同步问题，但他们的实验并未对时间对齐进行明确评估，这一说法仍有待进一步验证。

个性化方面。个性化的视频到音乐生成目前仍是一个几乎未被探索的领域。现有的方法未能充分考虑到个体偏好，比如根据特定的文化背景定制音乐，或模仿用户提供的参考音乐。实现个性化需要模型能够在不牺牲质量或对齐度的情况下，适应用户的具体需求。

联合生成方面。针对视频与音乐之间的联合生成框架的开发目前仍不够充分。现有的联合生成研究主要集中于以人为中心的视频，而忽视了其他类型的普通视频。如果能够构建一个整合视频到音乐生成和音乐到视频生成过程的闭环系统，就能实现跨模态特征的相互修正和优化。这种融合思路凸显出未来研究需要同时优化两个方向，解决特征对齐一致性、时间同步以及双向生成中的语义连贯性等问题，从而促进跨模态理解与生成的更深层次整合。

人机协同创作方面。生成模型应当作为艺术家的协作工具，而非完全自主的系统，视频到音乐生成也不例外。实现这一愿景需要解决前面提到的可控性和可编辑性等挑战。未来的系统或许能够支持迭代式和交互式的 workflows，比如提供草稿版本和精细控制功能，同时实现双向反馈——用户可以完善AI的输出，而系统则能根据用户的创意意图进行调整，从而进一步拓展视频到音乐生成的表达空间。

标准化与统一评估方面。在生成模型领域，建立标准化的评估框架仍然是一个未解之题。与分类任务不同，分类任务可以使用准确率或F1值等明确的指标来进行评估，而生成内容则往往需要在不同研究中使用不同的评估指标。此外，由于持续存在大量真实世界数据，至今仍未建立起统一的数据集，这就使得在基于不同数据集训练的模型之间进行比较变得不可靠。如果能够开发出像MARBLE[159]这样的标准化基准和评估方案——该方案为各种音乐信息检索任务提供了评估标准——将大大缓解这一问题。

非器乐类音乐方面。据我们所知，现有的视频到音乐生成方法主要集中在器乐音乐上，缺乏对声乐元素（如歌词和演唱）以及其他听觉元素，如音效和人声对话的支持。要将这些方法扩展到包含非器乐元素的内容，面临诸多独特挑战，尤其是如何实现声乐元素与视频的叙事结构和节奏模式之间的同步，以及如何确保视觉事件与音效之间的精确时间对齐。

体积视频方面。据我们所知，现有的视频到音乐生成研究很少涉及为体积视频生成空间或立体声背景音乐。立体声或多通道音频能够营造出空间感和方向感，这对于提升观看3D或沉浸式内容时的沉浸体验至关重要。未来的研究可以探讨如何利用体视频的3D结构、视角变化以及动态场景信息来生成与空间特征相匹配的背景音乐，从而提升真实感与整体的沉浸式体验。7 结论本文对利用生成式AI技术实现视频到音乐的转换进行了全面综述。文章重点关注生成算法，这类算法通常由三个关键部分组成：条件输入构建、条件机制以及音乐生成。这些组成部分的设计会根据视频和音乐这两种模态的独特特性而有所差异。因此，我们首先对视频和音乐这两种模态进行了细致的分类与分析。随后，我们研究了现有研究中针对这三个组成部分所采用的设计方案与策略选择。这种结构化的组织方式便于研究人员参考适用于类似视频场景或音乐输出格式的方法，同时也有助于对各个组成部分进行有针对性的改进，或是通过灵活组合不同模块来开发新的方法。此外，我们还介绍了现有的视频-音乐数据集及评估指标，最后指出了当前方法中存在的一些挑战。希望这份综述能够帮助研究人员快速了解视频到音乐生成领域的现状，并从数据与算法两个层面为后续研究提供指导。尽管本文主要聚焦于视频到音乐的生成，但它也为更广泛的跨模态或多模态生成任务提供了有价值的见解，具有重要的学术价值、应用价值以及社会意义。