基于多维度条件扩散模型的音乐合成：提升真实感与声学控制

《IEEE Transactions on Audio, Speech and Language Processing》：Multi-Aspect Conditioning for Diffusion-Based Music Synthesis: Enhancing Realism and Acoustic Control

本文针对扩散模型在音乐合成中难以精确控制声学与音色、依赖高质量标注数据的问题，提出了一种基于多维度条件（包括乐谱相关和演奏版本相关条件）的扩散模型框架。研究通过利用MIDI对齐乐谱和自动多乐器转录技术，有效利用真实音频数据训练模型，显著提升了合成音频的真实感，并实现了对特定演奏版本声学特性的精确控制。该研究为数据驱动的音乐合成提供了更高的真实性和可控性，具有重要的应用价值。

　　

在音乐创作与制作领域，一个长期存在的挑战是如何从符号化的乐谱（如MIDI文件）生成既逼真又富有表现力的音频。传统方法如拼接合成和物理建模虽然能提供一定的控制力，但在音色真实感和表现力方面往往捉襟见肘。例如，试图用传统方法重现柏林爱乐乐团浑厚的交响乐音色，或模拟传奇吉他大师塞戈维亚在1975年录音中的独特琴声，几乎是不可完成的任务。近年来，基于去噪扩散概率模型（DDPM）等数据驱动方法在生成逼真音频方面取得了显著进展，但它们也面临着新的瓶颈：一是对声学、音色等方面的精确控制能力不足，容易出现乐器音色在不同段落间不一致的“音色漂移”问题；二是严重依赖大量带有精细标注（如音符、乐器）的高质量训练数据，这通常意味着只能使用特定策划的数据集或质量较低的合成数据，从而限制了合成音频的真实感。

为了解决这些挑战，发表在《IEEE Transactions on Audio, Speech and Language Processing》上的一项研究提出了一种创新的解决方案——一种基于多维度条件控制的扩散模型框架，用于音乐合成。该研究由Ben Maman、Johannes Zeitler、Meinard Müller和Amit H. Bermano共同完成，旨在显著提升合成音乐的真实感，并引入对演奏版本声学特性的精细控制。

为了开展这项研究，研究人员主要运用了几项关键技术。首先是采用了两种获取高质量乐谱标注的途径：MIDI对齐乐谱和基于神经网络（Maman和Bermano提出）的自动多乐器转录技术，从而能够利用大量未经过多策划的真实多乐器演奏音频进行训练。其次，研究核心是多维度条件控制机制，模型同时接受乐谱条件（控制音符、乐器）和版本条件（控制声学环境、演奏风格、特定音色）。版本条件通过特征线性调制（FiLM）层嵌入到扩散模型中（无论是T5 Transformer还是U-Net架构）。最后，为了生成长时间音频并确保段间平滑过渡，研究采用了重叠生成技术，并在采样时使用了分类器无引导（CFG） 技术来增强条件控制的效果。

multi-aspect conditioning

研究提出的核心创新是多维度条件控制。如图1所示，模型生成过程同时受到乐谱（Score）和版本（Version）两方面条件的约束。乐谱条件提供了音乐内容（音符、乐器、时序），而版本条件则决定了声学环境、演奏风格和特定音色（例如，使用哪种类型的吉他，或是在哪种房间声学下录制）。这种设计使得模型能够学习并复现特定演奏版本的独特声学特征。

diffusion-based music synthesis

研究采用去噪扩散概率模型（DDPM）作为生成模型的基础。模型在梅尔频谱图（mel-spectrogram）域进行训练，学习从噪声中重建干净的音频频谱图。其目标函数是预测所添加的噪声。模型架构探索了两种主流选择：T5 Transformer（主要评估架构）和U-Net，并对两者都进行了版本条件控制的增强。图2展示了模型的整体流程，包括条件输入、去噪过程以及用于平滑过渡的重叠生成技术。

在T5架构中（图3），版本条件与扩散时间步长的表示进行拼接，然后通过FiLM层融入到频谱图解码器的每一层中。同时，版本条件也通过FiLM层融入到乐谱编码器中，使得乐谱的表征也受到版本信息的影响。

temporal coherency& smooth transitions

为了解决分段生成长音频时的连贯性问题，研究采用了从计算机视觉领域借鉴的重叠生成技术。在采样过程的每一步，对相邻片段的重叠部分进行线性插值，以确保平滑过渡。更重要的是，版本条件本身也有助于在不同生成的片段之间保持音色和声学特性的一致性，从而有效防止音色漂移。

evaluation

研究通过系统的实验验证了模型的有效性。评估主要包括定性听力测试和定量指标分析。

在真实性听力测试（MUSHRA）中，比较了不同方法生成的音乐片段的真实感。结果表明，使用真实音频数据训练的模型（无论是否包含版本条件）其真实感均显著优于基于拼接合成的基线模型和Hawthorne等人（2017）的模型。使用版本条件略微提升了真实感评分。

在版本相似性听力测试中，评估了生成音频在感知上与目标版本的相似度。结果明确显示，使用版本条件生成的音频与目标版本的相似度远高于使用其他版本条件生成的音频，证明了版本控制在捕捉特定声学和音色特征方面的有效性。

在定量评估方面，使用了Fr échet音频距离（FAD）。All-FAD指标显示，基于真实数据训练的模型生成的音频与真实音频分布更接近。新提出的Group-FAD指标（用于衡量与特定版本的相似性）表明，版本条件显著改善了生成音频与目标版本的相似性。版本分类实验进一步证实，使用版本条件后，模型能更准确地将生成音频归类到其条件所对应的版本。乐谱控制评估通过转录指标（如音符F1分数）进行，结果显示模型能较好地遵循输入乐谱。

图4直观地展示了版本控制的概念：模型可以学习托斯卡尼尼1952年指挥的贝多芬第五交响乐录音的声学和风格特征，并将其应用于生成勃拉姆斯第四交响曲的新演奏。

图5和表III展示了真实性听力测试的详细结果，以箱形图和平均意见得分（MOS）的形式呈现，清晰对比了不同方法的性能。

图6展示了版本相似性听力测试的结果，表明使用目标版本条件生成的音频与参考版本的相似度显著高于使用其他版本条件生成的音频。

图7通过t-SNE可视化展示了不同版本的音频在TRILL嵌入空间中的分布，表明相同版本的音频会形成聚类，这为Group-FAD指标的有效性提供了依据。

conclusions and future work

该研究成功提出了一个基于多维度条件扩散模型的音乐合成框架，该框架通过利用真实未策划的音乐演奏数据进行训练，并结合乐谱与版本的双重条件控制，显著提升了合成音乐的真实感，并实现了对特定演奏版本声学特性的精细控制。实验结果证实，该方法在真实感和版本相似性方面均优于现有基线方法。这项研究为数据驱动的音乐合成走向更高度的真实性和可控性迈出了关键一步，在音乐创作、制作以及音频相关的人工智能应用领域具有广阔前景。未来工作可能包括扩展至人声歌唱合成、实现对演奏细节（如力度、颤音）的显式控制、探索版本嵌入空间的插值与泛化到未见过的版本，以及尝试其他频谱表示形式等。