《Acoustics》：Expressive Dizi Synthesis: Unlimited Synthetic Datasets, Real–Synthetic Integration and Technique Labeling
编辑推荐：
中国传统乐器的数字化建模显著落后于西方乐器，限制了文化保护及相关研究的进展。本文针对中国竹笛（dizi）的乐谱到音频（score-to-audio）生成问题，旨在直接从乐器数字接口（MIDI）乐谱合成具有类人表演细节的表现性音频。现有的乐谱到音频合成方法存在两
中国传统乐器的数字化建模显著落后于西方乐器，限制了文化保护及相关研究的进展。本文针对中国竹笛（dizi）的乐谱到音频（score-to-audio）生成问题，旨在直接从乐器数字接口（MIDI）乐谱合成具有类人表演细节的表现性音频。现有的乐谱到音频合成方法存在两个核心挑战：第一，中国传统乐器缺乏大规模配对的MIDI-音频训练数据；第二，标准MIDI无法编码乐器特有的表现性技术，例如颤音、弯音和装饰音。为了解决这些挑战，研究人员提出了一种可扩展的工作流程，通过基于规则的乐谱随机化、使用商业样本库的自动化数字音频工作站（DAW）渲染以及标准化特征提取，生成大规模合成MIDI-音频对。表演技术信息通过使用范围外的MIDI音符编号直接编码到MIDI流中，实现了比外部控制方法更有效的条件控制。研究人员的系统基于乐器数字接口-可微数字信号处理（MIDI-DDSP）框架。大规模合成数据用于预训练以建立音色一致性，而来自罗切斯特大学多模态音乐表演（URMP）长笛语料库的真实录音则用于微调以实现表现性动态变化。仅使用合成数据会产生稳定但表现力不足的输出，而仅使用真实数据则存在过拟合风险。组合策略实现了具有可控动态和表演技术的逼真音色。
**论文解读：基于合成数据与真实数据融合的笛子表现性合成研究**
**1. 研究背景与问题**
中国传统乐器（如竹笛）的数字化建模长期落后于西方乐器，这限制了文化保护、音乐信息检索及神经音频生成等领域的发展。当前，针对西方乐器的数据驱动合成方法已较为成熟，依托于大规模配对数据集（如URMP和MAESTRO），但中国竹笛等传统乐器面临两大核心障碍：一是缺乏大规模、对齐的乐谱-音频（MIDI-音频）训练数据；二是标准乐器数字接口（MIDI）协议无法编码乐器特有的表现性技术（如颤音、弯音、装饰音）。竹笛的独特声学特性（如笛膜的非线性振动导致的高频谐波能量）及其丰富的演奏技法（如吐音、颤音、滑音、倚音）进一步增加了合成难度。现有的端到端系统（如MIDI-DDSP）主要针对西方乐器设计，无法直接迁移。因此，研究人员旨在构建一个可扩展的、支持技术标注的笛子表现性合成系统，以解决数据稀缺和表示标准缺失的问题。该论文发表在《Acoustics》期刊上。
**2. 主要关键技术方法**
研究人员提出了一套基于MIDI-DDSP框架的合成流程，主要包含以下三项关键技术：第一，**可扩展合成数据生成流水线**，利用基于规则的乐谱随机化生成无限符号序列，并通过REAPER数字音频工作站（DAW）进行批量渲染，使用商业笛子样本库产生大规模、时间对齐的MIDI-音频对。第二，**范围外MIDI性能技术标注方案**，将笛子自然音域（G4–D7）之外的MIDI音符编号分配给特定演奏技法（如颤音、倚音、波音），将技术标签直接嵌入MIDI音符序列，无需额外输入流。第三，**两阶段合成-真实迁移学习策略**，先使用合成数据预训练音色合成模块以建立稳定的音色表示，再使用真实U-RMP长笛语料库录音微调表现性生成模块，在保留笛子原生音色的同时注入真实动态变化。
**3. 研究结果**
**3.1 性能技术建模（Performance Technique Modeling）**
研究人员通过对比生成音频与参考录音的频谱图，验证了范围外MIDI映射方案的有效性。模型能够准确再现装饰音和快速音符过渡带来的细微频谱波动，表明该映射为表现性合成提供了可用的符号控制。
**3.2 跨乐器表现性迁移（Cross-Instrument Expression Transfer）**
使用URMP长笛录音对表现性生成器进行微调后，模型输出的频谱图显示出比仅合成数据模型更平滑的动态过渡和更丰富的局部时间变化，尤其在持续音和装饰音段落中。这表明真实长笛录音可提供合成数据难以获得的表达性线索。
**3.3 合成与真实数据的迁移学习（Transfer Learning with Synthetic and Real Data）**
采用两阶段训练策略：第一阶段使用合成笛子数据预训练合成生成器（40,000步）、表现性生成器（5,000步）和DDSP推理模块（10,000步）；第二阶段仅微调表现性生成器（5,000步），其他模块冻结。该非对称训练分离了音色学习与表现性精炼，使模型保留合成音色先验的同时融入真实表演的动态特征。
**3.4 主观聆听评估（Subjective Listening Evaluation）**
50名参与者（含27名专业音乐家、5名音乐学院专家、18名爱好者）在安静监听室中完成三项测试。第一项：DAW渲染与模型渲染对比，34人（68%）偏好模型输出，但McNemar检验显示无显著差异（χ2=0.08, p=0.781），表明模型达到与专业DAW样本库相当的感知真实度。第二项：模型变体评分，联合训练模型（合成+真实数据）在音色真实度和表现性自然度上均获得更高平均分，尤其在表现性方面改善明显。第三项：与长笛参考的表现性对齐，88%的参与者认为联合训练模型更匹配参考录音的表现性动态，卡方检验显示显著（χ2=28.88, p<0.001）。
**3.5 客观评估指标（Objective Evaluation Metrics）**
在保留样本上计算梅尔倒谱失真（MCD）、弗雷歇音频距离（FAD）和谐波噪声比（HNR）。联合训练模型在MCD和FAD上均低于合成仅模型和基线，表明更高频谱保真度；其HNR值更接近真实音频，反映更真实的谐波-噪声平衡。合成仅模型HNR偏高，表明噪声成分不足，与主观结果一致。
**4. 讨论与结论**
研究人员认为，结合合成数据集与跨乐器真实录音的两阶段训练策略，比单一数据源训练实现了更好的音色稳定性和表现性动态。该框架提供了数据高效的解决方案，可推广至其他资源匮乏的传统吹管乐器。但存在局限性：使用西方长笛录音进行微调虽能捕捉共享的动态特性，但无法完全复制笛膜驱动的谐波结构；评估样本量有限，未来需扩大参与者和客观指标范围。
研究结论部分翻译如下：本研究针对中国传统乐器的数字化建模，以笛子为代表案例，提出了一种可扩展的数据生成工作流，能够产生无限合成MIDI-音频对，克服了非西方乐器基于学习合成方法的数据稀缺问题。通过使用超出常规演奏音域的MIDI音符编号编码装饰音和演奏技法，实现了紧凑而富有表现力的符号表示。基于MIDI-DDSP框架，融合合成与真实数据集：合成数据确保音色一致性和可控性，真实录音注入动态和时序细节。主观聆听评估确认，系统输出比传统DAW渲染更接近真实演奏。该框架可扩展至其他乐器，未来工作可纳入更大规模真实录音、更丰富的符号表示以及扩散模型等新兴生成范式。
