基于深度学习的泰国木琴音乐自动转录框架：模型评估与感知评估

《Intelligent Systems with Applications》：A deep learning–based framework for automatic transcription of Thai xylophone music with model and perceptual evaluation

　　

本文提出了一项基于深度学习的泰国木琴（ranat ek）自动音乐转录（Automatic Music Transcription，AMT）研究。泰国木琴是泰国古典音乐中的核心乐器，具有鲜明的声学特征与演奏特性。不同于西方乐器，泰国木琴采用非平均律（non–equal-tempered）定音系统，且通常使用硬槌与软槌演奏，由此产生显著不同的音色（timbre）属性，给转录任务带来重大挑战。鉴于该乐器缺乏公开可用数据集，研究人员构建了一个专用数据集，其中包含63段独奏演奏（硬槌33段、软槌30段），总时长113.37 min，并与相应的MIDI标注进行了精确对齐。所提出的AMT框架评估了3种广泛使用的特征提取技术——Mel频谱图（Mel-spectrogram）、Mel频率倒谱系数（Mel-frequency cepstral coefficients，MFCC）和恒定Q变换（Constant-Q Transform，CQT）——与卷积神经网络（Convolutional Neural Networks，CNN）结合时的有效性。此外，研究还将基于CNN的方法与长短期记忆网络（Long Short-Term Memory，LSTM）和深度神经网络（Deep Neural Network，DNN）架构进行了系统比较。实验结果表明，结合Mel频谱图特征的CNN模型表现最佳，在帧级检测中取得90.97%的F1值，在起始点（onset）检测中取得95.03%的F1值，并持续优于LSTM和DNN模型。除客观评价指标外，本研究还通过一项包含400名参与者的大规模听觉实验评估AMT结果的感知有效性。参与者比较了不同模型生成的转录结果，并评估其与原始演奏的相似性。包括卡方检验（chi-square test）和Eta系数（Eta coefficient）在内的统计分析显示，人类判断与定量评估结果之间具有较强一致性，从而证实了基于CNN模型的优越性。此外，音乐能力与对听觉任务难度的感知均与参与者对模型评估结果的一致程度呈显著相关。

该研究发表于《Intelligent Systems with Applications》，聚焦泰国古典音乐核心乐器泰国木琴（ranat ek）的自动音乐转录（Automatic Music Transcription，AMT）问题。研究背景在于，现有AMT研究长期以西方乐器尤其钢琴为中心，相关方法通常建立在平均律（equal temperament）、标准化音高组织以及大规模公开标注数据集基础上，因此在传统乐器场景中的适用性有限。泰国木琴具有明显不同于西方乐器的声学与演奏机制：其采用七声音程体系但不遵循西方平均律，硬槌与软槌演奏会产生差异显著的音色，且演奏中常伴随速度变化、节奏伸缩及双手轻微不同步等现象。这些因素共同增加了音高识别、起始点定位与时值追踪的难度。与此同时，该领域缺乏公开数据集，导致模型训练、比较与复现均面临障碍。因此，开展面向泰国木琴的专门研究，不仅具有方法学价值，也具有传统音乐数字保存与传播的重要意义。

围绕上述问题，研究人员构建了一个面向软槌与硬槌双演奏条件的泰国木琴AMT研究框架，系统比较了不同特征提取方式与深度学习架构在该任务中的表现，并进一步通过听觉感知实验检验客观评价指标是否与人类听觉判断一致。研究结果表明，在该任务中，Mel频谱图（Mel-spectrogram）比Mel频率倒谱系数（MFCC）和恒定Q变换（CQT）更适合作为输入特征；在模型层面，卷积神经网络（CNN）优于长短期记忆网络（LSTM）和深度神经网络（DNN）。在感知评估中，受试者最常选择CNN生成的转录结果为最接近原始音频的版本，说明客观指标与主观听感具有较强一致性。研究由此证明，针对泰国木琴这类具有非平均律、复杂音色与传统演奏特征的乐器，采用基于频谱表示的深度学习框架能够获得较高转录性能，并为后续面向其他传统打击旋律乐器的AMT研究提供基础。

研究人员主要采用了以下几类关键技术方法。首先，参照MAESTRO数据集结构，自建63首泰国木琴独奏数据集，包含30首软槌演奏与33首硬槌演奏，总时长113.37 min，音频均配有精确对齐的MIDI标注，并按训练集60%、验证集20%、测试集20%划分。其次，在预处理阶段提取Mel频谱图、MFCC与CQT三类时频特征，采样率设为16 kHz、窗口长度2048、跳步512。再次，在模型设计上分别构建CNN、LSTM和DNN，并在统一数据集上比较帧级与起始点级性能，评价指标为精确率、召回率与F1值。最后，组织400名参与者开展听觉实验，结合Gold-MSI改编条目、卡方检验与Eta系数分析，评估模型结果的感知有效性及其与音乐能力、作答难度之间的关系。

5.1. Features extraction evaluation
在特征提取评估部分，研究人员固定采用CNN架构，比较Mel频谱图、MFCC与CQT三类输入特征在泰国木琴AMT中的效果。结果表明，CNN+Mel频谱图组合整体性能最佳。帧级检测中，CNN+Mel-Spectrogram的精确率、召回率和F1值分别为90.49%、94.49%和90.97%；CNN+MFCC分别为84.53%、86.91%和85.37%；CNN+CQT分别为83.09%、82.10%和82.51%。起始点检测中，CNN+Mel-Spectrogram达到94.51%、95.59%和95.03%，同样明显优于MFCC与CQT组合。该结果说明，对于同时包含软槌与硬槌音色差异、且具有复杂谐波组织的泰国木琴，Mel频谱图在刻画起始边界、能量分布与时频结构方面更具优势，也与既有针对软槌泰国木琴的研究结论一致。

5.2. Model evaluation
在模型评估部分，研究人员基于前述最优特征Mel频谱图，比较CNN、LSTM和DNN三种深度学习架构。结果显示，CNN在帧级和起始点级均取得最佳表现。帧级指标方面，CNN的精确率、召回率和F1值分别为90.49%、94.49%和90.97%，LSTM分别为87.78%、79.24%和83.55%，DNN分别为70.12%、67.32%和68.08%。起始点指标方面，CNN达到94.51%、95.59%和95.03%，LSTM为94.42%、85.29%和89.46%，DNN为83.18%、80.06%和80.87%。这一结果表明，CNN更适于处理由音频转换而来的二维频谱图表示，能够有效捕捉谐波模式、起音边界和谱能量分布，因此在该任务中优于强调时序依赖的LSTM以及常规前馈式DNN。论文同时指出，虽然CNN性能最优，但对于节奏不规则、速度渐变、双手几乎同时击打但存在细微异步的演奏片段，模型仍然会产生误差，说明泰国木琴AMT依然是具有挑战性的任务。

5.3. Investigating the perceptual validity
在感知有效性研究部分，研究人员招募了400名参与者，包括泰国音乐从业者、泰国音乐学生和普通公众，平均年龄22岁，其中男性228人、女性172人。每名参与者完成30道听辨题，共获得12,000份回答。每道题均包含1段原始音频和3段由不同模型生成的转录音频，要求参与者判断哪一段最接近原始演奏，并额外评价作答难度。结果显示，参与者最常选择CNN模型生成的转录结果，这一主观判断顺序与客观评估中的模型排序一致，即CNN优于LSTM，LSTM优于DNN。多数参与者认为题目“非常容易”或“容易”，说明不同模型在听觉上的差异对多数听者具有可辨识性。进一步统计分析显示，作答难度与是否认同模型评估结果之间存在显著相关，卡方检验（chi-square test）给出的p值为0.040；音乐能力与认同模型评估结果之间也存在相关，Eta系数为0.623，Eta²为38.81%，表明音乐能力可解释相当比例的一致性变异。由此可见，该研究不仅验证了客观评价指标在泰国木琴AMT中的可用性，也说明听觉感知层面的证据支持CNN模型的优越性。

Discussion
讨论部分主要围绕模型适用性、数据限制与研究外推边界展开。研究指出，泰国古典乐器的AMT系统不能直接与西方钢琴等乐器的系统进行简单类比，因为两者在定音体系、音高稳定性、演奏表达和数据资源方面存在本质差异。西方乐器AMT依赖大规模公开数据集与较标准化的音高结构，而泰国木琴则存在调律、发音、节奏和即兴性上的多重变化，这会增加训练和评估复杂度。研究还强调，当前数据集规模仍然有限，录音来自相对较少的演奏者，且采集环境较受控，因此模型在更广泛真实场景中的泛化能力仍受限制。论文据此认为，本研究更多提供了一个针对泰国木琴AMT的基础性分析框架，证明该方向具有可行性，但尚不足以说明模型可直接迁移至其他泰国古典乐器或更复杂声学环境。与此同时，研究认为未来可探索CNN与LSTM混合架构、注意力机制（attention-based architectures）及扩散模型（diffusion-based approaches），以进一步提升对时间与音高歧义的处理能力，但本文并未对这些方案进行实验验证。

研究结论部分可概括翻译如下：本研究对使用软槌与硬槌演奏的泰国木琴自动音乐转录进行了系统而全面的探讨，构建了专用数据集，并比较了适应该乐器声学特性的深度学习架构与特征提取方法。实验表明，在所测试方法中，Mel频谱图是最有效的特征表示，CNN是最优模型，其在帧级与起始点级检测中均优于LSTM和DNN。感知实验进一步证明，人类听觉判断与客观评价结果高度一致，从而支持CNN模型在该任务中的优势。研究同时指出，受限于数据集规模与多样性，当前模型的稳健性与泛化性仍有提升空间，但该研究为传统泰国音乐的自动转录、数字保存和后续方法发展奠定了重要基础。