面向复调乐器识别的带监督增强双相关性图注意力网络

《Scientific Reports》：Dual-correlation graph attention network with supervision augmentation for polyphonic instrument recognition

　　

摘要

尽管神经网络在乐器识别领域取得了显著进展，但音乐合奏中乐器的协同交互模式尚未得到充分探索。乐器识别与其他时间序列分析任务不同之处在于，一致音乐主题的呈现通常依赖于相似的乐器组合与编配技巧，而后者往往体现在节奏特征上。这需要对序列数据建立有效的时序连续性建模，而该建模与多样的乐器组合密切相关。这些组合进一步围绕音乐主题呈现出语义连贯性。然而，现有研究很少关注这些因素之间的联合建模，导致传统的基于神经网络的时间序列分析方法在直接应用于乐器识别任务时难以取得令人满意的性能。为了解决这一问题，本文提出了一种带有监督增强的双相关图注意力网络（DC-GAT）用于音乐乐器识别。其核心创新在于一个统一框架，通过将时序连续性建模与基于标签相关性的语义推理相结合，以适应乐器识别任务的特点。具体而言：（1）通过动态时序相关图实现时序连续性建模，该图采用窗口化马氏距离相似性并结合k-近邻稀疏化构建；（2）通过基于CLIP嵌入构建的标签相关图支持语义推理，在风格感知的辅助监督指导下捕获乐器共现模式。这两类图通过图注意力机制进行融合，从而实现对时序感知与乐器协同关系的联合优化。在OpenMIC和OpenMIC-IRMAS数据集上的实验结果表明，本文提出的方法取得了最先进的性能，相较于基线方法具有统计显著的提升。