特色应用
该应用专注于网络音乐表演平台的同步性监测、远程音乐教育、排练诊断以及自适应音频网络系统。
摘要
网络音乐表演（Network Music Performance, NMP）指的是通过网络进行的远程音乐协作，应用于音乐教育、音乐制作和现场表演等领域。在NMP中，同步性是影响音乐家体验质量（Quality of Experience, QoE）的关键因素。这种音乐行为的协同对网络条件非常敏感，尤其是端到端的延迟和信号质量下降。现有的评估方法主要依赖于主观问卷或孤立的客观指标，因此缺乏一个能够直接从表演信号中量化同步性的统一指标。为了解决这一问题，我们提出了“客观同步性指数”（Objective Synchrony Index, OSI），这是一种基于人工智能的指标，可以从配对的音乐表演录音中量化合奏的同步性。我们使用了一个双塔多任务卷积循环神经网络（Two-Tower Multi-Task Convolutional Recurrent Neural Network, CRNN）来计算OSI，该网络可以从音乐家A和音乐家B的音频流中估计与同步性相关的指标。我们设计了两种OSI变体：timing-OSI，通过偏移量、起始点、节拍和节奏一致性来捕捉时间协调性；ensemble-OSI，则通过整合和弦一致性和信号保真度来反映合奏互动的结构和感知方面。我们利用两项NMP研究的录音数据对OSI进行了评估，其中十一对音乐家在系统变化的延迟和采样率条件下进行了表演。每次表演后，音乐家都完成了体验质量问卷调查，使我们能够通过重复测量相关性将OSI及其组成部分与主观评分联系起来。研究结果表明，在延迟条件下，随着延迟的增加，timing-OSI的值会下降，并且其结果与主观体验质量评估结果一致。较高的同步性OSI值与更高的感知同步性和满意度相关，同时与较低的感知延迟、烦躁感和跟随伙伴的难度相关。这些关系在偏移量同步性方面最为明显，在起始点同步性方面也较为显著，而节拍和节奏方面则相对稳定。在音频质量下降的情况下，ensemble-OSI在不同采样率下保持相对稳定，并不能作为单一指标显著预测主观体验质量。相反，各组成部分之间的关联表明，当时间稳定性和信号保真度得到保持时，满意度更高；而烦躁感则与和弦一致性的降低更为密切相关。综上所述，这些发现支持timing-OSI作为评估延迟影响下NMP同步性的有效客观指标，同时也表明扩展后的ensemble-OSI在音频质量下降的情况下需要进一步的感知校准。
