基于 VAE 的音频解码器中的特征编码：输入、深度和分布的影响

《Artificial Life》：Feature Encoding in VAE-based Audio Decoders: Effects of Input, Depth and Distribution

　　

摘要：像实时音频变分自编码器（RAVE）这样的神经音频合成模型能够实现令人印象深刻的生成质量，然而其内部表征如何编码音乐特征仍鲜有研究。我们对三个分别在不同音乐领域上训练的RAVE模型解码器激活进行了系统性的逐层和跨层聚类分析，并使用四种刺激类型进行测试。随后，我们使用通用的EnCodec模型评估了架构泛化能力。对于RAVE，我们发现合成刺激在各模型和音频特征上均得到了良好的编码（音高 |ρ|=0.45，是零假设的5.1倍；BPM |ρ|=0.76，是零假设的8.6倍）。在使用自然音频时，这些结果虽有所降低，但仍具有实质性的显著性（跨特征平均 |ρ|=0.25，是零假设的2.8倍）。在使用非线性探针时，自然音频表现出更强的编码能力（跨特征平均R2=0.56，是零假设的18倍，相比线性探针R2增加了0.152的非线性增益）。解码器各层的编码强度有所不同，在所有音频特征上均可观察到中间层联合编码能力的增强（β?均为负值，p<0.05）。通用EnCodec解码器在跨音频特征上也表现出类似的强合成响应、类似的自然音频联合编码非线性增益以及类似的深度分布特征。我们发现最佳跨层聚类相较于同一区段内的最佳整层，在BPM编码的强度（r=0.65，p=0.006）和普遍性（r=0.75，p=0.001）方面均有所提升，但对联合编码无影响。这些发现推进了神经音频模型的可解释性，并为神经合成的针对性控制策略提供了参考。