基于效价-唤醒空间投影的高级声音描述符预测方法

《IEEE Transactions on Affective Computing》：An Efficient Method for Predicting High Level Sound Descriptors by Mapping Audio Signals Within an Enriched Valence and Arousal Model

　　

摘要：

本文介绍了高级声音描述符（HLD）数据集，并提出了一种超越传统情感模型、用于预测细微感知音频属性的方法。基于 Emo-Soundscapes 数据集，我们首先改进了效价-唤醒（VA）模型，使其能够从低级特征实现连续的 VA 预测。随后，我们提出并展示了一种新颖的投影方法，将双极描述符对（例如：平静/攻击性、舒缓/令人警觉）映射到二维 VA 空间中，从而以低成本且可解释的方式对相对 HLD 值进行近似。与此同时，我们构建了一个包含 4,000 条环境声音的语料库，并利用预测的 VA 坐标和基于距离的评分方法，为 36 个描述符对派生出评分。基于这一丰富语料库，我们在低级特征上直接训练了针对特定描述符的 LightGBM 回归模型。这些模型与生成的描述符目标之间具有高度一致性（平均 R2 = 0.903，平均 MAE = 0.023），并捕捉了特定低级声学特征的相关性，从而比仅依赖 VA 的估计提供了更具针对性且更可解释的预测。一项小型专家验证研究表明，在非平局情况下，专家与多数标签的一致率为 68.9%，在高置信度预测中一致率更高。综上，这些方法支持对创意声音设计所需的细微声音描述符进行可扩展且可解释的预测。