《Systems and Soft Computing》:Deep Learning Model for Quantification of harmonic tension and Its Application in Emotional Composition
编辑推荐:
摘要翻译:为解决情感驱动音乐作曲方法在深层谐波特征提取方面的局限性,本文提出一种谐波张量量化网络(Harmonic Tensor Quantization Network, HTQ-Net),用于动态量化和弦序列。首先,建立谐波张力场,并构建包含八个维度的情感
摘要翻译:为解决情感驱动音乐作曲方法在深层谐波特征提取方面的局限性,本文提出一种谐波张量量化网络(Harmonic Tensor Quantization Network, HTQ-Net),用于动态量化和弦序列。首先,建立谐波张力场,并构建包含八个维度的情感与声学张量特征空间,以有效捕捉和弦序列的复杂变化。其次,设计结合时序卷积网络与多头自注意力机制的网络架构,实现端到端学习。最后,使用EMOPIA+、DEAM和XMIDI三个数据集进行网络训练与验证。实验结果表明,与典型基线模型相比,HTQ-Net模型在谐波张力预测误差、情感类别分类准确率以及听众评分方面均有显著提升。消融实验进一步验证了不同张力值与其所代表的情感维度之间存在非线性关系,为可计算的情感音乐创作引入了一种新的张量方法。
论文解读文章
**一、研究背景与问题**
谐波、音乐张力与感知情绪之间的密切联系为计算性情感作曲提供了理论基础。调性-音高空间理论与时间张力模型将张力描述为由调性距离、连贯性、稳定性及语境预期共同塑造的动态过程。在符号音乐生成领域,深度学习方法已从生成对抗模型、序列模型逐步转向基于注意力的架构,如MuseGAN、Music Transformer等。近年来,情感条件下的符号生成逐渐成为研究热点,EMOPIA、XMIDI等数据集为情感条件生成提供了基准。然而,现有多数方法仍将情感编码为全局标签、控制令牌或高层属性,并将谐波主要视为离散事件。尽管已有研究通过变分自编码器(VAE)条件化和显式谐波函数约束探索了调性张力意识的生成方法,但对和弦级张力轨迹的连续可解释建模及其与情感极性-唤醒状态之间的非线性映射仍显不足。这一空白正是HTQ-Net提出的动机。
针对上述问题,研究人员提出一种基于谐波张量的深度神经网络模型,聚焦谐波张力及其量化表示。首先构建谐波张量公理系统,并建立2×2×2三维矩阵框架,分别对应和谐性、稳定性和明亮度。其次,将扩张时序卷积神经网络与多头自注意力机制相结合,形成新的编码器、量化器和解码器框架,完成从和弦序列到张量权重的直接转换。最后,在EMOPIA+、DEAM和XMIDI三个公开数据集上全面测试模型有效性。
**二、关键技术方法**
研究人员主要采用以下关键技术方法:一是构建谐波张力公理化定义,将张力约束在[0,1]区间,并表示为三个线性无关感知属性的加权和;二是采用温度自适应Softmax函数的张量量化机制,通过可训练码本将编码器输出映射为八个情感原型上的概率分布;三是利用扩张时序卷积网络(Temporal Convolutional Network, TCN)与多头自注意力机制联合建模张力演化与情感变化;四是使用最大熵理论推导的三次多项式拟合实现张量到情感向量的显式映射;五是通过加权马氏距离(Mahalanobis Distance)计算声学张力值。样本队列来源包括EMOPIA+数据集(1071首钢琴流行乐)、DEAM数据集(847个带明确和弦结构的MIDI子集)以及XMIDI数据集(随机抽样2000个MIDI文件)。训练集、验证集和测试集划分比例为8:1:1。
**三、研究结果**
**(1)各模型性能对比结果**
在谐波张力预测与情感预测任务中,HTQ-Net的张力平均绝对误差(MAE)为0.087,张力均方根误差(RMSE)为0.118,Valence MAE为0.093,Arousal MAE为0.106,均优于最优基线模型HTC-VAE。与HTC-VAE相比,张力MAE和RMSE分别提升18.7%和19.1%。单因素方差分析(ANOVA)显示主效应显著(F(4,35)=32.6,p<0.001,η2=0.79),Tukey HSD事后检验表明HTQ-Net显著优于所有基线模型。
**(2)听众主观评价结果**
在20名参与者(10名专业音乐家、10名非音乐家)对50个生成样本的5级李克特量表评分中,HTQ-Net在情感表现力(4.18)、谐波自然度(4.05)、张力变化合理性(4.12)和整体偏好(4.21)维度上均获得最高分。评分者间组内相关系数(ICC)平均为0.84(95%置信区间:[0.79,0.88]),表明信度良好至优秀。
**(3)和弦类型与情感值的量化关系**
基于DEAM数据集的分析发现,大三和弦(根音位置)的Valence均值为+0.72,显著高于小三和弦的+0.51(独立样本t检验:t(8105)=13.2,p<0.001,Cohen's d=0.65)。增三和弦和属七和弦引发的Arousal最高,分别为+0.62和+0.58,表明不和谐和声能有效激发情绪强度。大七和弦具有最高的Valence,可表达愉悦情绪状态;减三和弦的Valence最低且Arousal接近零,可表达悲伤或抑郁情绪。
**(4)消融实验**
逐模块消融研究表明:去除张量量化层后,张力MAE增加44.8%,证明离散张量空间约束对捕捉情感语义至关重要;去除多头自注意力机制后,张力MAE增加17.2%,确认情感表达同时依赖局部和谐与全局语境信息;去除张力正则化损失后,张力MAE仅增加9.2%,但Valence MAE显著恶化(+16.1%),表明其主要作用在于维持与情感状态相关的时间动态模式;去除承诺损失后各指标适度增加(+6.9%至+8.6%);将量化顶点数从8减至4时,张力MAE增加28.7%,增至16时性能略低于完整模型,2×2×2八顶点设计达到最优平衡;采用固定温度替代温度退火策略后,张力MAE增加13.8%,Valence MAE增加15.1%。张量量化层贡献最大,其次为自注意力机制和张力正则化。
**(5)泛化性与鲁棒性分析**
在EMOPIA+上预训练的模型迁移至DEAM和XMIDI时,张力MAE分别为0.091和0.089,略高于同数据集结果(0.087),表明模型具有良好的泛化能力。在五种信噪比(SNR=0.5、0.2、0.1、0.05、0.02)高斯噪声干扰下,HTQ-Net的张力RMSE从0.091逐渐增至0.138,而HTC-VAE从0.123增至0.189;HTQ-Net的性能退化斜率(0.89)低于HTC-VAE(1.24),说明张量离散化机制通过约束编码空间有效抑制了输入噪声传播。
**(6)计算复杂度分析**
HTQ-Net参数量为12.4M,FLOPs为2.6G,GPU推理时间8.7ms,CPU推理时间65.3ms,训练时间6.2小时。与最优基线HTC-VAE相比,参数量减少16.2%,FLOPs减少16.1%,GPU推理速度提升约9.4%。GPU推理时间远低于实时音频处理的50ms阈值,表明模型具备实时交互音乐生成的应用潜力。
**四、讨论与结论**
讨论部分指出,张量量化层通过将和弦约束在由八个情感原型张成的概率单纯形内,实现了和弦结构到情感语义的可解映射;多头自注意力机制有效捕捉了和弦序列中的长程依赖关系;张力正则化损失保证了生成序列的平滑性和自然度。温度退火策略帮助模型在训练初期充分探索张量空间,并最终收敛至目标量化值。主观评价中专业与非专业听众评分差异较小,表明模型输出可能吸引广泛受众,但需更大规模、更多样化的参与者池进一步验证。
研究结论总结如下:(1)HTQ-Net模型的谐波张力预测误差为0.087,情感预测准确率为0.093,听众评分为4.18,均优于基准模型。(2)量化分析实验发现大三和弦的Valence值(+0.72)高于小三和弦(+0.51),符合音乐学理论。(3)在和弦序列中加入SNR为0.1和0.2的噪声后,HTQ-Net仍能保持良好性能,具有较好的鲁棒性和泛化能力。未来可将模型扩展到包含旋律和节拍的多维表示,收集欧美以外其他地区的数据以提高泛化能力,并尝试基于模型压缩加速预测速度以支持实时响应需求。
该论文发表于《Systems and Soft Computing》。