Hybrid GraphSENet：一种用于语音情感识别的高效混合图网络

《Computers and Electrical Engineering》：Hybrid GraphSENet: An efficient hybrid graph network for Speech Emotion Recognition

　　

摘要

近年来，语音情感识别（Speech Emotion Recognition, SER）越来越受到关注，大多数方法依赖于从时间、频率或倒谱域获得的特征。尽管这些方法被证明是有效的，但它们往往独立地处理这些特征，未能捕捉到潜在的深层结构和时间关系。本文提出了一种新颖的算法——Mel频率倒谱系数-自然可见性图（Mel Frequency Cepstral Coefficient-Natural Visibility Graph, MFCC-NVG），该算法将基于音频的Mel频率倒谱系数转换为使用可见性图表示的复杂网络。我们提出了一种混合图SENet（Hybrid GraphSENet）架构，将手工制作的基于图的特征与通过MFCC-NVG算法得到的邻接矩阵热图表示的深度学习特征结合起来。我们将这些特征连接起来，并输入到深度神经网络（Deep Neural Network, DNN）中，以评估它们在SER方面的联合性能。我们还对独立的SER模型进行了实验，即基于图的手工特征与基线学习模型，以及邻接矩阵热图表示与深度学习模型。我们在依赖说话者和不依赖说话者的场景中验证了我们的模型，使用了三个数据集：Emo-DB、IEMOCAP和Amritaemo_Arabic。混合图SENet架构表现出色，分别在依赖说话者和不依赖说话者的场景中获得了96.83%、77.53%和97.89%的平均SER准确率（使用Emo-DB、IEMOCAP和Amritaemo_Arabic数据集），有效地优于了几种最先进的模型。

引言

情感识别（Emotion Recognition, ER）可以促进人机交互的改进。将情感或情绪引入人机界面（Human Computer Interfaces, HCIs）可以使这些机器更加人性化。Picard [1] 在这一领域进行了开创性的研究，探索了通过情感计算实现人工智能的潜力。机器可以通过各种方式感知人类的情感，如语音、心率、面部表情、皮肤电导、手势、脑信号等。语音能够很好地反映一个人的情感状态，而情感反过来又可以改变人的生理状态。语音情感识别（SER）系统在许多实际应用中都有应用，特别是在虚拟助手、辅助学习应用、设计辅助社交机器人、心理健康诊断、谎言检测系统、娱乐等领域。

SER系统的性能取决于能否有效地区分情感上突出的音频特征。研究人员广泛探索了特征工程，以确定从语音中准确进行情感识别（ER）的最有效手工特征。传统方法通常涉及从时间、频率以及语音的联合时频表示中提取特征。此外，诸如能量、音高和倒谱特征（如线性预测倒谱系数（Linear Predictive Cepstral Coefficients, LPCC）、Mel频率倒谱系数（Mel-Frequency Cepstral Coefficients, MFCCs）等特征也被证明可以作为语音情感分类的描述符[2][3]。尽管大量的分析突出了这些特征的优势和局限性，但研究人员尚未找到一个在不同数据集中始终表现良好的单一手工特征。

尽管前面提到的特征在SER中表现良好，但它们无法跟踪情感语音中的时间波动和细微变化，从而限制了它们的性能[4]。此外，基于图的处理保留了原始音频或音频特征的连接性和关系表示，这对于ER至关重要。由于图特征关注的是音频特征之间的关系，因此一些挑战，如说话者的变化、录制环境等，可以在一定程度上得到缓解，从而提高SER的性能。本文提出了一种新的方法，利用基于图的特征和混合学习技术来增强SER，同时保留功能和连接性信息。

在过去十年中，可见性图（Visibility Graphs, VG）已成功应用于多个领域，包括脑电图（EEG）信号分析[5]、故障检测[6]和气候时间序列建模[7]。VG保留了信号的时间和幅度属性，使得能够提取用于全面信号分析的图论特征[8]。然而，其在基于语音的情感识别中的应用仍然没有得到充分探索，这为使用新技术改进现有方法提供了机会。本文介绍了一种新方法，将基于VG的特征提取与混合深度学习（Deep Learning, DL）技术相结合，以增强SER。首先，我们将基于语音的MFCC转换为VG，并同时导出基于网络的特征以及图邻接矩阵的热图表示。然后，我们使用卷积神经网络（Convolutional Neural Networks, CNN）从热图中获取深度学习特征，即深度邻接热图特征（Deep-Adjacency heatmap features）用于SER。最后，我们引入了一个混合图SENet（Hybrid GraphSENet）模型，融合了基于网络的属性和深度学习属性来增强SER。本文的主要贡献包括：

• •
  提出了一种新型算法：Mel频率倒谱系数-自然可见性图（MFCC-NVG）算法，有效地结合了语音中情感的时间动态和频谱特征。
• •
  使用MFCC-NVG算法将语音转换为网络，并结合各种基线学习模型对SER进行建模。
• •
  使用MFCC-NVG算法得到的邻接矩阵热图表示，通过DL模型对SER进行建模。
• •
  生成深度热图学习特征，即使用CNN的变体从MFCC-NVG算法得到的邻接矩阵热图表示中学习模式。
• •
  混合图SENet，一种能够同时学习基于图的手工特征和深度热图学习特征的混合DL基础SER网络。
• •
  在三个数据集上评估我们模型的性能：Emo-DB [9]、IEMOCAP [10] 和 Amritaemo_Arabic [11]。

后续部分的组织如下：第2节详细介绍了基于图的方法和SER的相关研究。第3节包含了MFCC-NVG和混合架构构建的方法细节。第4节讨论了实验设置、结果和主要发现。最后，第5节对本文进行了总结。

节片

文献综述

早期的SER系统严重依赖于从语音信号中提取的手工声学特征。许多研究表明，各种特征组（如韵律、频谱和语音质量参数）有助于提高SER性能[12]。随后，MFCC作为一种重要的特征出现，它在SER中有着广泛的应用，因能够表征语音的短期功率谱[13]。此外，音频特征如色度（chroma）、频谱对比度和零交叉率（Zero-Crossing Rate）等也显示出在情感分类中的潜力

方法论

我们提出了一种新的SER模型，该模型结合了基于可见性图（Visibility Graph, VG）的特征提取和混合深度学习（DL）技术。首先，我们使用自然可见性图（Natural Visibility Graph, NVG）算法将基于语音的MFCC转换为VG，并同时导出基于网络的特征和图邻接矩阵的热图表示。然后，我们使用卷积神经网络（CNN）从热图中获取深度学习特征，即深度邻接热图特征（Deep-Adjacency heatmap features）用于SER。

数据集

我们使用了三个数据集来验证我们的模型：Emo-DB、IEMOCAP和Amritaemo_Arabic。Emo-DB是一个公开可用的德语情感语音数据库，由柏林工业大学（TU Berlin）开发[59]。该数据库包含由5名女性和5名男性受试者说的句子，涵盖了愤怒、快乐、悲伤、恐惧、厌恶和中性七种情感状态。该数据库由20名人类评分者评估，准确率为80%。

结论与未来工作

在本文中，我们开发了一种新的MFCC-NVG算法，用于将语音信号建模为网络表示。MFCC-NVG网络有效地结合了语音中情感的时间动态和频谱特征。此外，我们还使用从该网络中得到的手工特征以及各种基线学习模型对SER进行了建模。我们还使用MFCC-NVG算法得到的邻接矩阵热图表示，通过DL模型对SER进行了建模。

CRediT作者贡献声明

Sreedutt Ram J.： 方法论、软件开发、初稿撰写。Poorna S.S.： 研究概念化、撰写与编辑、监督。Anuraj K.： 研究概念化、撰写与编辑、监督。

利益冲突声明

作者声明他们没有任何已知的财务利益或个人关系可能影响本文报告的工作。

印度阿姆利塔维什瓦大学（Amrita Vishwa Vidyapeetham）电子与通信工程系，阿姆里塔普里（Amritapuri）