利用残差自注意力（residual self-attention）和跨模态融合（cross-modal fusion）技术对音视频数据进行多模态情感识别

《Data and Information Management》：Multimodal emotion recognition using residual self-attention and cross-modal fusion for audio-visual data

　　S. Jothimani | K. Premalatha
信息技术系，Bannari Amman 工程学院，Sathyamangalam，Erode，638401，Tamil Nadu，印度

摘要
基于音视频数据的多模态情感识别因其出色的成果而受到了广泛关注。在过去二十年里，自动情感识别变得越来越流行。由于人工智能的快速发展，在视频中识别情感已成为人机交互中的一个重要课题。已知的大部分情感识别系统仅使用单一通道。然而，在现实生活中，人们经常伪装自己的真实感受，导致单模态情感检测的准确性相对较低。Audio-Visual Residual Self-Attention Network (AV-RSANet) 通过整合音频和视觉输入，提出了一种新的多模态情感识别方法，有效弥补了单一模态的局限性，并提高了视频内容中情感检测的准确性。具体来说，我们为视频和音频设计了先进的特征提取网络。然后在模型层面结合音频和视觉输入，构建了一个多模态情感识别模型。使用基准多模态数据集 Ryerson 的 Audio-Visual Database of Emotional Speech and Song (RAVDESS) 来评估所提出模型的性能。在 RAVDESS 数据集上，这些模型的预测准确率达到了 99.8%。此外，与最先进的情感识别算法的直接比较也证实了这些模型的性能。

1. 引言
情感在人们的语言表达中起着重要作用。情感状态识别是一个复杂的问题，具有广泛的影响（Hossain & Muhammad, 2019）。情感是我们每天与他人互动的基础。由于情感识别在智能客服中心（Gupta & Rajput, 2007, Bojani? et al., 2020）和智能辅导系统（Zatarain-Cabada et al., 2014）等不同领域的潜在应用，研究人员对从多模态数据中自动识别情感的兴趣日益增长。情感计算学科的主要研究焦点是情感在自然状态下的表现，尽管也探索了情感识别本身。该领域的研究正逐渐从受控的实验室环境转向更自然的环境。人类情感识别是机器学习的关键研究领域，因为它增强了我们对各种情境下社会信号的理解，从机器人技术到人机交互。到目前为止，已经开发出多种技术和模型用于各种应用，包括：评估情感特征（如唤醒度和效价）的连续性（Dzedzickis et al., 2020; Mollahosseini et al., 2017），或识别特定的情感状态（如“快乐”、“愤怒”或“悲伤”）。文本（Khalil et al., 2019; Soleymani et al., 2017）、音频（Zhao, Liu, & Zhou, 2021, May）和图片（Joze et al., 2020）等类型的数据被用来从不同角度解决这一问题。表达性语言、面部表情、肢体语言和其他形式的非语言交流都是人们表达情感的方式（Clark et al., 1988; Fan et al., 2016; Zhao et al., 2019）。因此，可以利用多种模态的情感信息来预测主体的情感状态（Liang et al., 2019）。然而，单一模态模型很难推断出客户的真实感受（Zeebaree et al., 2020）。仅凭物体或事件的存在无法推断出一个人的情感状态（Al-Sultan et al., 2019）。因此，情感识别应被视为涉及多个模态的问题（Chandra & Hsu, 2019）。

由于我们拥有大量的数据，已经开发了许多方法来优化其使用，推动了多模态方法的发展（Radhika & Oruganti, 2021, December; Chumachenko et al., 2021; Wang et al., 2020）。所谓“多模态方法”是指可以同时使用多个数据源的一类程序。结合音频和视觉模态的视频数据（Xiao et al., 2020a, Xiao et al., 2020b）以及 RGB 和骨骼数据（Laakom et al., 2021）只是其中的一些例子。从简单的决策级融合方法到复杂的联合特征学习方法，都在处理这类多模态表示。尽管通过融合中间特征进行跨模态表示的协作学习可以提高性能，但由于其易用性和适应性，晚期或早期融合仍然是当前常用的方法（Radhika & Oruganti, 2021, December）。在这项工作中，我们使用 RAVDESS 数据集（Chumachenko et al., 2021）评估了一种多模态情感识别方法。一个人的感受可以通过他们的说话方式和外观来推断。最终，该方法结合了两种不同的模型。为了确保在其他情境和现实世界场景中的可重复性和灵活性，我们还提供了一种基于主题的交叉验证技术，以在明确定义的范围内使用相同的数据集进行严格的评估。交叉验证（CV）不仅依赖于系统对一两个用户有效，还能更好地评估系统在数据注释困难且必须依赖现有知识的现实世界场景中的性能。

多年来，技术的进步使得音频、视频和生理信号的整合成为可能，促进了用于多模态情感识别的深度神经网络的发展。多模态情感识别系统通常采用依赖音频和视觉信号的捕获技术。标准方法通常依赖于音频或视频捕获，采用早期或晚期融合策略，或采用跨模态变换器架构。尽管这些方法表现出高效率和强大的特征捕获性能，但它们始终面临与（i）实时处理能力和（ii）跨模态交互相关的挑战，这些交互会掩盖单模态特征，从而在噪声手势或系统框架不一致的情况下降低性能指标。为了解决这些问题，我们提出了 AV-RSANet，这是一种深度音频-视觉残差自注意力网络。它以新颖的方式使用自注意力机制和跨模态自注意力残差融合块来处理每种模态。与标准变换器不同，AV-RSANet 利用自注意力机制增强音频和视频信号之间的特征交互，同时捕获每个单模态块的注意力。AV-RSANet 中的自注意力模块保留了必要的单模态信号，而自交叉注意力融合层则增强了共享信号的交换。本工作的主要贡献如下：
（1）我们提出了一种跨模态自注意力融合架构，结合了高效的音频和视频信号交互，避免了完整变换器模型带来的计算复杂性。
（2）我们制定了一种轻量级的残差融合策略，保留了单模态的显著性，并平滑地改变了跨模态上下文。
（3）我们在基准数据集上进行了严格的评估，证明了该模型的性能与当前最先进的技术相当甚至更优，并且效率更高。

在本文的后续部分，第 2 节讨论了与此主题相关的工作。第 3 节概述了所提出数据集的方法论、系统和可解释性策略。第 4 节讨论了实验和结果，第 5 节讨论了实验设置和结果，第 6 节总结了研究。

2. 相关工作
面部和声音情感识别在独立和结合的情况下都取得了显著进展，用于识别和解释人类的情感表达。在语音领域，特征提取和分类是语音情感识别（SER）的基础。经典工作使用手工制作的音频特征（如 EMD 和 MFCCs）将情感原语映射到基本的情感类别（He et al., 2011; Pérez-Espinosa et al., 2012）。频谱特征（尤其是 MFCCs）因其效率而被广泛使用，尽管它们对噪声和频谱变化敏感。在视觉领域，卷积神经网络（CNNs）和循环神经网络（RNNs）被用来模拟面部动态，在有足够注释数据的情况下取得了最先进的结果（Kaya et al., 2019; Yu and Sun, 2020; Mou et al., 2021）。早期研究结合了语音和视觉线索来增强情感分类。例如，Pan et al.（2020）提出了一种混合融合机制，将文本和视觉输入结合起来进行语音情感识别。他们的多模态注意力选择性地结合了来自多个感官流的信息，同时保持单模态子网络的晚期融合。早期融合技术通过线性操作（如加法或连接）合并原始或中间特征，并共同处理它们。相比之下，晚期融合在最终决策层之前独立处理每种模态。中级融合方法通过在中间阶段整合特定于模态的表示来提供平衡。

最近的研究探索了基于变换器的融合策略，以捕捉多模态情感识别中的长期时间依赖性。一项值得注意的研究（Noroozi et al., 2017）通过特定于模态的变换器块预处理听觉和视觉表示，然后使用跨模态变换器进行融合。这种方法单向融合模态，而不是通过多个融合路径。同时，音乐情感识别的研究结合了音频和歌词，利用 LSTM 网络处理音频，以及基于 BERT 的文本特征表示（Liu & Tan, 2020, June），提高了精度和网络紧凑性。类似地，Nie et al.（2021）提出了一种多层 LSTM 架构来恢复多模态输入并增强全局语音-视频情感建模。为了封装复杂的情感联系，最近的研究结合了深度学习和注意力机制。Asghar et al.（2020）提出了一种 CNN–LSTM 架构，使用早期和晚期融合策略融合 EEG 和 BVP 数据，有效地学习了跨模态表示。其他工作应用了多模态注意力进行细粒度的效价-唤醒度估计（Ahire et al., 2025）、多语言情感分析（Rahman et al., 2025）、城市情感分析（Ho et al., 2025）和生理信号整合（Liao et al., 2025）。这些方法展示了跨注意力和混合融合的有效性，但通常需要较大的模型规模或计算成本较高的变换器块。

尽管取得了这些进展，现有的多模态情感识别框架仍面临两个关键挑战：首先，基于变换器的架构模型复杂度高，限制了实时部署；其次，在跨模态融合过程中单模态显著性的保存不够理想，这在噪声或模态不平衡的情况下会降低性能。为了解决这些问题，我们提出了 AV-RSANet，它包含了一个跨模态残差自注意力块，促进了音频和视觉特征的有效融合，同时保留了单模态的显著性。这种设计同时实现了参数效率和动态的跨模态适应，而无需广泛的预训练。

3. 提出的方法
我们提出了一种结合语音和面部表情分析的多模态情感识别方法。采用晚期融合方法，我们将这些独立系统的输出结合起来。所提出的 Audio-Visual Residual Self-Attention Network (AV-RSANet) 通过协同处理音频和视觉模态，克服了单模态系统的缺点，并显著提高了基于视频的场景中的识别准确性。然后通过将这种融合表示与原始表示结合起来获得情感输出。所提出的情感识别系统在图 1 中以块图形式展示。

系统接受视觉和听觉数据输入。在分类之前，分别检查语音和视觉信号，然后再进行合并。每种模态在融合之前必须完成两个主要步骤：构建基于深度 CNN 的网络和数据预处理。在开发混合融合方法之前，我们测试了几种融合技术。

3.1. 视频预处理
我们提出的模型使用了 RAVDESS 视频数据集中的音频和视频。从视频数据中提取音频和帧。OpenFace 识别视频帧中的面部特征点。视频数据被分解为单独的音频和帧组件，分别提取并存储以进行进一步处理。序列的长度决定了视频处理技术。该数据集中的所有输入视频长度相同。面部照片上标记的面部特征点显示在图 2 中。

图 2. 视频信息中发现的面部特征点。视频帧的预期分辨率为 (224,224)。从每个视频中提取固定数量的 30 帧，因为所有样本具有相同的时间长度。视频的持续时间为 dv。以下概述了从视频输入中分离音频和帧数据的过程。

**算法：视频预处理**

**输入：**
- 视频数据集 Vn = {v1, v2, ……………… vn}
- 时间步长 Sl = 30
- 图像分辨率 Tr = (224, 224)
- 时间 T
- 数据集 Dn = {d1, d2, ……………… dn}
- 纵坐标索引 index_x = [298, 366]
- 横坐标索引 index_y = [366, 433]
- 音频数据 Audio = {}
- 帧数据 Frame = {}

**输出：**
- 帧数据 Fnj = {f1j, f2j, ……………… fnj}
- 音频数据 An = {a1, a2, ……………… an}

**步骤：**
1. 初始化面部特征文件。
2. 执行预处理程序 preprocess(Vn, Sl, Tr)
3. 启动 VideoFileClip 过程
4. 如果 Extract_audio 为 True，则将音频文件写入 Audio 文件夹
5. 计算时间步长 T = [dv, dvls]
6. 如果 T 的长度小于 ls，则将 dv 添加到 T 中
7. 从文件中提取面部特征
8. 计算帧数 f = len(Dn) / ls
9. 计算时间标记向量 tlm = [0, len(Dn), f]
10. 如果 tlm 的长度小于 ls，则将 len(tlm) - 1 添加到 tlm 中
11. 在 X 轴上标记一个特征点 Lx = [Dn[t, index_x[0] - 1 : index_x[1] - 1] × (11280)]
12. 在 Y 轴上标记一个特征点 Ly = [Dn[t, index_y[0] - 1 : index_y[1]] × (1720)]
13. 重复上述步骤，直到处理完所有帧
14. 将处理后的帧数据写入 Frame 文件夹

**数据增强：**
为了解决过拟合问题，直接对训练数据集应用数据增强技术。这种策略基于这样一个理念：引入增强数据可以揭示原始数据集中的额外模式。使用过采样和数据变形等技术合成扩展训练集，确保在转换现有图像时标签的完整性得到保持。对于宽度为 w、高度为 h 的图像，缩放过程定义如下：
(1) image(wn, hn) = IMmax(w, hn) / (w, h)

**音频信号预处理：**
原始音频开头和结尾频率和幅度的不一致会导致分类准确性较低。去除原始音频信号中的间隙后，模型的性能会得到提升。音频以 22,050 Hz 的采样频率录制。当信号幅度低于 -30 dB 时，将其幅度修剪为零。为了创建 Mel 音阶，将整个可听频率范围划分为 128 个离散频段，这与人耳能够区分的频段数量相同。音频信号的强度在 Mel 音阶上分解为频率，从而生成频谱图。由于频谱图利用颜色和方差来表示信号的强度，因此它们常被称为热图。语音信号的频谱图也称为短时傅里叶变换（STFT），它显示了信号的时间-频率特性。设输入的语音信号为 Xa，ω 为汉宁窗函数。
(3) Xa(s, m) = ∑k=1^M?1 Xakω[k?m]e^(-2πk/M)

**图 3** 展示了频谱图生成的一般过程，而 **图 4** 显示了从音频信号生成的频谱图。使用汉宁窗对样本序列的起始和结束部分进行平滑处理。

**特征提取：**
从频谱图中自动提取的特征有助于实现语音情感识别，无需采用更复杂的方法（如手动特征提取）。人类声音的音高、语速、音色和音量的变化可以揭示隐藏的情感。这些细微差别定义了说话者的情绪基调。系统识别情感的能力取决于这些特征的质量，而这些特征是可以评估的。在识别情感方面，声学特征优于语言特征、混合特征和上下文线索。所有语言的主要语音结构都包含韵律特征等听觉属性；通过结合频率和时间域的特征来获取信号的深度特征。用于分类的 MFCC（Mel Frequency Cepstral Coefficients）基于离散余弦变换的前 12 个系数。以下是从赫兹 (f) 转换到 Mel (M) 的公式：
(5) M(f) = 11/27 × ln(1 + f^(700/2)

为了减少声门停顿的影响，可以使用公式 (3) 对原始语音信号应用预加重滤波器。汉宁窗使用公式 (4) 将语音信号 (s) 划分为不同的帧。
(6) Hn(s) = 1 - ∑(1 - b^s) * sig(y(m)) / (1 - b^s)

**时间与频率域：**
时间域和频率域构成了声学信号属性的基础（Giannakopoulos & Pikrakis, 2014, pp. 59–103）。为了提高语音情感分类的准确性，将频域的 MFCC 与时域的均方根 (RMS) 和零交叉率 (ZCR) 结合使用。零交叉率的计算公式如下：
(7) Zk = ∑(-∞∞) |sig(y(m)) - sig(y(m?1)) / |ω(k?m)|

**论文中的其他内容：**
- 为了提高深度学习模型的泛化能力，可以随机应用时间、音高调整、背景噪声注入和动态范围控制等方法，使其从输入数据集生成的合成数据中学习。
- 在模型训练过程中，会纠正过度平滑的问题。MFCC 提高了语音识别效果，有助于改善通信。

**3.3. 深度学习模型：**
首先讨论 AV-RSANet 的问题表述。该模型考虑了 M 种模态，每种模态都有一个对应的特征图 fm（m ∈ {1, 2, ……………… M}），以及 Hm。在此表述中，Hm 表示模态 m 的通道数，K 指定了涉及的空间维度数量。
- AV-RSANet 模块设计用于使用通道级注意力机制处理输入特征图 {f1, f2, ……………… fm}，并生成它们的改进版本 {f1?, f2?, ……………… fm?}。这种转换定义了模块的标准功能。
- 尽管 AV-RSANet 包含 CNN、ResNeXt 和自注意力等组件，但其架构理念不仅限于组件的结构，还关注它们如何平衡局部和全局特征之间的交互。ResNeXt 卷积层在低层次提供强大的特征提取能力，适用于视觉信号；自注意力模型捕捉情感动态所需的长距离时空关系。跨模态残差自注意力融合块在融合互补信号和线索时保持单模态信号的强度。我们的方法依赖于残差融合，与常规的多模态变换器不同，它通过自适应减少了融合过程中的跨模态权重，从而减少了计算量、预训练和融合步骤，使整个过程更加稳健。

**3.3.1. 声学模型：**
最新研究 [Jothimani & Premalatha, 2022] 表明，基于 MFCC 特征的深度学习技术对音频模态非常有效（见图 5）。音频模型为 Am。网络的输入是预处理后的音频特征集 IA。我们首先应用两层卷积和 ReLU 激活函数来捕捉音频流中的局部时间依赖性。
- 在我们的 AV-RSANet 模型中，l 表示输入序列的长度，H 表示用于处理音频模态的卷积核的大小。
- 应用激活函数 R(x) 后，通过批量归一化进一步处理数据。
- 在最大池化步骤之后，对 Y?A 应用 0.2 的丢弃率。然后应用额外的 1D 时间卷积层从音频输入中提取更高级的语义信息。
- 最后，在处理 Y?A 的最后阶段应用丢弃率为 0.4 的层，以防止过拟合。

**3.3.2. 视觉模型：**
由于视频数据依赖于时间和空间维度，学习面部表情和活动需要使用具有 3D 卷积核的网络。视觉模型用 Vm 表示。在选择 3D ResNeXt（Xie et al., 2017）网络之前，我们评估了其性能和训练效率，以获取视频模态的时空结构特征。ResNeXt 提出了一种分组卷积方法，限制了分组数量，提供了简洁的结构并保持了强大的性能，同时平衡了传统卷积核的深度划分。作为输入，我们使用预处理过的视频模态特征 Iv。利用该网络，我们可以提取视频模态的高阶语义属性。
- 接下来，我们使用平均池化方法下采样并减少冗余信息。

**3.4. 跨模型注意力机制：**
注意力技术用于随时间收集相关信息，并选择性地关注序列数据中的关键部分以获得最佳结果。这些权重不是由模型预先定义的，而是根据序列中元素的相对重要性动态计算的。这种动态方法使模型能够仅提取最相关的特征。

**3.4.1. 模态内注意力机制：**
为了提取关键的视觉和听觉情感成分，我们对两种模态的序列数据应用自注意力机制。在图 6 中，我们看到了在单一模态内进行注意力分配的机制示意图。模态序列数据长度为 lm，表示为 ImT。
- 模态内注意力机制处理完整的隐藏状态 HmT，并生成相应的注意力权重向量 AmT = [amT : t ≤ T, am ∈ R^1]。这些权重量化了序列中每个隐藏状态的相关性。为了计算这些权重，使用了两个权重矩阵 Wn1 和 Wn2。
- 最后，将结果四维张量展平为单个向量，并输入到具有 1664 个神经元的密集层 (FC) 中，完成模型的分类流程。

**3.4.2. 跨模型注意力机制：**
由于视频数据依赖于时间和空间维度，学习面部表情和活动需要使用具有 3D 卷积核的网络。在选择 3D ResNeXt（Xie et al., 2017）网络之前，我们评估了其性能和训练效率。跨模态注意力机制
跨模态模型接收来自两个来源的输入：音频特征 Y?Aa∈Rdim 和视觉特征 Y?Va∈Rc×s×h×w。对每个特征应用线性投影以获得其相应的嵌入特征表示。最后，使用 softmax 产生融合表示 Y∈Rc×s×h×w。我们认为，除了来自两种模态的互补信息外，合并的信息还保留了视频模态的特征。尽管人类自然地从各种模态中综合重要的情绪线索来检测情绪，但跨模态注意力机制旨在强调和整合视觉和听觉模态之间不断变化的关系。如图 6 所示，跨模态注意力机制接收视觉注意力特征 Y?Va 和听觉注意力特征 Y?Aa 作为输入。为了简化跨模态注意力特征的计算，我们将 Y?Va 和 Y?Aa 表示为：
(27) Yx=(WVY?Va+bV)+(WAY?Aa)∈Rc×s×h×w
其中 WV 是一个形状为 (dhV,dm) 的权重矩阵，WA 是一个形状为 (dhV,dm) 的权重矩阵，bV 是偏置。对交叉模型应用 softmax 激活函数：
(28) Y=R(Y)=ReLu(Wm1(Yx))∈Rc×s×h×w
(29) WIr=σ(Wm2((Y?Y?Va)⊕Y?Va)))=σ(Y)=eWm2Ym
(30) FIr=WIr?Y
这里，WIr 表示跨模态注意力权重，FIr 指的是融合后的特征。权重矩阵 Wm1 的维度为 (dm,dm/2)，而 Wm2 的形状为 (dm/2,1)。符号 ⊕ 表示元素级加法，? 表示注意力操作。
对于音频和视觉模态，编码过程使得能够获取更高层次的语义特征。我们使用两种模态之间的互补的交互数据来提高最终判断的准确性。更准确地说，我们首先使用自注意力技术来传递音频模态的模内概念。这个过程有助于适应性地学习音频模态的高阶语义方面，关注对输出权重影响较大的特征。AV-RSANet 通过交叉熵损失进行优化。具体方程如下：
(31) P=WmI+bm∈Rdo
(32) Loss(L)=?∑mYmlog(Y?m)
其中 Rdo 是输出的最终维度，bm 是偏置。

4. 实验设置
在这里，我们回顾了评估 AV-RSANet 效能的实验。本节详细介绍了数据集选择、数据预处理和模型训练协议。然后，我们评估所提出的方法并将其与最先进的方法进行比较。基于验证集的准确性，选择了基准模型和所提出方法的最佳超参数。为了评估 AV-RSANet 的性能和所提出的超参数，所有实验都是使用单个 NVIDIA GeForce RTX 2080 Ti GPU 在 Windows 11（64 位）、Python 3.6 和 PyTorch 1.7.1 上进行的。模型使用 Adam 优化器进行了 100 个周期的训练，前 40 个周期的学习率为 0.0001；之后，学习率逐渐降低到 0.1，用于剩余的训练期。表 1 总结了为 AV-RSANet 调整的超参数。

5. 结果与讨论
在本节中，我们提供了数据集描述、性能指标、性能结果以及实施所提系统的比较分析。我们使用准确性、精确度和 F1 分数来评估模型的有效性。表 2 显示了所建议的方法与实际实施的标准相比的情况。

表 2. 通过 6 折交叉验证的性能评估。
空单元
第 1 折
第 2 折
第 3 折
第 4 折
第 5 折
第 6 折
前 18 名
99.95
99.85
98.78
99.65
100.00
前 2 名
95.68
98.35
99.62
100.00
99.00
99.12
前 3 名
100.00
100.00
99.87
98.65
100.00
99.51
分数
97.56
98.56
98.65
99.45
99.85
99.89
平均值
96.52
99.02
99.65
99.89
99.65
99.52

早期的融合技术并没有比传统的晚期融合方法有显著改进，这突显了在融合初期将视频流和一维音频模型之间的特征整合的挑战。本质上，中级融合方法的表现优于早期和晚期方法，因为它们可以在特征生成时突出显示这些特征，从而识别出每种模态中的关注区域。我们提出的 AV-RSANet 模型所达到的准确率和损失率如图 7 所示。该模型实现了大约 0.1340 的最小损失率和 99.8% 的准确率。

图 7. AV-RSANet 模型的准确率和损失率。
图 8 显示了 AV-RSANet 模型的标准化混淆矩阵，详细说明了 RAVDESS 数据集中所有八种情绪类别的分类结果。矩阵明显的对角线轨迹证实了模型的预测能力，因为绝大多数样本都落入它们指定的情绪类别中。具体来说，中性、悲伤和愤怒类别的准确率达到了 100%，而平静、快乐和惊讶类别的准确率超过了 95%。主要的分类错误发生在感知特征部分重叠的情绪之间，特别是恐惧和厌恶，只有少数样本被错误识别。这种混淆反映了情绪识别中存在的困难，其中微妙的面部、声音或多模态信号可能会重叠，导致解释上的不确定性。尽管如此，预测的总体模式表明 AV-RSANet 成功地检测和区分了多模态情绪特征，保持了高精度和召回率，从而证实了其在实际情绪识别应用中的潜在适用性。

表 2 显示了 AV-RSANet 使用六折交叉验证的性能。表 2 显示该模型在所有折叠中的准确率接近 100%。六折之间的平均差异为 0.1340。使用混淆矩阵测量了单个情绪预测的准确率。为了获得更准确的结果，我们进行了六折交叉验证。图 9 显示，除了第 1 和第 6 折外，模型几乎准确地分类了每种情绪。最不容易误判其他情绪的是愉快、愤怒和不满。

表 3 显示了不同模态的性能评估。
情绪
仅音频
仅视频
音频 + 视频
精确度
召回率
F1 分数
精确度
召回率
F1 分数
精确度
召回率
F1 分数
精确度
召回率
F1 分数
00.94
0.96
0.95
0.93
0.94
0.93
1.00
1.00
1.00
10.95
0.94
0.95
0.95
0.94
0.94
1.00
1.00
1.00
20.95
0.96
0.96
0.92
0.90
0.92
1.00
1.00
1.00
30.93
0.93
0.93
0.92
0.93
0.95
0.95
0.98
0.98
0.98
40.94
0.95
0.94
0.95
0.94
0.94
1.00
1.00
1.00
50.96
0.94
0.96
0.92
0.93
0.92
0.97
0.98
0.98
60.96
0.95
0.95
0.97
0.97
0.96
1.00
1.00
1.00
70.94
0.96
0.95
0.90
0.92
0.91
1.00
1.00
1.00
准确率
0.95
0.94
0.99
宏观平均值
0.95
0.96
0.95
0.94
0.93
0.94
0.99
0.99
加权平均值
0.95
0.95
0.95
0.94
0.93
0.93
0.99
0.99
这些数据提供了所有数据集样本相对于加权和宏观平均值的全面视图。最重要的组成部分是准确率，表 3 显示多模态方法的准确率最高，为 99%。音频模态的准确率最低，为 95%，而视频模态的准确率为 94%。图 10 中的接收者操作特征曲线（ROC 曲线）提供了分类器区分不同情绪类别能力的视觉验证。相应的曲线下面积值作为每个类别分类准确性的定量指标。特别是 AV-RSANet 架构在平静、快乐和惊讶类别上实现了完美的 AUC 分数 1.000，表明这些不同情感状态的分离非常明确。愤怒和厌恶类别记录了异常高的 AUC 值 0.999，表明分类不确定性最小。中性类别虽然仍然稳健，但其 AUC 值为 0.980，而悲伤和恐惧类别的 AUC 值分别为 0.952 和 0.944。这些后者值反映了类别在语义上的重叠性。总体而言，AUC 性能表明残差自注意力机制与跨模态融合相结合，在 AV-RSANet 中有效，有助于提取对准确情感计算至关重要的高区分度特征。这种稳健性强调了该模型在处理具有细微和复杂情感信号的实用场景中的可行性。

图 11 显示了使用 t 分布随机邻居嵌入（t-SNE）从建议的 AV-RSANet 架构获得的多模态情绪表示。结果二维图允许对模型在原始高维潜在空间中区分情绪类别的能力进行定性评估。

图 12 显示了来自 RAVDESS 数据集的八种情绪状态的 Grad-CAM 热图，说明了 AV-RSANet 模型依赖的关注区域。视觉证据显示，愤怒、恐惧和惊讶类别在眼周和口周区域有明显的集中。例如，惊讶情绪引起了最大的关注，因为眼睛睁大和眉毛上扬。相比之下，平静和中性条件显示出广泛分布的激活模式，表明模型在相对柔和的显示中寻找微妙的指标。这些注意力图为模型的解释性提供了依据，证实了模型依赖于人类观察者通常认为具有诊断信息性的面部区域。结果增强了模型的可解释性，并同时证实了跨模态融合在有效引导对时间和空间上显著的特征方面的作用。

5.1. 推理时间和模型效率
为了评估 AV-RSANet 架构在实时情绪识别中的实际可行性，我们检查了其计算效率，重点关注模型复杂性、推理延迟和内存占用。所有分析都在单个 NVIDIA RTX 2080 Ti GPU（11 GB VRAM）上使用 PyTorch 1.7.1 进行。AV-RSANet 架构集成了一个 3D ResNeXt 主干用于视觉特征提取和一个紧凑的 1D CNN 用于音频流处理，与跨模态残差自注意力块交错。这种混合配置共有 380 万个参数，存储在 float32 精度下时模型占用 18.2 MB。
通过测量每次推理的平均延迟来量化潜在性能，该延迟收敛到 22 毫秒，从而实现了每秒超过 45 帧（FPS）的吞吐量。这样的性能轨迹证实了该架构在实时环境中的适用性，包括交互式用户界面、自适应虚拟辅导系统和情感机器人平台。AV-RSANet 模型的效率指标汇总在表 4 中。声学子系统的简化架构结合优化的融合机制，确保了持续的低延迟性能。同时，加入残差注意力层以最小的计算成本增强了特征的表现力。这些设计属性共同强调了 AV-RSANet 在资源受限的嵌入式或边缘导向的情感识别平台中的可行性。这种性能的提升是由于所提出的注意力模块能够持续进化。所提出的AV-RSANet架构经过严格评估，与一系列基线和领先的多模态神经模型进行了对比，以准确性作为关键评估标准，从而证明了其有效性。准确性指标在图14中以可视化方式进行了总结，该图显示了所有测试架构在RAVDESS数据集上的性能对比。在测试的七种架构中，模型4（CNN加上ResNeXt）——它体现了AV-RSANet框架——实现了最高的准确性，达到99.80%，从而显著超越了所有对比系统的性能。模型3（CNN加上ResNet50）以98.20%的准确性排名第二，随后是模型1（CNN加上CNN）和模型2（CNN加上CNN-LSTM），其得分分别为97.60%和96.40%。尽管这些模型取得了令人印象深刻的结果，但它们缺乏AV-RSANet中实现的残差自注意力和跨模态交互机制。相反，采用循环架构的配置——即模型5（CNN加上LSTM）、模型6（LSTM加上CNN-LSTM）和模型7（LSTM加上LSTM）——表现出明显的性能下降，其准确性分别为88.10%、85.30%和83.90%。这种性能下降表明，虽然基于LSTM的设计在整合时间依赖性方面表现出色，但在处理多模态数据时难以实现有效的时空融合。因此，AV-RSANet的显著优势强调了将3D卷积与跨模态注意力和残差学习相结合在集成音视频环境中实现准确情感识别的价值。

5.3. 跨数据集评估
为了评估AV-RSANet架构在RAVDESS语料库之外的泛化能力，我们使用了CREMA-D（众包情感多模态演员数据集）进行了跨数据集实验。CREMA-D包含了由91位表演者制作的7000多个同步音视频片段，涵盖了通过自发表达和更有意图的言语行为传达的各种情感线索。该语料库的特点是说话者人口统计学、表达方式以及声学和光学采集环境的多样性，从而为评估模型对情感信号变化的防御性泛化提供了严格的外部基准。AV-RSANet模型仅在RAVDESS语料库上进行了训练，随后在CREMA-D语料库上进行了评估，而无需进一步微调，从而模拟了领域迁移场景。目标领域评估的结果如表6所示。尽管没有进行特定于语料库的调整，AV-RSANet仍保持了良好的泛化能力，在CREMA-D上的整体F1分数为84%。惊讶和快乐情感的分类表现出特别强的泛化能力，而恐惧和厌恶的情感分类则表现较差。后者的下降似乎归因于两种数据集之间在表达上的变异性和音视频特征的可用性差异。这些模式支持了这样的假设：模型的残差自注意力和跨模态融合组件提取了不受说话者身份、录制条件和情境上下文影响的情感不变嵌入。然而，观察到的性能下降突显了结合3D卷积与跨模态注意力和残差学习在集成音视频环境中实现准确情感识别的价值。

5.3. 跨数据集评估
为了评估AV-RSANet架构在RAVDESS语料库之外的泛化能力，我们使用了CREMA-D（众包情感多模态演员数据集）进行了跨数据集实验。CREMA-D包含了由91位表演者制作的7000多个同步音视频片段，涵盖了通过自发表达和更有意图的言语行为传达的各种情感线索。该语料库的特点是说话者人口统计学、表达方式以及声学和光学采集环境的多样性，从而为评估模型对情感信号变化的防御性泛化提供了严格的外部基准。AV-RSANet模型仅在RAVDESS语料库上进行了训练，随后在CREMA-D语料库上进行了评估，而无需进一步微调，从而模拟了领域迁移场景。目标领域评估的结果如表6所示。尽管没有进行特定于语料库的调整，AV-RSANet仍保持了良好的泛化能力，在CREMA-D上的整体F1分数为84%。惊讶和快乐情感的分类表现出特别强的泛化能力，而恐惧和厌恶的情感分类则表现较差。后者的下降似乎归因于两种数据集之间在表达上的变异性和音视频特征的可用性差异。这些模式支持了这样的假设：模型的残差自注意力和跨模态融合组件提取了不受说话者身份、录制条件和情境上下文影响的情感不变嵌入。然而，观察到的性能下降突显了结合领域适应策略或采用多语料库训练框架的潜在好处，特别是当模型用于无限制的、现实世界应用场景时。

5.4. 错误分析
为了更好地理解模型误分类的性质，我们进行了分折错误分析，系统地检查了混淆矩阵，以识别最常被混淆的类别对。分析结果汇总在表7中，展示了在六次交叉验证中观察到的重复模式。分析显示，错误主要发生在具有视觉和听觉相似性的情感状态之间。例如，恐惧经常被误认为是厌恶，这种混淆可以归因于重叠的听觉特征，如紧张的语调和眼睛睁大的面部表情。

5.4. 错误分析
为了更好地理解模型误分类的性质，我们进行了分折错误分析，系统地检查了混淆矩阵，以识别最常被混淆的类别对。分析结果显示，错误主要发生在具有视觉和听觉相似性的情感状态之间。例如，恐惧经常被误认为是厌恶，这种混淆可以归因于重叠的听觉特征，如紧张的语调和眼睛睁大的面部表情。

5.4. 错误分析
为了更好地理解模型误分类的性质，我们进行了分折错误分析，系统地检查了混淆矩阵，以识别最常被混淆的类别对。分析结果显示，错误主要发生在具有视觉和听觉相似性的情感状态之间。例如，恐惧经常被误认为是厌恶，这种混淆可以归因于重叠的听觉特征，如紧张的语调和眼睛睁大的面部表情。

5.5. 统计显著性测试
为了评估AV-RSANet模型相对于基线方法所取得的性能提升的可靠性，我们对6折交叉验证的准确性均值进行了配对t检验。表9显示，在六次折叠中，AV-RSANet在四次折叠中超过了基线，准确率提高了0.13%到2.29%。相反，在其余两次折叠中，基线模型的表现优于AV-RSANet。得到的t统计量为0.837，相应的p值为0.441——超过了0.05的显著性阈值——表明虽然性能差异在数值上令人鼓舞，但在95%的置信水平上缺乏统计显著性。

5.6. 性能比较
我们将我们的方法结果与其他前沿方法进行了比较。我们研究了在RAVDESS数据集上取得高准确率的相关方法，并将它们与（Lian, Liu, & Tao, 2021; Ma et al., 2022; Siriwardhana et al., 2020; Xie et al., 2021）中提出的策略进行了比较。表10展示了收集的数据。

5.6. 性能比较
我们将我们的方法结果与其他前沿方法进行了比较。我们研究了在RAVDESS数据集上取得高准确率的相关方法，并将它们与（Lian, Liu, & Tao, 2021; Ma et al., 2022; Siriwardhana et al., 2020; Xie et al., 2021）中提出的策略进行了比较。表10展示了比较结果。

5.7. 讨论与局限性
实验结果令人信服地验证了AV-RSANet在多模态情感识别方面的有效性。当在一系列指标上进行评估时——准确性、精确度和F1分数——该网络在各个方面都超过了传统的分类器和最近的先进基线。接收者操作特征分析证实了AV-RSANet的强大区分能力，多个情感类别下的曲线下面积（AUC）值超过了0.99。二维t-SNE嵌入进一步说明了网络生成清晰特征表示的能力，而Grad-CAM可视化则阐明了模型关注哪些输入区域以区分不同的情感。混淆矩阵进一步证实了这些观察结果，显示出每个类别的一致强性能，并且即使对于容易混淆的情感对（如恐惧-厌恶和快乐-中性），也只有少量的误分类。尽管结果令人鼓舞，但某些局限性仍需仔细考虑。首先，AV-RSANet模型仅在RAVDESS语料库上进行了训练，该语料库的特点是表演性的、情感表达统一。这种专注可能会阻碍模型对自发、生态学上有效的情感表达的泛化能力。未来的研究应包括跨数据集的基准测试和实际应用场景的部署，以严格评估模型的泛化能力。其次，3D CNN主干网络和基于注意力的融合层的组合虽然在高端GPU上可以管理，但在资源受限的移动或边缘平台上部署时却面临挑战。因此，实施模型蒸馏或量化技术对于实际的可扩展性至关重要。最后，分析仅限于音频和视觉模态。整合补充的数据流，如文本、生理反应（例如EEG、心率）和上下文元数据，预计将提高性能，特别是在信号退化或模糊的情况下。**结论与未来工作**

在本研究中，我们提出了AV-RSANet，这是一个多模态框架，通过联合分析音频和视觉线索来模拟人类如何识别和回应情感表达。该架构整合了模内、模间以及残差自注意力机制，以促进有效的跨模态交互，同时保留了单模态的显著性。我们在RAVDESS数据集上验证了该方法的有效性，AV-RSANet以较少的参数数量实现了99.8%的准确率，证明了在识别性能与模型复杂性之间的良好平衡。实验结果表明，AV-RSANet在不依赖集成学习或跨模型结果级融合的情况下，能够与现有方法相媲美。通过将残差自注意力机制纳入融合过程，该架构实现了跨模态的高效且可解释的信息交换。

在未来的工作中，我们计划扩展所提出的融合模块以支持更多模态之间的交互。在此基础上，我们还将进一步结合语言特征分析以及音频和视觉表示，以提高在复杂现实世界情感识别场景中的鲁棒性和泛化能力。

**作者贡献声明**

S. Jothimani：撰写原始草稿、可视化处理、数据分析、形式化分析。

K. Premalatha：撰写修订稿、验证工作、监督过程、方法论设计。