一种基于多层正弦滤波器和可变形自适应注意力的语音情感识别方法

《Expert Systems with Applications》：A Speech Emotion Recognition Method with Multi-level Sinc Filters and Deformable Adaptive Attention

语音情感识别中，传统方法存在可解释性差和适应性不足的问题。本文提出SincDAT模型，通过多级Sinc滤波器提取低、中、高频互补特征，结合可变形自适应注意力机制动态捕捉稀疏情感特征，在保持可解释性的同时显著提升性能和泛化能力。

　　

范永红|黄 Heming

青海师范大学计算机学院，西宁，810000，中国

摘要

基于变压器的模型显著推动了语音情感识别技术的发展。然而，它们在适应性地捕捉语音中蕴含的宝贵情感线索方面存在可解释性和灵活性不足的问题。为了解决这些限制，提出了一种名为 SincDAT 的模型，该模型将可解释的 Sinc 情感特征学习器（SincEFL）与可变形自适应变压器（DAT）相结合。SincEFL 包含两个模块：多层 Sinc 滤波器（MLSinc）和聚合器。MLSinc 用于提取低频韵律变化、中频共振峰结构和高频发音瞬态。这种设计通过物理约束的带通滤波器参数提供了频域可解释性。其次，聚合器模块通过注意力增强（AE）块融合这些多层特征，并动态调整通道的重要性。然后使用 DAT 模块进一步处理这些融合的多层特征，其核心创新是可变形自适应注意力机制，该机制利用轻量级决策网络根据输入的情感特征动态确定注意力窗口的大小。同时，DAT 利用从特征中得出的数据依赖偏移量来调整这些注意力窗口的位置，从而实现稀疏情感线索的自适应定位。在多个基准数据集上的广泛实验表明，SincDAT 在保持可解释性的同时，其识别性能和数据集泛化能力均优于现有方法。

引言

情感是在生存和进化过程中形成的，是人类表达意图的重要方式之一。理解人类情感在理性行为和决策中起着关键作用（Guo, Wang, Dang, & Ding, 2024）。作为最基本和有效的人类交流手段，语音携带了丰富的情感信息（Zhao et al., 2025）。因此，旨在识别语音信号中嵌入的情感状态的语音情感识别已成为一个重要的研究前沿。其广泛应用包括客户服务（Feng & Devillers, 2023）、在线教育（Liu, Wang, Yang, Liu, & Yi, 2025b）、医疗保健（He et al., 2022）等。

早期的语音情感识别研究主要集中在手工制作的声学特征和机器学习分类器上，如支持向量机和决策树（Miao, Li, Wen, Liu, Julian, Guo, 2022, Tuncer, Dogan, Acharya, 2021）。随着深度学习的出现，研究人员尝试通过将特征提取方法与深度神经网络相结合来提高识别性能（Li, Gao, Wang, Deng, Xue, Han, Li, 2024b, Liu, Joseph Raj, Rajangam, Ma, Zhuang, Zhuang, 2024）。然而，这种范式的根本瓶颈在于特征设计阶段本身：手工设计的特征编码了领域知识，但无法适应性地捕捉情感区分的时频模式的全部多样性，其固定的表示限制了下游分类器的泛化能力。这一限制促使人们转向从原始语音波形中端到端学习特征提取和分类的架构。

原始语音波形包含了完整的声学信息以及与情感表达密切相关的细粒度线索（Neumann & Vu, 2019）。这些声学特征，包括基频变化、音色特征和能量分布，尽管常被传统手工特征所忽略，但对情感识别具有重大价值。因此，基于原始波形的端到端情感识别方法应运而生，并取得了前所未有的性能水平（Ma et al., 2024）。然而，端到端学习过程往往产生难以人类解释的“黑箱”内部表示。这种缺乏可解释性可能成为限制深度学习技术未来发展的主要瓶颈（Xu & Yang, 2025）。在波形处理前端中，卷积神经网络（CNN）是主要选择：它们通过学习的卷积滤波器提取鲁棒且具有平移不变性的特征（Qu et al., 2024）。然而，CNN 的第一层滤波器是不透明性的关键所在，每个滤波器都由 L 个不受约束的系数参数化，基于梯度的优化在没有声学约束的情况下产生的频率响应不规则、频谱重叠且缺乏心理声学意义（Jianhua, Junjie, & Yongwei, 2023）。基于 Sinc 函数的滤波器组提供了一种原则性的解决方案：通过将每个滤波器限制为仅由两个可学习的截止频率参数化的窗口化 Sinc 函数，它们产生严格带限的频率响应，这些响应在频域中可以直接解释。然而，现有的基于 SincNet 的方法仅使用单一分支和统一的滤波器分辨率，导致不同频率带中携带的互补情感信息未能得到充分捕捉。

此外，语音中的情感线索既不是均匀分布的，也不是静态的：带有情感的事件在时间轴上分布稀疏且不均匀。因此，捕捉这些线索需要一种时间建模机制，其感受野能够适应情感信息出现的位置以及所需的上下文范围。以多头自注意力为中心的变压器架构已成为语音情感识别中序列建模的主流方法，因为它们能够捕捉长距离的上下文依赖性（Fan, Huang, & Han, 2025a）。后续的层次化架构，如 Swin Transformer（Wang et al., 2024），能够协同建模局部和全局情感模式，并取得了显著的性能（Li, Gao, Wen, Zhao, Li, Schuller, 2025a, Wan, Qiu, Liu, Zhang, 2025）。在变压器架构取得成功之后，基于注意力的方法也被广泛使用（Chen, Xing, Xu, Pang, Du, 2022, Chen, Xing, Xu, Pang, Du, 2023c）。然而，当前的注意力机制与情感表达的时间动态之间存在根本性不匹配。主流方法使用全序列或固定大小的窗口注意力（Khan, Saddik, Deriche, & Gueaieb, 2024）。前者有助于建模长距离依赖性，但计算复杂度高且局部特征学习不足；后者提高了计算效率并实现了局部-全局信息整合，但无法适应非均匀的情感分布（Chen, Xing, Xu, Pang, & Du, 2023b）。

总之，当前的语音情感识别研究存在以下两个限制：

(1)

波形处理 CNN 使用 L 个不受约束的系数学习第一层滤波器，产生不规则的多带频率响应，这些响应没有声学基础的含义。这种不透明度会贯穿整个网络，使得模型的决策机制与人类听觉认知不兼容，从而阻碍了其在关键应用中的信任度。虽然 SincNet 风格的滤波器组提供了原则性的解决方案，但现有的单分支实现仅在一种频率分辨率下提取特征，无法捕捉与情感相关的全部声学信息。

(2)

基于固定窗口大小的变压器难以适应情感的离散分布特性。由于情感表示在时间维度上分布不均匀且稀疏，固定大小的窗口注意力机制无法动态捕捉情感显著区域。这种严格的架构限制从根本上限制了模型对情感动态演变模式的适应感知能力。

为了解决这些限制，提出了 SincDAT，该方法将多层 Sinc 滤波器与可变形自适应注意力相结合。它使用多分支 Sinc 网络（SincNet）从原始语音中提取互补的多层可解释情感表示。还采用了可变形窗口注意力来动态关注情感特征时间分布中的关键情感线索。这两个组件的协同作用同时增强了 SincDAT 的可解释性和灵活性。本研究的主要贡献如下：

(1)

提出了一种多层 Sinc 滤波器（MLSinc）模块，用于提取可解释的多层声学特征。它由三个并行的异构 SincNet 分支组成，分别捕捉低频韵律变化、中频共振峰结构和高频发音瞬态。MLSinc 使得不同频率带中的互补情感信息能够被可解释地建模。这种设计不仅增强了可解释性，还使领域专家能够验证模型是否关注与情感表达相关的声学上有意义的频率带。

(2)

提出了一种特征聚合器，它将卷积层与注意力增强（AE）块级联，有效融合 MLSinc 提取的多层特征。通过动态调整不同频率带特征的重要性权重，更高效地保留了具有区分性的声学特征，从而提高了数据利用效率。

(3)

提出了一种可变形自适应变压器（DAT），用于灵活的时间情感建模。其核心创新是引入了可变形自适应注意力机制，该机制根据情感信息在时间轴上的非均匀分布特性动态学习窗口大小和位置偏移量。因此，DAT 可以精确地定位和关注稀疏分布的显著情感片段。这种自适应机制对于实际语音特别有益，在实际语音中情感线索分布稀疏且不均匀。

部分摘录

可解释方法

深度学习在推动语音情感识别技术向更高水平发展方面发挥了关键作用。然而，深度神经网络在区分能力上的提升往往以模型可解释性的牺牲为代价（Chakraborty et al., 2017），而这对于情感识别任务至关重要。缺乏可解释性的模型容易学习数据集偏差或虚假相关性，从而限制了它们的泛化能力（Mari &

方法论

为了实现自适应能力的协同增强、解释透明度和整体识别性能，提出了一种新的 SincDAT 模型用于语音情感识别。首先，设计了一个异构的 MLSinc 模块，用于提取不同频率带的可解释特征。其次，设计了一个具有增强注意力机制的聚合器，用于有效融合 MLSinc 生成的多层特征，同时关注关键的情感信息。

实验设置

数据集。在三个公开可访问的基准数据集 IEMOCAP（Busso et al., 2008）、CASIA（Jianhua, Fangzhou, Meng, & Huibin, 2008）和 EMODB（Burkhardt, Paeschke, Rolfes, Sendlmeier, & Weiss, 2005）上验证了所提出的 SincDAT 模型的有效性。表 2 列出了这三个数据集在情感类别上的样本分布，展示了原始统计数据以及数据预处理程序后的分布情况。

讨论

第 4 节中的实验结果表明，SincDAT 在保持仅 0.20M 参数的紧凑模型大小的同时，在三个基准数据集上实现了最先进的性能。

SincDAT 的一个核心动机是提高语音情感识别模型的可解释性。MLSinc 模块通过将每个滤波器限制为仅有两个可学习截止频率的参数化 Sinc 函数，提供了频域可解释性。

结论与未来工作

本文提出了 SincDAT，这是一种新的语音情感识别框架，它将多层 Sinc 滤波器与可变形自适应变压器相结合。该框架包括三个核心组件：MLSinc 模块，它使用三个并行的异构 SincNet 分支提取低、中、高频带的可解释情感表示，同时通过每个滤波器仅优化两个可学习的截止频率来保持低计算复杂性；

CRediT 作者贡献声明

范永红（第一作者）：概念化、方法论、软件开发、调查、形式分析、撰写 - 原始草案；黄 Heming（通讯作者）：概念化、资金获取、资源协调、监督、撰写 - 审稿与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。