《Pattern Recognition》：Memory-augmented dual-pathway model for temporal speech emotion recognition
编辑推荐：
•提出了一种用于语音情感识别的双通路记忆框架。•短期线索与长期上下文被显式且联合地建模。•动态外部记忆随时间累积并复用上下文模式。•多尺度分类增强了跨时间尺度的情感辨别能力。•在三个基准数据集上的实验验证了该方法的一致有效性。引言近期的研究越来越强调语音情感识别中的时序建模与
- •
提出了一种用于语音情感识别的双通路记忆框架。
- •
短期线索与长期上下文被显式且联合地建模。
- •
动态外部记忆随时间累积并复用上下文模式。
- •
多尺度分类增强了跨时间尺度的情感辨别能力。
- •
在三个基准数据集上的实验验证了该方法的一致有效性。
引言
近期的研究越来越强调语音情感识别中的时序建模与上下文建模。当局部声学证据不足时，扩大时序上下文已被证明能提升情感预测性能 [1]。多尺度时序建模进一步增强了不同时间范围内情感信息的表征能力 [2]，而层次化建模则改善了多种粒度下副语言信息的使用 [3]、[4]。更多近期的工作还探讨了如何更好地利用预训练的语音表征来进行时序情感建模 [5]、[6]、[7]。此外，声学-语义交互也被引入以增强话语级情感理解 [8]。这些进展表明，语音情感识别正从孤立的局部模式建模走向更具上下文敏感性的时序表征学习。
尽管取得了上述进展，大多数现有方法仍然通过更强的序列编码、特征聚合或增强前端表征来隐式地引入上下文信息，而非显式地将即时情感证据与累积的历史上下文分离开来。因此，来自较早片段的情感相关信息往往被压缩到隐藏状态或混合注意力表征中，难以以受控的方式保留并协调历史证据以进行话语级预测 [9]。即便是与记忆相关的语音情感识别研究，也主要聚焦于跨域的鲁棒性或适应性 [10]。然而，如何在统一的话语级框架中显式地协调短期情感显著线索与长期累积的上下文信息，仍缺乏深入探索。这一局限性凸显了亟需一种能够显式保留并协调这两类信息以进行话语级预测的框架。
为应对这一局限性，我们提出了 Dynamic-MEM，一种用于语音情感识别的双通路框架，能够联合建模短期上下文线索与长期累积的情感上下文。具体而言，短期通路旨在从语音表征中捕获具有情感信息量的局部模式与序列上下文，使模型能够聚焦于与情感感知相关的即时证据。与此同时，长期通路引入一个动态更新的外部记忆，逐步保留历史情感信息，使得来自较早片段的上下文证据能够在情感预测过程中被保留和复用 [11]。此外，还采用了一个多尺度分类模块，以整合不同感受野上的时序特征并增强判别性情感建模。通过显式地协调即时情感证据与累积的上下文信息，Dynamic-MEM 为话语级语音情感识别中时序信息线索的建模提供了一种结构化方法。
本文的主要贡献总结如下。
我们提出了 Dynamic-MEM，一种用于语音情感识别的双通路框架，能够显式地协调短期上下文线索与长期累积的情感上下文。该设计为在话语级层面建模时序性情感证据提供了一种结构化方法。
我们引入了一种动态更新的外部记忆机制，能够在固定容量的记忆结构中逐步保留历史情感信息。该机制使模型能够保留并利用超出传统序列编码范畴的上下文证据。
我们在三个基准数据集上评估了所提出的框架，并进一步进行了消融实验与补充分析，以考察其主要组件的贡献以及记忆机制的行为。实验结果验证了 Dynamic-MEM 在语音情感识别中的有效性。
本文的其余部分组织结构如下：第2节回顾语音情感识别中与时序和上下文感知相关的工作。第3节介绍所提出的 Dynamic-MEM 框架。第4节报告实验结果与分析。第5节提供进一步讨论，第6节对全文进行总结。
各节摘要
时序与上下文感知的语音情感识别
语音情感识别（SER）已从基于手工设计声学描述符和传统分类器的系统，演进为直接从语音中学习情感相关表征的深度架构 [12]、[13]。早期的综述确立了声学特征、模型设计和语料库特征在 SER 中的重要性，而近期的研究则强调了上下文依赖性、泛化能力和鲁棒性等实际挑战。在此背景下，
方法
本节介绍所提出的用于语音情感识别的双通路框架。我们首先描述整体架构与特征提取流程，然后详细说明短期上下文建模通路、长期外部记忆通路以及最终的多尺度分类模块。核心理念是通过统一的……显式地协调当前话语中的即时情感证据与历史累积的上下文信息
实验结果与分析
本节探讨我们所提出的算法在语音情感识别中的适用性。为了验证我们的方法，我们在公开的情感语音数据集上进行了一系列严格的实验。实验结果表明了所提出算法的鲁棒性和有效性。
讨论
本节进一步讨论所提出框架的两个实现因素，即外部记忆容量和外部记忆矩阵的初始化策略。
结论与未来工作
本文提出了 Dynamic-MEM，一种用于语音情感识别的双通路记忆框架，能够显式地协调短期上下文编码与长期历史上下文累积。通过集成 Transformer 分支、BLSTM 分支以及具有动态更新策略的外部记忆模块，所提出的框架能够更有效地建模时序性情感模式。
在 IEMOCAP、Emo-DB 和 RAVDESS 上的实验结果表明了……的有效性
CRediT 作者贡献声明
李冬冬：撰写——初稿、监督、资源、项目管理、方法论、资金获取、形式分析、概念构思。谢涛：撰写——初稿、可视化、验证、软件。沈江天：撰写——初稿、验证、方法论、形式分析。王哲：撰写——审稿与编辑、监督、调查。
利益冲突声明
作者声明以下可能存在潜在利益冲突的财务利益/人际关系：李冬冬报告称获得了中国国家自然科学基金的资助。如有其他作者，他们声明没有已知的竞争性财务利益或可能影响本文所报告工作的个人关系。
致谢
本工作受中国国家自然科学基金资助，项目编号：62276098。
李冬冬 | 谢涛 | 沈江天 | 王哲
