TOC-iQA：一种基于时间序相关性的量子注意力网络，用于多模态情绪识别

《Neurocomputing》：TOC-iQA: A time-ordered correlation-inspired quantum attention network for multimodal emotion recognition

　　郭一斌|王宇琪|吴佳豪|李希|陈友林|赵洪福建漳州363000，闽南师范大学计算机学院摘要对话中的多模态情感识别是情感计算领域的一个基础研究课题。目前大多数方法对过去和未来的语境都采用对称的注意力机制，从而忽视了时间上的不对称性以及语境影响随距离变化的衰减规律。与此同时，受量子理论启发的方法主要依赖叠加态和密度矩阵等静态概念，未能体现情感信息有序传播和衰减的过程。本文提出了一种基于时间有序相关性启发的多模态情感识别量子注意力网络（TOC-iQA），将该理论中的数学结构引入对话情感识别任务中。具体而言，首先通过振幅和相位嵌入将多模态特征映射到复希尔伯特空间中，然后设计一个时间相关矩阵，结合非对称的方向权重和指数级距离衰减，来明确引导注意力的分配。最后，将情感分类视为由玻恩规则控制的量子测量过程。在IEMOCAP和MELD基准数据集上的实验表明，TOC-iQA取得了先进的性能，推动了受量子理论启发的方法从静态粒子级描述向动态场级描述的发展。这些结果表明，TOC-iQA为对话系统中的稳健多模态情感建模提供了可解释且具有时间意识的框架。引言对话中的多模态情感识别是情感计算和人机交互领域的重要研究课题。随着文本、音频和视觉信号等不同模态能够提供互补的情感线索，多模态方法在这一领域的重要性日益凸显，因为单一模态无法完全捕捉到这些情感信息。尽管取得了进展，但仍有两个核心挑战尚未解决。第一个挑战在于如何建模对话中的时间动态，第二个挑战则是如何有效捕捉不同话语之间的跨模态互动。如图1所示，这些挑战需要明确的原理性解决方案。基于深度学习的对话情感识别方法经历了多次范式转变，从基于循环的结构[9][28]，发展到基于图的结构[10][13][15]，再到基于注意力的方法[19][31]以及Transformer架构[26]，最近则出现了利用大型语言模型的方法[7][27]。这些进步显著提升了多模态特征提取和情境互动建模的能力。与此同时，受量子理论启发的方法也因能够描述情感认知中的固有不确定性而受到越来越多的关注[3]。人类的情绪状态本质上是模糊的且依赖于上下文，在上下文明确之前，多种情感解读会以类似叠加态的方式共存，而传统的深度学习模型很难充分捕捉这一现象。受量子理论启发的方法可以利用叠加态和量子概率等量子力学概念来捕捉语义依赖关系[22][50]，使用密度矩阵来表示混合情感状态[44][51]，并运用量子测量理论来模拟情感解读的概率坍缩[25]。这表明，受量子理论启发的方法非常适合用于建模人类情感中的不确定性。然而，这两种研究方法都存在明显的局限性。首先，大多数深度学习方法对过去和未来的话语采用对称处理，没有在注意力计算中建立明确的机制来编码时间不对称性或距离敏感性。在真实的对话中，说话者的情感状态主要是由 earlier的事件引发的，后续的语境仅起到辅助作用。其次，现有的受量子理论启发的方法局限于静态的量子力学概念，这些概念侧重于状态表示和观测，无法体现情感信息在不同话语间的有序传播，也无法解释情感影响随距离的衰减规律。量子场论将量子力学从固定粒子系统扩展到遍布时空的场，其中粒子被看作是底层场的量化激发。量子场论的基本构成要素——费曼传播子，具有两种与对话情感动态的时间特性高度契合的结构特性。首先，时间排序算子为不同的时间方向赋予非对称的传播权重，从而自然地体现了先行事件对当前情感状态具有主导影响这一原则。其次，汤川渐近形式使得相关性强度随着距离的增加而呈指数级衰减，这与人类情感认知中的近期效应一致，即较近的话语比较远的话语对情感的影响更大。这两种特性为解决深度学习和受量子理论启发方法中的上述局限性提供了原理性的理论基础。受量子场论理论启发的TOC-iQA框架包含四个级联模块。统一的多模态特征提取模块利用预训练的多模态基础模型，将文本、视觉和音频输入映射到共享的语义空间中。量子态准备模块通过振幅和相位嵌入将实值特征映射到复希尔伯特空间，其中振幅用于编码语义内容及话语位置，相位则用于编码说话者身份。时间有序相关性跨模态融合模块则通过受费曼传播子启发的掩码实现复值跨模态注意力调节，该掩码结合了指数级距离衰减和非对称方向权重，从而根据情感演变的时间不对称性明确引导注意力的分配。量子测量分类模块则将情感预测视为由玻恩规则控制的测量过程，将融合后的量子态投影到可学习的情绪原型上，从而得出类别概率。本文提出了基于时间有序相关性启发的多模态情感识别量子注意力网络（TOC-iQA），并在多模态对话情感识别领域做出了以下贡献：•我们提出了TOC-iQA，这是一种受量子场论启发的量子注意力网络，专为对话中的多模态情感识别设计，通过引入时间有序相关函数和费曼传播子来建模时间不对称性和距离依赖的衰减规律。•我们在统一的量子注意力框架中引入了时间有序相关性跨模态融合模块。该模块计算模内和模间的相关性强度，并通过受费曼传播子启发的掩码对其进行调节，从而在希尔伯特空间中同时捕捉模内情感的连续性和模间互补的互动关系。•我们在IEMOCAP和MELD基准数据集上进行了全面的实验，结果表明TOC-iQA取得了先进的性能，在IEMOCAP上的加权F1值为73.36%，在MELD上的值为67.14%，分别比之前的最佳基线高出0.55%和0.43%。系统的消融实验和超参数敏感性分析进一步验证了各组成部分的有效性和贡献。本文的其余部分结构如下：第2节回顾了基于深度学习和受量子理论启发的多模态情感识别的相关研究，并介绍了支撑我们框架的量子理论基础。第3节详细阐述了TOC-iQA方法的设计。第4节展示了实验结果和分析。第5节对本文进行总结，并指出未来研究的方向。片段总结基于深度学习的多模态情感识别早期的基于循环的方法，如DialogueRNN[28]，可以追踪说话者的状态和情感动态，但在处理长距离依赖关系方面存在不足；COSMIC[9]通过将常识知识引入循环建模来缓解这一局限。随后，基于图的方法将对话重新构建为关系结构，从用于话语级互动建模的DialogueGCN[10]，到用于跨模态图推理的MMGCN[15]，再到用于动态过滤多模态信息的MM-DFN[13]。问题定义任务输入为包含N条话语的多模态对话S={u1,u2,…,uN}。每条话语ui包含文本表示ti∈Rdt、视觉表示vi∈Rdv和音频表示ai∈Rda，同时还有一个来自预定义有限情感类别集合的情感标签yi∈Y。任务是为对话中的每条话语预测其对应的yi值。TOC-iQA框架概述如图2所示，TOC-iQA包含四个阶段：统一多模态特征提取、量子态准备、时间有序相关性跨模态融合以及量子测量。数据集我们在两个广泛使用的多模态情感识别基准数据集MELD[33]和IEMOCAP[4]上评估TOC-iQA的性能。MELD的数据来源于电视剧《老友记》，包含超过1400段多方对话以及13000多条带有七种情感类别标注的话语，其中恐惧和厌恶等少数情感类别存在明显的类别不平衡现象。IEMOCAP则包含了来自十位演员的约12小时的二元对话录音，涵盖六种情感类别。我们使用了MELD官方规定的训练/开发/测试数据划分方式。结论本研究提出了TOC-iQA框架，首次将量子场论中的时间有序相关函数和费曼传播子的数学结构引入对话情感识别领域，推动了受量子理论启发的方法从静态粒子级描述向动态场级描述的发展。受费曼传播子启发的相关掩码结合了非对称方向权重和指数级距离衰减，从而能够明确引导注意力分配。CRediT作者贡献声明郭一斌：写作——审阅与编辑、写作——初稿撰写、可视化、验证、软件、方法论、研究、形式分析、数据整理、概念构建。王宇琪：监督、资源协调、项目管理、研究、资金获取、概念构建。吴佳豪：监督。李希：监督、项目管理。陈友林：监督、项目管理。赵洪：监督。利益冲突声明作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。致谢本研究得到了中国国家自然科学基金（NSFC）的资助，项目编号为62376114。郭一斌目前在中国漳州闽南师范大学计算机科学学院攻读硕士学位，他的研究兴趣包括受量子理论启发的神经网络、量子机器学习、自然语言处理、大型语言模型以及深度学习。