DSCI：一种面向对话多模态情感识别的双流因果干预框架

《Computer Speech & Language》：DSCI: A dual-stream causal intervention framework for multimodal emotion recognition in conversations

　　双流上下文协调因果约束与语义判别。单向因果流作为调节器防止未来信息泄漏。结合反事实打乱的门前调整消除上下文偏差。**引言**对话是一种重要的日常交流形式，说话者通过对话传达各种情绪状态。对话中的多模态情绪识别（MERC）旨在通过整合当前话语的文本、声音和视觉信息及其对话上下文，识别说话者在每一轮中表达的情绪。与文本情感分析不同，MERC必须考虑对话的非平稳动态特性。说话者的情绪状态可能随时间变化，相同的文本在不同对话场景或不同说话者中可能传达完全不同的情绪。之前的话语有助于解释省略、回应和情绪转变，而说话者信息有助于区分不同个体的对话状态。因此，两者已被广泛纳入情绪识别模型。然而，对话上下文虽然提供了有用的线索，但也可能使模型学习到与当前话语所表达情绪无关的预测捷径。同一说话者的反复出现，或特定情境与情绪的共现，可能导致模型依赖于与身份或场景相关的统计模式，而非当前话语中可辨识的情绪证据。如图1所示，Chandler早先的话语"哦，是的！"被标记为喜悦，而其后说的话"别走，对不起"被标记为悲伤。这种情绪转变必须结合话语本身和对话的进程来理解。此外，由于异构模态以不同方式表征信息，未能平衡模态偏差将阻碍模型充分利用每种模态的优势，并损害情绪识别性能。现有主流方法强调利用多模态信息建模对话上下文，并倾向于构建复杂的上下文聚合网络来捕获说话者之间的相互依赖关系。对于MERC，关键问题不仅是如何聚合更多上下文信息，还如何判断驱动模型预测的信息是否基于目标话语的情绪表达。因果学习为话语表达如何塑造情绪判断提供了新的视角。文本、声音和视觉线索共同传达其情绪表达。因果模型可以将这些线索所指示的即时情绪反应表示为连接多模态输入与情绪类别的中介变量，并围绕该中介变量构建预测结构。这种因果路径不是直接从所有可用的对话信息中学习，而是允许之前的话语帮助解释省略、回应和情绪变化，同时引导模型关注与当前话语表达一致的证据。从而减少对说话者身份、特定场景共现模式和任何单一模态线索的依赖。为了解决对话中普遍存在的上下文混杂和虚假关联问题，我们开发了DSCI，一种融合因果推断机制的双流模型。与直接拟合输入与标签之间统计关联的传统方法不同，DSCI试图识别并隔离一个传达说话者潜在情绪意图的因果中介机制，从而从源头阻断说话者身份和无关上下文等混杂因素的干扰。我们将对话历史视为上下文变量，将从当前话语中提取的局部情绪表示视为连接历史上下文与情绪标签的候选中介。该方法旨在保留上下文在解释当前表达中的作用，同时减少预测对身份先验以及和目标话语无关的上下文关联的依赖。具体而言，我们设计了一种双流上下文架构，通过架构分离构建独立的因果中介分支，并将其与负责全局上下文建模的主任务流解耦。我们进一步引入门前调整和说话者不变性对抗训练，以在复杂的对话交互中实现无偏情绪预测。实验结果表明，该机制显著提升了模型在复杂环境下捕捉和表征说话者情绪状态的能力。本文的主要贡献总结如下：（1）通过考察对话历史、当前话语和说话者身份之间的关系，我们刻画了与上下文和身份相关的潜在预测捷径。随后，我们提出了一种因果建模框架，将当前话语的局部情绪表示视为候选中介，并指定了门前识别所需的假设。（2）具有双流上下文聚合机制的物理隔离中介分支。我们设计了一种鲁棒的多模态融合策略，实现了双向特征级交互。同时，在架构层面，我们在因果中介生成路径与上下文聚合路径之间引入了有原则的物理分离，解决了因果时间约束与双向上下文依赖之间的结构张力。（3）为多模态情绪识别提供了一个新的因果视角。在IEMOCAP和MELD数据集上的大量实验验证了我们的方法在消除虚假关联方面的有效性，并展示了在多模态情绪识别中的强大实证性能。**章节摘要****多模态交互与融合**对话中的多模态情绪识别需要从文本、音频和视觉信号中提取互补的情绪线索。现有方法主要通过跨模态注意力、图结构或知识蒸馏来建模模态间的交互。DialogueTRM通过分别建模模态内情绪动态和模态间依赖关系，将情绪动态的概念扩展到多模态场景。MMGCN使用多模态融合图**方法**我们提出DSCI，一种用于对话中多模态情绪识别的双流因果干预框架，旨在通过结构化因果干预防止多模态情感建模中的虚假关联。基于结构因果模型，DSCI将情绪识别分解为两个独立建模的过程：即时情绪反应和上下文依赖。首先，在多模态特征提取阶段，我们引入了一种物理隔离机制**数据集**IEMOCAP和MELD是多模态对话情绪分析的两个代表性基准，已被广泛用于评估MERC模型。IEMOCAP是一个由十名演员表演的高质量双人交互式多模态数据库，包含151段对话中的7433条话语，组织为五个会话。每条话语标注了六种情绪类别之一：中性、快乐、悲伤、愤怒、兴奋和沮丧。MELD是一个多方的**实验结果分析**我们报告了六种情绪类别的详细每类性能，连同加权平均结果，将DSCI与一系列主流基准方法进行比较。表2总结了IEMOCAP数据集上的结果。总体而言，DSCI取得了最佳性能。具体而言，我们的模型达到了71.07%的WAA和71.44%的WAF1。与次优模型TelME相比，DSCI将WAF1提高了约1.0%，并且在WAF1上超越了经典基于GNN的方法DER-GCN超过**结论**本研究通过提出DSCI框架，解决了对话中多模态情绪识别中普遍存在的虚假关联和鲁棒性有限的问题。我们通过将结构因果模型纳入深度神经网络设计，解决了情绪识别的建模范式，从传统的关联性特征拟合转向对潜在因果机制的更彻底考察。DSCI的核心创新在于物理隔离的中介**CRediT作者贡献声明****翟汉明：** 撰写——初稿，方法论。**丁元清：** 形式化分析，数据整理。**王星宇：** 软件，概念化。**项一培：** 软件，数据整理。**佟鑫：** 监督，软件。**卜凡亮：** 撰写——审阅与编辑，方法论。**代码可用性**我们的代码公开可用，地址为 https://github.com/Quassia/DSCI。**资金**本研究由中央高校基本科研业务费和中国人民公安大学博士研究生科研创新项目资助[资助号2025bsky021]。**利益冲突声明**作者声明不存在利益冲突。翟汉明 | 丁元清 | 王星宇 | 项一培 | 佟鑫 | 卜凡亮