结合软标签过滤的跨模态代理蒸馏方法，用于对话中的多模态情感识别

《Knowledge-Based Systems》：Cross-Modal Proxy Distillation with soft label filtering for multimodal emotion recognition in conversations

　　摘要
在对话中的情绪识别（ERC）由于其广泛应用于人机交互和智能对话系统而受到了越来越多的关注。尽管在多模态ERC方面取得了 recent progress，现有方法仍受到两个关键挑战的限制：在模态异质性下对互补的跨模态线索利用不足，以及严重的模态性能不平衡。虽然跨模态知识蒸馏提供了一个潜在的解决方案，但直接在不同模态之间进行蒸馏可能会引入潜在的误导性跨模态监督和软标签错位，从而导致知识转移无效甚至产生误导。为了解决这些问题，我们提出了一个带有软标签过滤的跨模态代理蒸馏（CMPD）框架。具体来说，我们设计了一个增强的跨模态编码器（ Enhanced Cross-Modal Encoder）来捕捉模内上下文依赖关系，并通过并行跨模态增强来生成具有交互意识的多模态表示。此外，我们引入了一种基于软标签过滤的跨模态代理蒸馏策略，该策略通过三模态协作代理架构实现。代理机制构建了间接的跨模态软监督，而基于肯德尔等级相关性的过滤策略通过过滤掉软标签排名不一致的跨模态关系来选择性启用知识转移。此外，在代理蒸馏过程中采用了最优传输目标来对预测分布进行分布级别对齐。这种机制有助于减轻模间干扰并支持可靠性感知的跨模态蒸馏。在两个基准数据集MELD和IEMOCAP上的广泛实验表明，所提出的CMPD框架相对于报道的结果取得了有竞争力的性能，而详细的消融研究进一步显示了代理构建、等级一致性过滤和分布级别对齐的增量贡献和互补作用。

引言
情绪是人类决策、人际互动和各种认知过程的核心。随着深度学习技术的不断进步和多模态数据的不断积累，情绪识别吸引了越来越多研究人员的关注。它在视频理解[1]、医疗保健[2]、公共意见挖掘[3]、人机交互[4]等多个领域找到了广泛的应用。与孤立话语的情绪识别相比，对话中的情绪识别（ERC）需要从上下文相关的对话中识别情绪，其中情绪状态受到话语级表达和对话上下文的双重影响。具体来说，情绪是通过上下文相关的对话传达的，这比孤立的话语引入了更复杂和多样的上下文信息[5]。
最近的研究对多模态情绪识别进行了全面回顾，并强调了有效利用异构多模态信息的重要性[6]。然而，在对话场景中，文本、音频和视觉模态可能会表现出不同的预测性能，并可能提供不一致的情绪证据。这种模态异质性使得有效的多模态表示学习和可靠的跨模态知识转移仍然具有挑战性。
传统的ERC旨在通过分析对话中的单一模态特征（如语言内容、语调和说话速度）来检测人类情绪[7]、[8]、[9]。随着互联网生成数据的量和多样性的快速增长，多模态ERC最近成为了一个关键的研究焦点。通过整合来自多种模态（文本、音频和视觉模态）的互补信息，多模态ERC可以获得比单一模态方法更准确的结果。现有的主流ERC方法通常可以分为基于序列的[10]、[11]和基于图的[12]、[13]方法。基于序列的方法利用循环神经网络（RNN）和Transformer等架构来模拟对话序列中的上下文依赖关系。相比之下，基于图的方法构建了适合对话动态的关系图，并使用图神经网络（GNN）来捕捉说话者特定的状态和交互模式。尽管这些方法在上下文建模和多模态交互方面取得了有希望的进展，但它们主要关注表示级别的融合，而在模态异质性下的跨模态知识转移的可靠性仍没有得到充分探索。
尽管在多模态ERC方面取得了显著进展，现有方法仍受到两个关键限制的约束：
(1) 对模内和模间交互的建模不足。虽然一些方法[13]、[14]、[15]试图对多模态数据之间的依赖关系进行建模，但它们的特征交互范式存在固有的局限性。例如，SDT[16]采用了一种基于自蒸馏的多模态情绪识别模型，该模型基于Transformer架构构建，同时建模了模内和模间交互，并结合了动态的模态融合机制。然而，它仍然受到串行双模态交互范式的限制。尽管基于图的方法探索了更丰富的跨模态交互结构，但当不同模态提供不一致的情绪证据时，仍可能引入冗余或噪声信息。因此，通过有效整合互补的跨模态线索来增强模态感知的表示仍然很有必要。
(2) 无法有效处理模态性能不平衡。如图1(a)所示，在个别对话实例中，不同模态之间的预测置信度可能存在差异。单一模态（例如文本）的主导可能会导致捷径学习。过度依赖高置信度模态而忽视可能携带关键情感线索的低置信度模态可能会抑制其他模态的学习并降低整体性能。以往的方法主要关注在特征级别增强较弱的模态。Wulamu等人[17]提出了一种多层音频编码器来增强音频特征。然而，弱模态的信息瓶颈从根本上限制了这些方法的效果。跨模态知识蒸馏（CMKD）[18]通过将高级语义知识从表现更好或占主导地位的模态转移到较弱的模态提供了一个有希望的解决方案。传统方法通常采用KL散度或MSE损失来基于预预测logits进行蒸馏。然而，模态之间的内在异质性大大增加了多模态知识转移的复杂性。在多模态情绪识别系统中，特定模态的预测分布可能表现出不同的类别排名模式，这可能导致软标签错位。如图1(b)中的蒸馏过程所示，恐惧和惊讶的相对分数在视觉模态中更为相似，而在文本和音频模态中它们的排名模式不同。传统的CMKD机械地强制较弱的模态模仿来自主导模态的软标签分布，从而忽略了分类信息表示中的关键模间差异[18]。这可能在传输过程中导致知识污染，即特定模态的预测模式不恰当地跨模态传播，从而导致额外的跨模态干扰而不是建设性的知识整合。
为了缓解这些限制，我们提出了一种带有软标签过滤的跨模态代理蒸馏（CMPD）框架用于ERC。具体来说，我们首先设计了一个增强的跨模态编码器（ECME），该编码器捕获了模内和模间交互。ECME采用了两阶段处理机制：首先通过模内上下文建模建立全局表示，然后进行并行跨模态交互以增强模态表示。此外，我们引入了一种基于肯德尔等级相关性（KRC）的软标签过滤跨模态代理蒸馏（SFPD）模块，该模块根据软标签排名选择性地执行双向蒸馏，使用等级一致性作为选择性跨模态知识转移的代理标准。此外，我们设计了一个跨模态代理模型，该模型从单模态和跨模态表示中间接继承知识，为渐进式知识转移提供了中间途径，并可能减少由模态间性能差异引起的不稳定性。
本文的主要贡献包括：
• 我们提出了一个增强的跨模态编码器（ECME）以促进多模态信息交互。ECME首先建模模内上下文依赖关系，然后进行并行跨模态交互以整合互补线索，从而产生增强的表示。
• 我们提出了一种用于ERC的软标签过滤跨模态代理蒸馏（SFPD）模块。SFPD采用基于KRC的等级一致性过滤作为可靠性感知的选择性蒸馏的代理标准，并使用代理模型来实现渐进式跨模态知识转移，从而减轻模间干扰。
• 在MELD和IEMOCAP数据集上的广泛实验表明，CMPD取得了与报道结果相当的性能，而消融研究进一步验证了其主要组件的有效性和增量贡献。

多模态情绪识别在对话中
随着对话系统研究的不断受到关注，ERC已成为一个突出的研究课题。早期研究主要依赖于基于字典的方法[22]、[23]。随着深度学习的快速发展以及多模态数据的日益丰富，当前的ERC研究转向了专注于上下文建模和多模态融合的神经架构。同时，最近的研究还探索了用于情绪识别的高级架构。

任务定义
一个对话会话??由??个独特的说话者[??1,??2,…,????]之间交换的??个话语[??1,??2,…,????]组成。每个语言单元????源自说话者?????(????)，映射函数??建立了说话者和话语之间的对应关系。每个话语????由三个模态特征向量表示：文本??????∈?????、音频??????∈?????和视觉??????∈?????。ERC的目标是为每个话语????分配一个适当的情感标签????∈??，其中??表示预定义的情感类别集合。

数据集
MELD [51]：MELD是一个来自电视节目《Friends》的多模态、多说话者对话数据集，包含1433个对话会话和13,708个话语。每个话语由多个注释者标注为七种情感类别之一。
IEMOCAP [52]：IEMOCAP包含来自10个说话者的153个对话和7433个话语。该数据集分为五个会话，其中前四个用于训练，最后一个用于测试。每个话语被标记为六种情感之一。

结果和讨论
我们展示了实验结果，包括与代表性现有方法的比较和消融研究，随后是详细分析。为了定量评估我们模型的性能，我们使用加权准确率（WA）和加权F1分数（WF1）来考虑类别不平衡。

结论
在本文中，我们提出了一种带有三模态协作代理（TCP）架构和软标签过滤跨模态代理蒸馏（SFPD）策略的跨模态代理蒸馏（CMPD）框架，用于对话中的多模态情绪识别。所提出的方法旨在解决在模态异质性下的不可靠跨模态知识转移问题，其中模态性能不平衡和软标签错位可能会引入误导性的监督和模间干扰。

CRediT作者贡献声明
Zhong Haoyang：撰写——原始草稿、软件、方法论、概念化。
Wen Guihua：方法论、资金获取。
Li Huihui：撰写——审阅与编辑、方法论、资金获取、概念化。
Shi Wenjuan：调查、数据管理。
Xu Chunlin：可视化、验证。
Liu Xiaoyong：撰写——审阅与编辑、资金获取。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢
本研究得到了中国国家自然科学基金（刘晓勇的项目编号62172113和文桂华的项目编号62176095）、广东省基础与应用基础研究基金（李慧慧的项目编号2023A1515010939）的支持。

Haoyang Zhong|Guihua Wen|Huihui Li|Wenjuan Shi|Chunlin Xu|Xiaoyong Liu