面向对话情感识别的倒置师生搜索网络用于不完整多模态学习

《Artificial Intelligence》：ITEACH-Net: Inverted Teacher-studEnt seArCH Network for Emotion Recognition in Conversation

　　

摘要翻译：
由于对话在人机交互中的广泛应用，对话情感识别（Emotion Recognition in Conversation, ERC）日益受到研究人员的关注。尽管许多研究已取得显著成果，但仍存在两个阻碍ERC发展的关键挑战。其一，对于对话情感任务，缺乏从数据本身挖掘更深层信息的探索。其二，系统对随机模态特征缺失表现出脆弱性，而这种情况在现实场景中普遍存在。针对这两个关键挑战，研究人员提出了一种面向ERC的不完整多模态学习新框架，称为“倒置师生搜索网络（Inverted Teacher-studEnt seArCH Network, ITEACH-Net）”。ITEACH-Net包含两个新颖组件：情感上下文变化编码器（Emotion Context Changing Encoder, ECCE）和倒置师生（Inverted Teacher-Student, ITS）框架。具体而言，利用情感状态在对话上下文中具有局部稳定性的趋势，ECCE捕获这些模式并进一步感知其随时间的演变。认识到处理不完整数据与完整数据具有不同挑战，ITS采用师生框架将相应计算解耦。随后，通过神经架构搜索（Neural Architecture Search, NAS），学生模型相比教师模型发展出更强的处理不完整数据的计算能力。在测试阶段，研究人员设计了一种新颖的评估方法，在不改变模型权重的情况下测试模型在不同缺失率条件下的性能。研究人员在三个基准ERC数据集上进行了实验，结果表明ITEACH-Net在不完整多模态ERC中优于现有方法。研究人员相信ITEACH-Net能够启发对话场景中情感内在本质的相关研究，并为不完整学习技术开辟更稳健的路径。模型代码可在 https://github.com/Shy-98/ITEACH-Net 获取。

论文解读：

一、研究背景与问题

对话情感识别（Emotion Recognition in Conversation, ERC）旨在分析对话语境中说话者的情感状态，在社交媒体分析与人机交互等领域具有广泛应用。尽管现有ERC方法已取得不错性能，但仍面临三个关键问题。第一，对话通常包含长序列和重要的上下文信息，与句子级情感理解不同，ERC需要处理复杂的上下文变化。然而，许多上下文建模方法虽然增强了模型对上下文信息的处理能力，却未深入挖掘对话中情感表达的独特模式，未能充分利用数据本身的先验知识。第二，现实场景中，语音背景噪声、图像障碍、文本识别错误等因素常导致模态信息缺失，多模态数据不完整是常态。现有不完整学习方法多采用同一网络结构同时处理完整与不完整数据，忽略了这两类任务对模型计算能力需求的差异，未能赋予模型足够的缺失数据处理能力。第三，数据受到的扰动具有不确定性，评估模型鲁棒性时应考虑数据不完整度动态变化的情形。而现有评估方法通常针对特定缺失率分别训练模型权重，无法真实反映模型在实际动态缺失场景中的鲁棒性。

二、研究内容与结论

针对上述问题，研究人员提出一种新的ERC不完整学习框架——倒置师生搜索网络（Inverted Teacher-studEnt seArCH Network, ITEACH-Net）。该框架包含两个核心组件：情感上下文变化编码器（Emotion Context Changing Encoder, ECCE）和倒置师生（Inverted Teacher-Student, ITS）训练框架。ECCE利用对话中情感状态在局部上下文中的稳定性，从局部和全局两个视角捕获情感上下文变化模式；ITS框架则将完整数据与不完整数据的计算过程解耦，采用结构更复杂的学生模型，通过神经架构搜索（Neural Architecture Search, NAS）增强其处理不完整数据的能力，使其模仿由完整数据训练的简单教师模型的性能。此外，研究人员提出一种新的统一模型评估方法（Unified Model Evaluation, UME），在固定模型权重的情况下测试模型在不同缺失率下的性能，以模拟真实动态缺失场景。在CMU-MOSI、CMU-MOSEI和IEMOCAP三个基准数据集上的实验表明，ITEACH-Net在不完整多模态ERC任务上优于现有最先进方法，验证了考虑情感上下文变化模式及倒置师生框架的有效性。

三、主要关键技术方法

研究人员采用了以下关键技术方法：（1）情感上下文变化编码器（ECCE）：通过局部上下文编码（使用一维卷积作为F_local）提取窗口内局部情感特征，再通过全局上下文变化编码（使用平均池化作为F_global）计算任意两个话语间的上下文变化信息，生成情感上下文变化矩阵E^m∈R^L×L，用于指导后续序列交互。（2）倒置师生（ITS）训练框架：教师模型在完整数据上训练，结构较简单（3层编码器）；学生模型处理不完整数据，结构更复杂（4层编码器），并通过NAS搜索Token Mixer模块，使用路由器（Router）实现输入依赖的架构选择，以增强学生模型的计算能力。（3）损失函数联合优化：结合情感分类损失（交叉熵或均方误差）与师生隐藏特征距离损失（对最后三层特征加权MSE），实现端到端训练。（4）统一模型评估（UME）：训练单一模型，在测试时固定权重，评估其在0%至70%不同缺失率下的平均性能。数据特征提取采用wav2vec（音频）、DeBERTa（文本）、MA-Net（视觉）预训练模型，实验设置与GCNet保持一致。

四、研究结果

1. 情感上下文变化编码器性能：在四个任务（IEMOCAP四分类/六分类、CMU-MOSI、CMU-MOSEI）上，通过消融实验比较了不使用ECCE、仅使用全局编码、完整ECCE三种设置。结果表明，完整ECCE在所有任务上均取得最佳加权平均F1分数（WAF），而仅使用全局编码（省略局部编码）会导致性能下降。热力图可视化进一步显示，完整ECCE能更准确地关注局部情感模式和上下文变化，优于普通自注意力机制。

2. 倒置师生框架性能：将ITEACH-Net与之前的训练框架（PRE，单模型处理完整与不完整数据）、传统师生框架（TS，复杂教师指导简单学生）进行比较。结果显示，ITS框架在四个任务上均优于PRE框架，从完整数据过渡到70%缺失率时性能下降更小；NAS增强的学生模型在四个任务上取得了最小的性能衰减（IEMOCAP四分类3.63%，六分类3.08%，CMU-MOSI 15.97%，CMU-MOSEI 6.50%），证明处理不完整数据需要更强的计算能力。而传统TS框架（复杂教师+简单学生）性能下降明显，表明简单学生难以有效学习复杂教师的知识。

3. 距离损失性能：通过比较不同复杂度学生模型与教师模型隐藏表示H₁之间的向量距离发现，未使用NAS的学生模型在重构教师表示上表现更好，但NAS增强的学生模型在极端缺失条件下重构性能较差，却在分类任务上更鲁棒。这说明ITS中教师知识仅起引导作用，学生模型学习的是适合自身处理不完整数据的方式，而非单纯模仿教师，这与基于插补的方法存在本质区别。

4. ITEACH-Net整体性能：
- 独立模型评估（IME）下，ITEACH-Net在IEMOCAP四分类、六分类和CMU-MOSI任务上分别超过现有最先进方法GCNet 0.52%、1.38%和0.17%，取得新的最佳性能；在CMU-MOSEI上略低0.19%但仍有竞争力。在70%高缺失率下，ITEACH-Net在IEMOCAP四分类和六分类任务上优势更明显（分别提升2.46%和2.48%），展现了良好的鲁棒性。
- 统一模型评估（UME）下，采用随机训练策略（每个批次随机选择0%-70%缺失率）时，ITEACH-Net在四个任务的平均WAF上均最优，尤其在六分类IEMOCAP和CMU-MOSI上优势显著；采用渐进训练策略（从0%缺失率开始每10个epoch增加10%至70%）时，ITEACH-Net同样在所有任务平均指标上取得最优，并在不同缺失率下保持平稳性能，而基线模型往往偏向于特定缺失率，难以同时兼顾完整与不完整数据处理。

5. 嵌入空间可视化：对四分类IEMOCAP测试集进行t-SNE可视化，发现学生模型在不同缺失率下编码的表示与教师模型在完整数据下得到的表示整体分布一致；随着缺失率增加，同类数据方差增大，但不同类别之间仍保持清晰边界，说明ITEACH-Net在动态缺失场景下具有稳定的嵌入空间。

6. 混淆矩阵可视化：在四分类IEMOCAP上的混淆矩阵显示，随着缺失率增加，Sad、Neutral、Angry类别的预测准确率有所下降，而样本数较多的Happy类别保持相对稳定，表明ITEACH-Net在简单情绪检测上表现稳定，且未因数据不平衡而在其他类别上发生模型崩溃。

五、总结与结论

讨论部分指出，与现有的基于插补的方法不同，ITEACH-Net中的学生模型并非简单地重构教师模型的隐藏表示，而是在教师知识的引导下自主学会处理不完整数据，因此重构损失大小并不等同于模型鲁棒性。此外，统一模型评估（UME）揭示了仅针对单一缺失率训练的模型在动态缺失场景中的局限性，证明使用统一模型评估鲁棒性的必要性。研究结论总结如下：本文提出了面向ERC不完整多模态学习的新框架ITEACH-Net，其包含的ECCE模块能够有效捕获情感上下文变化，实验验证了这一独特模式在ERC中的重要性；ITS训练框架使复杂学生模型能够利用不完整数据去追随简单教师模型在完整数据上的表现，为学生模型提供了足够的缺失数据处理能力，实验结果证明复杂学生模型在不完整学习中的重要性；所提出的评估方法表明，先前方法难以有效应对不同数据缺失率动态变化的场景，而ITEACH-Net在不完整学习中展现出优越性。未来工作将扩展ITEACH-Net至实时分析场景，并应用于讽刺检测、话题跟踪等其他对话理解任务，同时评估实际应用中自然发生的模态缺失情况。