基于冻结预训练编码器的多模态情感识别四种融合方法基准评估与比较

《Scientific Reports》：Evaluating early, late, hybrid and meta fusion in multimodal emotion detection with pretrained models

　　

摘要

在对话中理解情感对于社交智能代理是至关重要的；然而，多模态方法的挑战在于语音、语言和视觉表达等多种模态的结合。在本文中，我们提出了一项实验基准，针对MELD数据集，基于冻结的预训练编码器对多模态情感识别中四种知名的多模态融合技术进行了评估：早期融合、晚期融合、混合平均融合和元融合。我们使用现有的预训练编码器分别处理文本、语音以及每个话语中的单个代表性图像帧，以构建话语的复杂表示，然后将这些表示应用于四种融合技术：早期融合、晚期融合、混合平均融合以及元分类器。由于视觉流是从单个静态帧中提取的，因此视觉流所捕获的面部表情中不包含时序动态信息。结果表明，与强单模态基线相比，所提出的评估框架取得了更好的性能，其中早期融合、混合融合和元融合取得了统计上相似的性能，且均远超纯文本基线，尤其在考虑愤怒、喜悦和惊讶等强烈情感时表现突出。然而，早期融合和元融合对恐惧情感的识别效果极差（F1 = 0.000），而对厌恶情感的识别效果总体上也较差，混合融合的最佳F1值仅为0.220，这是由于这两种情感在数据中的出现频率非常低（分别为1.9%和2.6%）。通过对各类别性能和混淆模式的分析，可以看出，混合融合和元融合方法既充分发挥了基于特征的融合和基于得分的融合方法的各自优势，又同时将任务特定参数的数量保持在最低水平。上述结果为知名多模态融合方法的比较提供了可复现的基准，并指导在预训练编码器的情况下如何选择融合方法。该基准为资源受限的多模态情感识别系统中选择融合策略提供了实用参考，其应用涵盖客户服务、医疗保健和教育等领域。