用于多模态情感识别与推理的情感绑定技术

《Scientific Reports》：Emotion-BIND for multimodal emotion recognition and reasoning

　　

摘要

构建对话式多模态情感识别模型对于从文本、音频、图像和视频中理解情感状态至关重要。现有的方法通常依赖线性层来实现跨模态特征对齐，并在训练过程中固定编码器参数，这可能会导致特征质量下降以及模态不对齐的问题。传统的一维位置编码在处理视觉和时间信息时也存在局限性。为了解决这些问题，本研究提出了Emotion-BIND这一多模态框架，它将基于ImageBind的表示方法与一种名为m-ROPE的差异化位置编码策略相结合。该框架将多种模态的特征映射到共享的嵌入空间中，对图像表示应用二维RoPE编码，对视频表示应用三维RoPE编码，从而实现多模态的空间和时间建模。实验结果表明，在DFEW数据集上，Emotion-BIND的未加权平均召回率为49.44%，加权平均召回率为71.00%，F1分数为90.05%，其加权平均召回率和F1分数在所有比较方法中最高，不过其未加权平均召回率仍低于最优的对比模型。在MELD数据集上，Emotion-BIND的未加权平均召回率为55.67%，加权平均召回率为67.88%，F1分数为91.02%。该模型的源代码存储在https://doi.org/10.5281/zenodo.21186484，同时也在GitHub上可供获取，地址为https://github.com/qunlitang/Emotion-BIND。