渐进式融合与引导感知去噪技术，助力稳健的多模态情感分析

《Scientific Reports》：Progressive fusion and guidance-aware denoising for robust multimodal sentiment analysis

　　

摘要

随着数字媒体的快速发展，多模态情感分析越来越受到研究界的关注。然而，现有的方法大多侧重于融合策略，而忽视了现实世界中多模态数据所固有的噪声和冗余问题，这限制了模型的表达能力。为了解决这一问题，我们提出了一种渐进式融合与引导式去噪框架（PFGAD）。该框架首先通过渐进式融合学习联合多模态表示，接着运用变分信息瓶颈来去除与任务无关的噪声，最后通过引导式去噪模块弥补去噪过程中丢失的信息。这种设计在信息丰富度与鲁棒性之间取得了良好的平衡。在我们的方法在CMU-MOSI和CMU-MOSEI数据集上的测试中取得了显著提升。在CMU-MOSI数据集上，其相关系数达到0.814，准确率-2为87.5，相比之前最好的结果，相关系数提升了1.75%，准确率-2提升了0.5个百分点。在CMU-MOSEI数据集上，其相关系数为0.786，F1值为86.7，相关系数提升了0.77%，F1值提升了0.2个百分点。