面向社交媒体危机事件分析的置信度感知自适应多模态融合

《Scientific Reports》：Confidence-aware adaptive multimodal fusion for crisis event analysis from social media

　　在危机事件中，社交媒体提供了及时的文本和视觉信息，但自动化分类面临类别不平衡、模态缺失以及文本和视觉内容信息量差异等挑战。本研究提出了CAGMF（置信度感知的自适应门控多模态融合）框架，该框架结合了双向交叉注意力、自适应门控和动态$\alpha$-路由机制，针对每个配对样本自适应地融合文本和视觉证据。CAGMF在CrisisMMD信息量检测任务（任务1）和人道主义类别分类任务（任务2）上进行了评估，结果报告为三个固定种子值的平均性能。在相同的骨干编码器和优化设置下，CAGMF在任务1中取得了90.68%的宏F1分数，在任务2中取得了83.45%的宏F1分数，而拼接融合方法分别为90.10%和80.86%。与代表性的CrisisMMD研究相比，CAGMF在任务1上取得了具有竞争力的性能，并在主要报告结果中取得了任务2中最强的准确率和加权F1分数。消融实验结果表明，双向交叉注意力是最大的贡献因素，自适应门控、动态$\alpha$-路由和训练策略也做出了贡献。在随机模态移除情况下，具有模态丢弃机制的CAGMF取得了76.97%的宏F1分数，而没有模态丢弃机制的为74.03%，拼接融合方法为72.95%。这些发现支持了对齐的多模态危机分类中的置信度感知自适应融合方法。