COOLANT++：通过共享原型分布耦合跨模态对齐与置信度门控推理的多模态假新闻检测框架

《Scientific Reports》：COOLANT++: concept-bank alignment and confidence-gated reasoning for multimodal fake news detection

　　

摘要

多模态假新闻检测面临噪声、关联松散乃至故意错配的图片-文本对的挑战。现有系统往往将实例级对齐与证据聚合作为独立操作执行，因此对齐分数未必直接影响最终的模态权重。本文提出COOLANT++，一种将视觉与文本嵌入表示为共享学习原型库上分布的框架，并将二者的契合程度作为置信度门控推理单元的输入。该模型联合优化分类、跨模态分布一致性、原型重建与门控正则化。在Twitter和微博基准上，提交的实验分别报告了0.900和0.923的准确率，当移除概念对齐或门控推理任一模块时性能均有所下降。这些结果支持在所评估的两个基准上提出的耦合机制；但并未证明所学习的原型是人工可解释的概念，也未证明该模型能够泛化至未见过的事件或平台。