基于上下文多模态大模型的虚假新闻检测框架IMFND：突破跨模态语义一致性挑战

针对大视觉语言模型(LVLMs)在虚假新闻检测(FND)中领域知识不足、跨模态特征提取低效的问题，研究者提出IMFND框架，通过整合小模型预测概率引导LVLMs聚焦关键模态，在PolitiFact等三数据集上实现15%准确率提升，为社交媒体虚假信息治理提供新范式。

　　

随着社交媒体成为信息传播的主要渠道，虚假新闻的跨平台快速扩散已成为全球性挑战。传统基于BERT等小语言模型(SLMs)的单模态检测方法难以应对刻意设计的图文语义割裂现象，而大视觉语言模型(LVLMs)虽在通用跨模态任务中表现优异，却因缺乏伪造特征的专业知识导致检测性能不稳定。更棘手的是，LVLMs庞大的参数量使得针对特定任务的微调(Fine-tuning)在算力和数据层面都面临严峻挑战。

山东某高校的研究团队在《Knowledge-Based Systems》发表的研究中，创新性地提出IMFND框架，首次系统评估了GPT4V等LVLMs在虚假新闻检测(FND)中的潜力。研究发现，通过整合预训练小模型CLIP-LP的预测概率作为模态权重指引，可显著提升LVLMs对篡改图像和文本矛盾的识别能力，在PolitiFact等三大多模态数据集上实现最高16.5%的宏F1值提升。这项工作不仅证实了LVLMs在专业领域的迁移学习能力，更开创了"小模型引导大模型"的新型协作范式。

关键技术包括：1) 构建包含中英文的多模态FND基准数据集；2) 设计零样本提示模板量化LVLMs的模态置信度；3) 开发概率加权特征选择算法；4) 采用五重交叉验证评估框架鲁棒性。

【Performance comparison and ablation study】
实验数据显示，在5-shot设定下，IMFND使GPT4V的准确率较传统ICL提升12.3%，显著优于最佳小模型CLIP-LP。消融实验证实，概率加权机制对中文数据集Weibo的改进幅度达14.8%，说明跨语言泛化能力。

【Discussion】
研究颠覆了既往认为LLMs在FND中必然劣于SLMs的认知，揭示LVLMs通过模态协同可捕捉人类难以察觉的语义矛盾。例如对政治新闻中图像PS痕迹的识别准确率比纯文本分析高22%。

【Limitations】
当前框架在实时性方面存在瓶颈，处理单条新闻平均耗时3.2秒。作者建议未来可采用层级推理架构优化计算效率。

这项研究的突破性在于：首次证实LVLMs在专业领域可通过知识迁移超越专用小模型；提出的概率引导机制为多模态特征选择提供新思路；构建的评估体系为后续研究设立可靠基准。正如作者指出，随着Deepfake等生成技术演进，IMFND框架在应对新型伪造手段方面展现出独特优势，其"以小博大"的技术路线对资源受限的应用场景具有重要实践价值。