《Information》：Multimodal Fake News Detection via Evidence Retrieval and Visual Forensics with Large Vision-Language Models
Liwei Dong,
Yanli Chen,
Wei Ke,
Hanzhou Wu,
Lunzhi Deng and
Guixiang Liao
编辑推荐：
摘要：虚假新闻已在社会各领域造成严重危害与混乱。随着互联网和社交媒体平台的快速发展，学术界与工业界对多模态虚假新闻检测的兴趣日益增长。本研究提出MERF（基于LVLM的多模态证据检索与取证框架），一种利用大型视觉-语言模型（LVLM）推理能力的统一多模态虚假新
摘要：虚假新闻已在社会各领域造成严重危害与混乱。随着互联网和社交媒体平台的快速发展，学术界与工业界对多模态虚假新闻检测的兴趣日益增长。本研究提出MERF（基于LVLM的多模态证据检索与取证框架），一种利用大型视觉-语言模型（LVLM）推理能力的统一多模态虚假新闻检测框架。尽管LVLM在处理多模态内容方面优于传统大型语言模型（LLM），但研究表明，在缺乏足够支持证据的情况下，其推理能力仍然有限。MERF通过将基于网络的文本内容检索、反向图像搜索和图像篡改检测整合到一个连贯的流水线中，使模型能够生成有依据且可解释的真实性判断。具体而言，该方法执行跨模态一致性检查，检索文本和视觉内容的佐证信息，并应用取证分析检测潜在的视觉伪造。聚合后的证据随后输入LVLM，促进全面推理和基于证据的决策。在两个公开基准数据集（微博和推特）上的实验结果表明，MERF在所有主要评估指标上持续优于当前最先进的基线方法，在准确性、鲁棒性和可解释性方面取得了显著提升。
论文解读文章
**研究背景**
虚假新闻在网络平台上的快速扩散已成为紧迫的社会挑战，破坏公众信任、扭曲事实并影响舆论。为应对这一威胁，自动虚假新闻检测（FND）受到广泛关注。现有检测策略分为基于内容的方法和基于传播的方法：前者通过语言模式、情感线索等内在特征识别欺骗性信息；后者利用传播模式、用户交互等社会信号。本研究聚焦于基于内容的检测方法。早期研究主要依赖机器学习或深度学习算法，通过人工设计的语义和传播特征组合评估新闻真实性。近期趋势表明，大型语言模型（LLM）重塑了自然语言处理任务，但LLM在处理非文本内容时存在固有局限性。因此，大型视觉-语言模型（LVLM）的出现为将研究扩展到多模态领域提供了有前景的进展。然而，现有LVLM在缺乏充分外部背景知识时仍难以准确检测虚假信息。传统的检索增强生成（RAG）方法通常直接从事实文本生成查询，而在多模态语境中，微妙的跨模态不一致性和外部证据起关键作用，检索证据与多模态推理的有效整合成为亟待解决的研究问题。为此，研究人员提出MERF（多模态证据检索与取证）框架。
**研究内容**
研究人员提出了MERF框架，通过显式证据检索和视觉取证增强LVLM的推理能力。该框架包括四个阶段：初始推理（通过多角度提示触发LVLM的常识、语言风格判断）、篡改检测（分析图像内光照、几何、边界一致性及场景图语义异常）、多模态检索（使用完整新闻文本进行网络内容检索，使用反向图像搜索获取图像历史背景），以及精炼预测（将所有证据整合为统一指令提示，引导LVLM进行综合推理并生成可解释的真假判断）。在两个公开基准数据集（中文微博和英文推特）上的实验表明，MERF在准确性、鲁棒性和可解释性方面持续优于现有基线方法。消融研究验证了各模块的贡献，跨模型测试证实了其在不同LVLM骨干网络上的泛化能力。该论文发表在《Information》期刊。
**关键技术方法**
研究人员主要采用以下关键技术方法：1）基于LVLM（Qwen-VL-Max）的多角度提示推理，利用常识和语言风格线索进行初始判断；2）图像篡改检测组件，包括光照、透视、边界等不一致性检测以及场景图分析（提取对象属性、关系、模糊检测等）；3）多模态证据检索模块：使用自定义网络爬虫结合Google Search API检索文本相关网页（前10个），使用Google反向图像搜索检索图像历史使用记录，并通过LLM辅助过滤保留高相关证据；4）统一指令引导的精炼预测，整合原始文本、图像、取证线索和检索证据进行最终推理。数据来源为微博（7853条中文新闻，来自新华社和微博辟谣）和推特（3781条英文帖子）两个公开基准数据集。
**研究结果**
* **性能比较**：在微博数据集上，MERF总体准确率达0.934，优于所有对比方法，并在真假两类上均保持平衡的精确率和召回率。在推特数据集上，MERF准确率达0.887，与MoPeD持平，但在谣言检测的F1分数上达到最高（0.906），表明其在噪声和低上下文环境下具有优势。虽然部分基线（如MIMoR-FND）在个别指标上表现较好，但MERF在所有评估标准上持续展现更均衡和卓越的性能。
* **混淆矩阵分析**：归一化混淆矩阵显示，MERF在微博和推特测试集上对真假两类均保持相对平衡的识别能力。在更不平衡的推特数据集上，MERF仍保持较强的分类性能，验证了框架对挑战性数据分布的鲁棒性。
* **消融研究**：通过模态级和模块级消融实验发现：仅使用图像性能最低，仅使用文本稍好，结合文本和图像进一步改善（TI-only在微博上准确率0.796）。移除篡改检测组件（W/o MDC）导致中等程度性能下降（微博准确率降至0.917），移除内容检索模块（W/o CR）造成显著下降（推特准确率从0.891降至0.813），移除图像上下文检索模块（W/o ICR）也导致性能下降（微博准确率降至0.894）。这表明多模态融合、外部文本证据和图像历史追溯对检测效果均至关重要。
* **推理成本与延迟分析**：单个实例的平均端到端预测时间约40秒，平均消耗约8万token，高于传统监督分类器。该成本虽不适合严格实时部署，但在强调可解释性、外部依据和鲁棒性的证据敏感型验证场景中可接受。
* **模型骨干分析**：将默认骨干替换为GPT-4.5、DeepSeek-VL2等其他LVLM，MERF在微博和推特上均保持较高准确率，其中GPT-4.5性能最佳（微博0.933，推特0.886）。本地部署的Qwen2.5-VL-32B因量化限制性能较低（微博0.897，推特0.793）。结果表明MERF对不同LVLM具有良好的兼容性。
* **案例研究**：以天津液化气罐车爆炸真实新闻为例，MERF通过文本检索获得多个来源确认事件细节（时间、地点、伤亡），图像经取证分析显示视觉一致性强（0.95），无篡改迹象，反向图像搜索返回高度相关匹配。最终判断为真实新闻，体现了结构化、可解释的多模态证据推理能力。同时指出框架在检索证据弱相关、视觉篡改微妙、跨模态信息高度模糊时仍面临困难。
**总结讨论**
研究结论部分翻译如下：
本文提出了MERF，一种通过显式证据检索和视觉取证增强LVLM推理能力的统一多模态虚假新闻检测框架。通过整合多角度提示设计、基于网络的文本内容检索、反向图像搜索和图像篡改检测，MERF解决了单独使用LVLM难以确保事实一致性的挑战。在微博和推特上的实验表明，MERF在准确性、鲁棒性和可解释性上优于现有基线方法，消融研究证实了各组件的贡献，跨模型测试验证了其在不同LVLM骨干上的泛化能力。然而，局限性仍然存在：依赖网络检索引入延迟、变异性和潜在噪声；当前仅关注文本和静态图像，忽略了音频和视频模态；方法有效性仍部分受限于骨干模型的对齐质量和推理能力。总之，MERF代表了向证据驱动和可解释的多模态虚假新闻检测迈出的有前景的一步。未来工作将探索更高效的检索策略、细粒度证据归因、额外模态以及面向高风险环境实时监控的轻量化部署。
