综述：多模态假新闻检测全面综述：技术、挑战与未来方向

《Neurocomputing》：A comprehensive survey on multimodal fake news detection: Techniques, challenges, and future directions

　　

摘要

社交媒体的兴起加速了虚假新闻的泛滥。尽管多模态学习在虚假新闻检测（FND）方面取得了显著进展，但研究社区鲜有全面综述能够联合分析多模态虚假新闻检测（MFND）的全过程。为弥补这一空白，本文回顾了MFND领域的最新进展、关键方法和挑战。具体而言，我们引入了一个面向流水线和交互的分类体系，将现有方法分为三个阶段：多模态特征提取、多模态特征融合和多模态虚假新闻分类。在特征提取方面，我们回顾了单模态、跨模态以及基于大语言模型/大视觉语言模型（LLM/LVLM）的方法。在特征融合方面，我们分析了浅层融合、深度融合、混合融合以及基于LLM/LVLM的融合。在分类方面，我们总结了基于机器学习（ML）、深度学习（DL）以及基于LLM/LVLM的方法。在该框架内，我们进一步探讨了在实践MFND系统中特征质量、跨模态对齐、融合可靠性、表示精化和分类反馈之间的文献驱动交互。我们还考察了代表性研究的实验设置、数据集使用情况、性能差异、数据集偏差、可复现性问题以及跨研究可比性。最后，我们识别了未解决挑战并概述了五个未来方向：隐式语义特征提取、实时自适应多模态融合、动态鲁棒虚假新闻分类、生成式AI时代的基于LLM/LVLM的MFND，以及在缺失模态和噪声数据条件下的鲁棒MFND。本综述建立了MFND的系统性和交互性研究框架，并为设计有效可信的MFND系统提供了方法论指导。

引言

互联网和社交媒体的快速扩展重塑了人们获取和分享信息的方式。截至2024年初，全球有超过50亿人使用社交媒体，到2025年全球互联网用户数量已达到约65亿人[1]。社交媒体使得快速、低成本、多模态的新闻传播成为可能[2]，但也加速了虚假新闻的传播[3]。这类错误信息通常结合文本、视觉和视频元素，形成复杂的多模态叙事，这些叙事极具吸引力却难以检测和辟谣。识别此类混合虚假信息被称为多模态虚假新闻检测（MFND）[4]，这一任务已成为关键研究前沿，推动了大量MFND算法的发展。

MFND依赖于文本、图像、音频和社交上下文中的跨模态特征来识别虚假新闻[3]、[5]。这些特定模态的表示为下游检测任务提供了基础。典型的MFND框架由三个核心组件组成：多模态特征提取、多模态特征融合和多模态虚假新闻分类。每个组件都经过了广泛研究[4]、[6]、[7]、[8]、[9]。MFND最初使用机器学习（ML）[10]和深度学习（DL）[6]、[7]技术从多模态新闻内容中提取判别性特征。MFND系统使用文本、视觉和视频特征作为下游任务的基础[11]、[12]、[13]、[14]、[15]。近期研究引入了高级架构以提升特征提取性能[16]、[17]。接下来，多模态特征融合模块将单模态特征整合为统一表示[18]。融合过程通过拼接[19]、[20]、[21]或辅助任务[2]、[3]、[4]来组合单模态特征。深度学习模型提供了另一种融合方法[22]、[23]，旨在增强特征相关性并生成更鲁棒的多模态表示。融合输出随后被传入分类阶段，由ML或DL算法处理组合表示。传统分类器包括支持向量机（SVM）[24]、随机森林（RF）[25]和朴素贝叶斯（NB）[26]。近期研究越来越多地采用RF和全连接（FC）网络[29]、[30]来提升多模态虚假新闻分类准确率[27]、[28]。

近期MFND研究越来越多地采用深度学习模型。例如，卷积神经网络（CNN）[31]、循环神经网络（RNN）[32]、图神经网络（GNN）[33]和多层感知机（MLP）[18]。这些模型作为构建有效虚假新闻检测器的基础[34]。注意力机制也被广泛用于多模态特征融合。层级注意力[35]是一种代表性方法，增强了跨模态交互捕捉并提升了融合性能[5]。虽然已发表了几篇MFND综述[5]、[28]、[36]，但鲜有系统考察完整MFND流程。本综述旨在对MFND过程进行系统性研究，重点关注其三个主要模块。

基于我们的分析，我们使用面向流水线和交互的分类体系系统组织了MFND算法。对于多模态特征提取，我们将方法分为单模态特征提取、跨模态特征提取和基于大语言模型/大视觉语言模型（LLM/LVLM）的特征提取[82]、[215]。对于多模态特征融合，我们将现有方法分为浅层融合、深度融合、混合融合和基于LLM/LVLM的融合。对于多模态虚假新闻分类，我们区分了基于ML、DL和LLM/LVLM的方法。除了这一层级分类体系之外，我们进一步讨论了在实际MFND系统中特征质量、跨模态对齐、融合可靠性、表示精化和分类反馈如何连接各阶段。我们通过在流水线的每个阶段分析代表性算法，解释其原理、优势、局限性、适用场景和数据集依赖性性能。此外，我们识别了主要挑战并概述了有前景的未来研究方向。本综述提供了MFND框架的系统性和交互性概述，捕捉了其底层算法的演进。现有MFND综述从不同角度提供了宝贵见解，但许多聚焦于特定方法学方面，如特征提取、多模态融合、深度学习框架、跨模态交互或迁移学习。因此，研究人员可能需要查阅多篇综述才能了解MFND系统不同阶段的方法选择。通过联合考察特征提取、特征融合、分类、跨阶段交互和实验可比性，本综述为方法和实验决策提供了更整合的基础。它使研究人员能够在特定数据和资源条件下比较流水线组件、评估跨研究可比性、选择合适基线并识别与实用MFND场景相关的未解决问题。图1概述了本综述论文的结构，表1总结了全文使用的关键缩略语。基于这一结构，本综述的主要贡献总结如下。

(1) 本综述提供了面向流水线和交互的MFND回顾。现有方法被组织为特征提取、特征融合和分类，并包含细粒度子类别，包括基于LLM/LVLM的方法。与聚焦于个体技术或阶段的现有综述不同，我们的综述提供了统一的流水线视角，使研究人员能够考察跨阶段关系并在不同数据、模态和资源条件下做出具体方法决策。对于融合策略选择，研究人员可以考虑目标数据集特征、模态可用性和质量以及计算资源，以确定浅层融合、深度融合或其他融合策略更为合适。

(2) 对每个阶段的代表性方法从原理、演进、优势、局限性和适用场景进行了批判性回顾。通过将方法特性与数据和计算需求联系起来，综述帮助研究人员在实施前识别合适的替代方案。在资源受限或对延迟敏感的场景中，轻量级编码器和更简单的融合机制可能更受青睐，而丰富的配对多模态数据可以支持更计算密集型的跨模态交互或深度融合方法。

(3) 系统地考察了MFND研究中的实验设置和数据集使用情况，重点关注性能差异、数据集偏差、可复现性和评估协议。这种比较分析为判断报告结果是否直接可比以及选择合适的基线提供了更清晰的依据。当不同方法在同一数据集上使用不同的数据划分或评估协议时，其报告的性能应谨慎解读而非直接比较。

(4) 基于综述中识别的方法局限性和实际约束，概述了五个未来研究方向：隐式语义特征提取、实时自适应多模态融合、动态鲁棒虚假新闻分类、生成式AI时代的基于LLM/LVLM的MFND，以及在缺失模态和噪声数据条件下的鲁棒MFND。这些方向将识别出的局限性与实用MFND场景中的未解决挑战联系起来，包括可靠性感知的自适应融合以及在不完整或噪声输入下的鲁棒分类。

我们按如下方式组织本文。第2节介绍了虚假新闻检测（FND）[28]和MFND的概念，以及单模态和多模态检测的关键方法。第3节回顾了多模态特征提取，包括单模态、跨模态和基于LLM/LVLM的方法。第4节分析了多模态特征融合，涵盖浅层、深度、混合和基于LLM/LVLM的融合。第5节回顾了多模态虚假新闻分类，特别关注数据集偏差、可复现性和跨研究可比性。第6节考察了特征提取、融合、精化和分类之间的交互。第7节提出了五个未来研究方向，第8节总结了本综述。

章节摘要

相关工作 本节定义了FND和MFND，回顾了单模态和多模态检测方法，并总结了现有MFND综述。

多模态特征提取技术 有效的MFND依赖于从文本、图像、音频和视频等多样化数据来源中提取鲁棒的特征。现有方法采用自然语言处理、计算机视觉、深度学习和LLM/LVLM技术，为不同模态推导判别性表示。在本节中，我们将多模态特征提取方法分为三类：单模态特征提取、跨模态特征提取和基于LLM/LVLM的特征提取。

多模态特征融合技术 多模态特征融合整合文本、视觉和跨模态信息，以克服单模态分析的局限性。单个模态可能不完整、模棱两可或故意具有误导性，这可能损害检测可靠性。现有MFND综述通常将融合策略描述为早期融合、中间级融合和晚期融合。尽管这种基于阶段的视角符合通用检测流水线，但它主要解释了融合发生的位置而非如何融合。

多模态虚假新闻分类 多模态虚假新闻分类评估多模态表示以确定新闻真伪。现有分类方法可大致分为基于ML、DL和LLM/LVLM的方法。从机制和报告性能角度回顾了代表性方法。讨论还总结了影响报告结果解释和可复现性的数据集偏差、评估差异和跨研究可比性问题。

特征提取、特征融合和分类之间的交互 尽管本综述从特征提取、特征融合和分类三个阶段回顾了MFND研究，但实际的MFND系统并非简单的孤立流水线。为总结现有MFND研究中报告或隐含的交互，图10呈现了一个面向交互的框架，包含五个模块。第一个模块是图10(a)，特征提取模块，从多模态新闻中生成文本、视觉和外部证据表示。

未来研究方向 现有MFND研究通过预训练编码器、跨模态对齐、基于注意力的融合和深度分类器改进了特征提取、特征融合和分类[8]、[20]、[36]、[98]、[104]、[118]、[120]，但仍存在几个实际挑战。虚假新闻通常包含隐式语义操纵、缺失模态、噪声数据、动态传播和AI生成内容，这限制了当前方法的鲁棒性。未来MFND研究应因此转向……

结论 本综述从完整流水线视角对MFND进行了系统性回顾。我们不是仅按模态或数据集总结方法，而是围绕三个紧密相连的阶段组织该领域：多模态特征提取、多模态特征融合和多模态虚假新闻分类。在特征提取方面，我们回顾了单模态文本和视觉编码器、跨模态一致性和不一致性建模以及基于LLM/LVLM的证据提取。在特征融合方面，我们……

未引用参考文献 [84]、[85]、[86]、[88]、[89]、[90]、[91]、[92]、[94]、[96]、[97]、[99]、[101]、[111]、[117]、[121]、[122]、[124]、[125]、[126]、[127]、[128]、[130]、[136]、[141]、[143]、[144]、[145]、[154]、[155]、[157]、[162]、[178]、[179]、[180]、[222]、[223]、[224]

作者贡献声明 李晓华：撰写——审阅与编辑，撰写——原稿，调查研究。齐辰波：撰写——审阅与编辑。杨星：撰写——审阅与编辑。李正明：撰写——审阅与编辑，监督指导。

利益冲突声明 作者声明不存在已知可能影响本文报告工作的竞争性经济利益或个人关系。

李晓华目前就读于广东技术师范大学攻读硕士学位。她的当前研究兴趣包括对比学习和多模态虚假新闻检测。

李晓华 | 齐辰波 | 杨星 | 李正明 广东技术师范大学网络空间安全学院，510630，中国广州