虚假新闻检测综述：多模态方法的全面回顾

《Data & Knowledge Engineering》：A survey of fake news detection: A comprehensive review of multimodal approaches

　　

Juyeob Lee|Junyeop Cha|Minsu Park|Minyoung Lee|Taeeun Kim|Seul-Ki Choi|Angel P. del Pobil|Eunil Park

韩国首尔03063，成均馆大学应用人工智能系

摘要

随着社交媒体和人工智能的快速发展，假新闻已成为一个严重的社会问题，它导致了假新闻的泛滥以及社会的两极分化。为应对这些挑战，多模态方法被视为有希望的解决方案，这类方法能够整合多种数据类型以获取互补信息。本研究全面探讨了假新闻检测模型的发展历程，强调了多模态技术的独特优势。我们提出了一种新的多模态方法分类体系，该体系围绕三个关键维度构建：特征提取、融合方法以及学习目标。首先，我们对关键数据集进行了详细比较，分析了它们的特点、局限性以及在多模态任务中的适用性。接着，我们深入分析了多模态检测技术，研究了它们的方法论及性能表现。此外，我们还探讨了生成式人工智能等新兴技术在提升检测能力方面的应用，以及相关的伦理问题，包括隐私风险和模型偏见。为解决跨平台通用性和实际应用可行性等问题，我们提出了若干未来发展方向，旨在帮助开发更有效的多模态假新闻检测系统。通过这项全面的研究，我们希望为打击假新闻的努力提供有价值的见解和实用指导，助力该领域的研究人员与实践者。

引言

在当今的数字社会中，假新闻的快速传播已成为一个严重的社会问题，它不仅削弱了公众的信任，还加剧了政治分歧。如今，大多数美国人依赖社交媒体获取新闻[1]，这种平台的普及使得虚假信息的产生和传播更加容易，人们越来越难以区分真实内容与虚假内容[2]、[3]。

假新闻对社会的影响是多方面的，涉及政治[4]、公共卫生[5]以及经济稳定[6]等多个重要领域。例如，在2016年美国大选期间，社交媒体上充斥着大量假新闻，有研究指出这些假新闻影响了选民的投票决定[7]。除了政治领域，假新闻还对公共卫生构成严重威胁。在新冠疫情期间，关于病毒和疫苗安全的大量虚假信息泛滥，这削弱了公众对基于证据的卫生政策的信任[8]、[9]。这些例子都表明，假新闻在各个领域都带来了巨大的社会危害。

随着假新闻的日益泛滥，相关研究也取得了显著进展，如图1所示，从2015年到2024年，关于假新闻检测的学术论文数量不断上升。早期的研究主要侧重于单独分析某种数据类型，比如文本内容[10]或视觉元素[11]、[12]。然而，这类单模态方法存在明显局限性，因为它们往往无法捕捉不同数据类型之间的复杂关联和矛盾，而不良分子正是利用这些关联来让假新闻更具说服力和欺骗性[13]。随着现代社交媒体从以文本和图片为主的内容形式转向视频和音频格式，这一局限性愈发突出[14]、[15]。

为克服这些局限性，多模态方法应运而生，成为更为有效的解决方案。早期的研究开始整合文本、图像等多种数据类型，以此获取互补信息并发现其中的矛盾之处[16]。随后，深度学习的进步推动了诸如VisualBERT[17]和UNITER[18]等强大模型的发展，这些模型能够学习文本数据与视觉数据之间的关联，从而提高检测精度。除了文本和图像，还有研究者开始探索音频[19]以及社交互动信息[20]等其他数据类型。大量研究表明，多模态框架的性能优于单模态模型。因此，关于多模态假新闻检测的研究迅速发展，近年来相关论文数量的增长也体现了这一趋势，如图1所示。

然而，这种快速的发展也导致了研究领域的碎片化。尽管相关模型层出不穷，但这一领域仍处于起步阶段，还存在不少研究空白和技术难题需要解决。例如，对于不同的融合策略及其最佳应用条件，目前尚缺乏统一的共识。此外，许多现有数据集仅局限于特定的领域或语言，这给在多样化现实环境中验证模型性能带来了困难。因此，开展系统性综述至关重要，它有助于整理这些新兴研究成果，明确当前的研究趋势与局限性，为未来的研究指明方向。

因此，本研究旨在通过系统分析该领域的关键发展趋势，为未来的研究提供指导，从而对该领域进行全面且结构化的研究。为此，我们提出了一种新的多模态方法分类体系，该体系围绕特征提取、融合方法以及学习目标这三个关键维度构建。通过对比关键数据集并运用我们的分类体系，我们梳理了检测模型的发展历程，明确了它们的基本方法论，并对其局限性进行了批判性分析。我们的目标是为研究人员和从业者提供有价值的见解和实用建议，进而推动更高效、更可靠的假新闻检测系统的研发。

本文的其余部分结构如下：第2节回顾了相关文献和综述，指出了它们的局限性，从而凸显出我们这项综合研究的独特价值。第3节详细分析了多模态假新闻检测中使用的关键数据集，介绍了它们的特点和局限性。第4节运用我们提出的三轴分类体系，从特征提取、融合策略以及学习目标三个方面对检测模型进行了分析和评估。最后，第5节探讨了诸如人工智能生成内容以及跨平台通用性等新兴挑战，并提出了未来研究的方向，以推动更高效、可扩展的假新闻检测系统的开发。

章节节选

相关工作

早期关于假新闻检测的研究主要聚焦于文本内容。Shu等人[21]以及Zhou和Zafarani的综合性研究[22]提出了一个基础性的分类体系，确定了欺骗检测的四个主要维度：风格特征、基于知识的线索、传播模式以及消息源可信度评估。在那个初期阶段，由于数据资源有限，实证研究受到了很大限制，研究人员大多只能

数据集

假新闻检测是现代社会中的一个重要研究领域，其目的是判断信息的真实性。为解决这一问题而开发的假新闻检测模型在训练和评估过程中高度依赖于可靠的数据集，而这些数据集的多样性和质量会直接影响研究结果。由于假新闻可以通过文本、图像、视频等多种形式传播，因此包含多种数据类型的

多模态检测

在本节中，我们将从三个关键方面分析多模态假新闻检测模型：特征提取、融合方法以及学习目标。特征提取的内容将在4.1节介绍，融合方法会在4.2节讨论，学习目标则会在4.3节展开分析。图4、图5和图6分别展示了模型类别、各数据类型的编码器以及融合方法的结构概览。我们参考了Web of Science数据库

未来研究方向

尽管在多模态假新闻检测领域已经取得了显著进展，但仍有诸多挑战有待解决。通过解决这些问题，这一领域有望朝着开发出更为强大、灵活且高效的解决方案的方向发展，从而更好地应对不断变化的数字环境中的假新闻问题。

结论

数字媒体和社交网络的快速发展使得假新闻成为了一个严重的社会问题，它不仅削弱了公众的信任，还影响着政治决策。虽然早期的检测方法主要依靠文本或图像等单模态数据，但它们往往难以应对假新闻的复杂性，因为假新闻通常会结合多种数据类型来制造更具说服力和欺骗性的内容。为了解决这一问题，多模态方法应运而生，这类方法能够整合并分析

CRediT作者贡献说明

Juyeob Lee：撰写——初稿、资源收集、方法设计、正式分析、数据整理、概念构建。Junyeop Cha：撰写——初稿、指导监督、软件使用、资源协调、研究实施、概念构建。Minsu Park：撰写——初稿、方法设计、数据整理、概念构建。Minyoung Lee：撰写——初稿、软件使用、正式分析、数据整理、概念构建。Taeeun Kim：可视化处理、指导监督、资源协调、资金筹集、正式分析、数据

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢

本研究得到了韩国科学信息通信技术部在数字领域全球研究支持计划（编号RS-2024-00419073）下的资助，同时也获得了信息技术研究中心的支持项目（编号RS-2024-00436936）以及ICT挑战与高级人力资源开发网络的支持项目（编号RS-2024-00436934）的资助。此外，本研究还得到了由韩国政府（科学信息通信技术部）资助的IITP项目（编号RS-2024-00439139，项目名为“网络危机应对系统开发”）的支持

Juyeob Lee是成均馆大学应用人工智能系的博士生，他的研究兴趣包括数据分析和生成式人工智能。