QuaFusion:基于场景图增强与质量感知的混合融合方法,用于多模态谣言检测

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:QuaFusion: Scene-Graph-Enhanced Quality-Aware Progressive Fusion for Multimodal Rumor Detection

【字体: 大 中 小 】 时间:2026年07月25日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4

编辑推荐:

  •基于质量感知的多模态谣言检测融合方法。•场景图能够捕捉来自不同来源的实体及其关系。•模态质量反映了信息的丰富度以及跨源一致性。•加权核心表示法可抑制不可靠的模态。引言随着社交媒体平台的快速发展,多模态内容(如结合文本和图像的帖子)已成为谣言传播的主要载体[1]。与纯文本谣言相比

  •基于质量感知的多模态谣言检测融合方法。•场景图能够捕捉来自不同来源的实体及其关系。•模态质量反映了信息的丰富度以及跨源一致性。•加权核心表示法可抑制不可靠的模态。引言随着社交媒体平台的快速发展,多模态内容(如结合文本和图像的帖子)已成为谣言传播的主要载体[1]。与纯文本谣言相比,多模态谣言通过将看似合理的文本与具有误导性或无关的视觉内容相结合,更具欺骗性[2],这可能会误导用户,进而加剧错误信息的传播及其对社会的影响。因此,可靠的多模态谣言检测是现代社交媒体平台不可或缺的能力。如图1(a)所示,一个谣言实例可能包含事件文本、事件图片、外部知识文本以及外部知识图片,但这些来源在验证中的作用并不相等。有些模态能提供丰富且可靠的语义证据,而另一些则信息稀少、充满噪声或可信度较低,我们将这种现象称为模态质量失衡。现有的方法要么对所有可用模态赋予相同的重要性,要么主要根据可用性来评估模态的可靠性[3]。然而,仅凭可用性无法体现模态质量,因为某个可用的模态仍可能只能提供有限且可靠的语义证据。大多数现有的融合策略是在特征交互过程中估算模态的重要性[4](例如通过注意力机制或门控机制),而非在融合之前明确评估模态质量。除了模态质量之外,有效的谣言检测还需要对跨模态实体之间的结构化关系进行建模[5],比如图像中经济指标的时间趋势与其与文本表述之间的因果关系。然而,现有方法大多侧重于表示层级的融合或跨模态对齐,而忽视了对实体及关系之间的结构化语义推理[6]。如图1(b)所示,诸如“NFIB”这样的关键实体及其隐含的关系(如随时间的变化)对于理解谣言至关重要,但却很少被明确建模,因此即便有高质量的模态存在,潜在的事件逻辑仍可能被忽略。基于这些观察,我们提出问题:如何让多模态谣言检测在面对模态质量失衡的情况下依然保持稳健,同时实现对跨模态语义的结构化推理?为了解决这个问题,我们提出了QuaFusion,这是一种基于场景图的质量感知渐进式融合框架,用于多模态谣言检测。它将结构化语义质量评估与核心模态引导的渐进式融合相结合。与那些主要利用模态质量来调整特征融合的现有质量感知方法不同,QuaFusion是从基于场景图的结构化语义出发,在融合之前先估算模态质量。现有的基于图的多模态检测方法主要利用场景图或图结构来丰富结构化语义、支持跨模态推理与语义对齐,或是提升图表示学习与特征融合的效果[7]、[8]、[9],但通常在融合过程中将这些提取出的语义视为同等可靠。相比之下,QuaFusion通过构建基于场景图的语义表示来捕捉实体及其关系,从而揭示出特征级融合往往遗漏的事件逻辑;随后它根据信息丰富度、模态内部的语义一致性以及跨模态对齐程度来估算模态质量,并逐步引导融合过程,使得可靠的模态发挥更大作用,而噪声较大的模态则被抑制。因此,QuaFusion的核心创新在于将结构化语义质量评估与渐进式多模态融合相结合,让估算出的模态质量能够引导整个融合过程。总之,本工作的主要贡献如下:•我们提出了QuaFusion,这是一种基于场景图的质量感知渐进式融合框架,用于在模态质量失衡的情况下进行多模态谣言检测。•我们引入了一种基于场景图的模态质量估算策略,该策略通过信息丰富度、模态内部的语义一致性以及跨模态对齐程度来评估结构化语义的可靠性,从而为多模态融合生成可解释的质量信号。•我们设计了一种基于质量引导的渐进式融合机制,该机制能够形成经过质量加权的核心表示,并在整合过程中抑制不可靠的模态,从而提升方法的稳健性与可解释性。•我们在经过处理的英文Twitter-MR2和中文Weibo-MR2基准数据集上进行了大量实验,结果表明,在模态存在噪声的情况下,该方法相较于强大的基线模型始终能取得更好的性能。本文的其余结构如下:第2节回顾相关研究,第3节详细介绍QuaFusion框架,第4节展示实验结果,第5节总结全文并探讨未来工作。相关研究随着社交媒体和错误信息的迅猛发展,谣言检测变得越来越重要。现有的研究大致可分为单模态方法和多模态方法两类。初步说明在本文中,我们研究的是基于内容的多模态谣言检测,即在不依赖需要足够观测数据量的传播结构的情况下进行预测。给定一个包含N篇帖子的数据集,我们将其记为D={xi}i=1N。每篇帖子xi可表示为xi=(Ii,Ei),其中Ii={TiI,PiI}表示帖子内部的模态(即帖子中的文本和图片),Ei={TiE,PiE}则表示可选的外部知识证据(与输入帖子相关的文本和图片)。方法论这种研究场景给多模态谣言检测带来了两个关键挑战:模态质量失衡以及结构化语义建模不足。为了解决这些问题,我们提出了QuaFusion,该方法利用场景图来实现结构化语义表达,并根据模态质量来引导融合过程。QuaFusion的架构如图2所示,由四个部分组成:特征提取:输入数据包括四种原始模态:事件图片、事件文本、外部知识文本以及外部知识数据集实验是在MR2基准数据集[40]以及FakeNewsNet[41]的子集上进行的。表1展示了这些数据集的统计信息。MR2基准数据集包含英文Twitter和中文Weibo的两个子集。每个样本都包含一篇帖子、一张图片、若干条证据文本以及多张证据图片;这些外部证据直接来自官方基准数据集,而非通过我们的方法从网上检索而来。MR2是一个三类数据集,分别对应非谣言(0)、谣言(1)和未核实事件(2)。我们还结论与未来工作本文提出了QuaFusion,这是一种具有核心模态引导的渐进式融合功能的质量感知多模态谣言检测框架。它能够整合文本、图片、OCR提取的文本以及可选的外部证据,将非结构化的输入转换为实体-关系场景图,同时根据信息丰富度、语义一致性以及跨模态对齐程度来估算模态质量,从而构建出可用于渐进式融合的可靠核心表示。我们在英文和中文MR2基准数据集上进行了实验。生成式AI使用声明在撰写本文的过程中,作者使用了ChatGPT-4o来提升语言表达的流畅性、纠正语法错误并提高整体可读性。在使用该工具后,作者对内容进行了必要的审阅和编辑,并对最终发表的文章内容承担全部责任。CRediT作者贡献说明龙世奇:撰写——初稿、可视化、软件工具使用、形式分析、数据整理。王玉瑶:监督指导、项目管理。高光亮:撰写——审阅与编辑、项目管理。严丽平:撰写——审阅与编辑、可视化、概念设计。韩丹杰:撰写——审阅与编辑。利益冲突声明作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。龙世奇|王玉瑶|高光亮|严丽平|韩丹杰
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号