基于文本衍生的代理标签实现弱监督下稳健多模态假新闻检测

《Journal of Computational Science》：Toward robust multimodal fake news detection under weak supervision via text-derived surrogate labels

　　

摘要：社交媒体上的假新闻传播构成了重大的社会挑战，影响着公众信任、民主进程和在线信息生态系统的可靠性。近期多模态研究表明，联合利用文本内容、视觉信息和社会传播模式可以显著提升假新闻检测性能。然而，大多数现有方法依赖于全监督设置，需要大量人工验证的标注数据，这一假设在真实场景中往往不成立，因为在可靠标签稀缺且获取成本高昂的现实环境中，该假设难以满足。

为应对这一局限，我们提出了M3DUSA-WS，即M3DUSA框架的弱监督扩展版本，用于在真实标注有限的情况下进行鲁棒的假新闻检测。基于全监督方法此前展现的强预测性能和鲁棒性，所提出的框架通过在早期融合异构图表示中引入基于文本的代理标签来实现弱监督。所有可用信息均在统一的异质信息网络中表示，使得可以通过图神经网络编码器联合建模多模态内容和关系结构。学习到的图表示由两个互补的预测头处理：一个由验证标签引导的主分类器，以及一个依赖由基于RoBERTa的模型（在外部假新闻数据集上训练）生成的代理标签的辅助分类器。一个组合优化目标整合了监督分类、代理监督和一致性正则化，鼓励两个预测头之间达成一致，同时缓解噪声弱标签的影响。

在两个真实异构图数据集上的实验结果表明，M3DUSA-WS在标注稀缺程度不断增加的情况下，始终优于其全监督对应方法和基于RoBERTa的文本基线。分析进一步揭示了两种互补的运行模式：当存在中等程度监督时，一致性正则化提供最大收益；而在极低标签设置下，代理监督成为主要指导来源。这些发现凸显了弱监督多模态图学习作为虚假信息检测及其他以异质数据和不完全监督为特征的社会的可扩展计算方法的应用潜力，尽管所提出的框架目前仍需要在不同标注稀缺程度下通过验证来调整损失权重。

引言：虚假信息通过在线平台快速扩散已成为一个重大的社会挑战，对社会凝聚力、机构公信力、政治稳定和公共安全产生深远影响。社交媒体平台使信息得以以前所未有的规模和速度传播，往往在有效验证机制介入之前，虚假或误导性内容就已经到达了大量受众。因此，开发能够自动检测假新闻的系统已成为人工智能、计算社会科学和数据分析交叉领域的重要研究课题[1]。

假新闻检测的最新进展表明了同时利用多种信息源的优势。除了文本内容之外，视觉线索和社会传播模式也为区分合法信息与虚假信息提供了有价值的信号。因此，多模态方法始终优于仅文本方法，而基于图神经网络（GNN）的模型在捕获新闻文章、用户、社交互动和多媒体内容之间的复杂关系方面显示出特别的有效性[2]。在现有方法中，异质信息网络（HINs）为建模在线信息生态系统中多样化实体和关系提供了自然的基础。特别是，M3DUSA [3]证明，将多模态假新闻数据表示为统一的HIN并利用异质GNN，能够有效整合文本、视觉和社会信息，在稀疏数据条件下取得优越的预测性能和更高的鲁棒性。

尽管取得了这些进展，一个关键局限仍然在很大程度上未被解决。大多数多模态假新闻检测方法，包括基于图的方法，都假设全监督学习并依赖大量人工验证标签。在实践中，获取高质量标注是昂贵的、耗时的，且在快速演变的虚假信息场景中往往不可行。虽然图神经网络在通过捕获复杂结构和跨模态交互来检测多模态假新闻方面取得了显著成功，但当可用监督量减少时，模型可能对数据集特定的拓扑伪影、虚假传播模式和模态特定噪声变得敏感，因为模型可能过拟合于无法跨事件、领域或社交平台泛化的局部结构规律。近期研究表明，通过对互补视图或模态强制一致性可以缓解这些效应并提高在复杂现实环境中的鲁棒性[4]。因此，需要能够在仅有限比例实例关联验证标签的情况下利用异质多模态信息的学习策略。[5]近期的一项系统性综述进一步将弱监督、基于图的学习和混合方法确定为解决假新闻检测中标注稀缺问题的关键研究方向。

近期研究强调了从图结构化数据中学习弱信息的挑战，包括标签稀缺、特征不完整、噪声监督和缺失结构信息。几种方法通过正则化[6]、伪标签[7]、原型对齐[8]、对比学习[9]和面向鲁棒性的图增强策略[10]探索了半监督和弱监督图学习。与此同时，假新闻检测研究越来越多地探索弱监督和主动学习范式以降低标注成本[11]、[12]、[13]、[14]。这些进展表明，将基于图的学习与辅助监督信号相结合可能代表了现实标注约束下虚假信息检测的一个有前景的方向。

为应对这一挑战，我们提出了M3DUSA-WS（弱监督M3DUSA），即M3DUSA框架的弱监督扩展版本。所提出的方法利用基于RoBERTa分类器（在外部假新闻数据集上训练）生成的文本派生代理标签，并将它们整合到异质图学习框架中。与传统伪标签方法不同，M3DUSA-WS采用双头架构，通过一致性正则化优化策略联合利用验证标注和代理监督。这种设计使模型能够从可靠和弱监督中同时学习，同时保留多模态基于图的表示学习的优势。所提出的框架在两个表示为异质信息网络的真实假新闻数据集上进行评估，并在不同标签可用性水平下进行分析。结果表明了弱监督多模态图学习在现实低标签场景中的有效性，并进一步证明了异质图表示在虚假信息检测中的鲁棒性。

本文的主要贡献总结如下：
• 我们提出了M3DUSA-WS，即M3DUSA异质图框架的弱监督扩展版本，旨在在真实标注有限的情况下运行，同时保留多模态信息融合能力。
• 我们引入了一种基于在外部假新闻数据集上训练的RoBERTa分类器的代理监督策略，使得能够在无需额外人工标注的情况下利用未标注的新闻实例。
• 我们设计了一种双头学习机制，通过一致性正则化目标函数结合验证标签和代理标签的监督，提高了对噪声弱监督的鲁棒性。
• 我们在不同标签稀缺程度下对两个真实异质图数据集进行了全面评估，证明了多模态图学习在弱监督设置下的有效性。
• 我们提供了证据表明异质多模态图表示构成了在不完全监督下学习的可扩展计算方法，除假新闻检测外，还可应用于其他社会规模的信息分析问题。

本文其余部分结构如下。第2节阐述所考虑的问题设置，形式化弱监督下的假新闻检测任务，并概述所提出框架的主要研究目标。第3节讨论近期代表性的最新相关方法。第4节介绍M3DUSA-WS框架并描述其基础组件。第5节阐述实验研究。最后，第6节总结全文并提供未来研究的方向。

问题设置、形式化与研究目标：本节介绍本文所考虑的问题设置，形式化弱监督下的假新闻检测任务，并概述所提出框架的主要研究目标。

相关工作：M3DUSA-WS处于三个研究方向的交汇处：多模态假新闻检测、有限监督下的学习以及基于一致性的图学习。相应地，本节首先回顾代表性的多模态假新闻检测方法，然后讨论用于虚假信息检测的弱监督和半监督方法，最后分析启发了所提出框架的一致性学习策略。

所提方法：我们的模型由三个主要组件组成：(i) 基于文本的代理标签生成，(ii) 异质图神经网络编码器，(iii) 组合损失函数，以下将详细阐述。图1展示了所提出流程的总体架构，突出了其构建模块之间的交互和数据流。

实验评估：本节评估了所提出的M3DUSA-WS框架在有限监督下检测假新闻的有效性。我们首先描述实验设置，包括数据集、实现细节和比较方法。然后我们研究M3DUSA-WS在不同标注稀缺程度下的性能，分析所提出学习组件的贡献，并研究该框架在不同弱监督模式下的行为。

结论：本文提出了M3DUSA-WS，即M3DUSA框架的弱监督扩展版本，用于在标注有限的情况下进行多模态假新闻检测。所提出的方法将早期融合异质图表示与文本派生代理标签以及一致性正则化双头学习策略相结合，使得能够联合利用验证和弱监督信号。在两个真实异质图数据集上的实验结果表明，CRediT作者贡献声明

Liliana Martirano：撰写初稿、验证、软件、方法论、概念化。Francesco Scala：撰写初稿、验证、软件、方法论、概念化。Carmela Comito：审阅与编辑、监督、资助获取。Luigi Pontieri：审阅与编辑、监督、资助获取、概念化。

利益冲突声明：作者声明不存在可能影响本文工作的已知竞争财务利益或个人关系。

致谢：本工作部分由"绿色和数字化转型国家研究、创新与竞争力计划2021–2027"（PN RIC 2021–2027）资助，该计划由欧盟—欧洲区域发展基金（ERDF）共同资助，根据2025年3月18日第307号主任令（D.D.），通过"SINTESI——用于健康、工业和智能安全系统"（项目代码：MI 1_93098910503_0000962）项目实现，在1.1.2行动（"支持"下实施。

Liliana Martirano | Francesco Scala | Carmela Comito | Luigi Pontieri

意大利卡拉布里亚大区伦德市P. Bucci路高性能计算与网络研究所（ICAR-CNR），邮编87036