DURA: 用于多领域多模态假新闻检测的具有可靠性感知融合的双流 LoRA

《Neurocomputing》：DURA: Dual-stream LoRA with reliability-aware fusion for multi-domain multimodal fake news detection

　　

摘要：社交媒体上的多模态假新闻对社会稳定和公众信任构成威胁。尽管现有方法在基准数据集上取得了进展，但仍面临三个挑战：(1) 领域特定写作风格与领域通用取证线索之间的纠缠，使模型易受风格偏见影响；(2) 由不平衡的多领域数据引起的领域干扰，资源丰富的领域可能在联合优化中占主导地位；(3) 不规则多模态输入（如噪声多图帖子或缺失模态）下的证据稀释问题。为解决这些问题，我们提出DURA（用于多领域多模态假新闻检测的双流LoRA与可靠性感知融合），这是一个用于领域差异和模态不规则条件下领域感知多领域多模态假新闻检测的参数高效框架。DURA引入了具有正交解耦的双流LoRA架构：一个冻结的共享流以较低的领域特异性捕获共享的取证先验，而一个可训练的私有流则建模领域敏感的残余语义，从而有效地将共享检测线索与领域特定偏见分离开来。此外，DURA使用实例感知的可靠性估计来评估每个视觉实例的任务相关性，抑制弱或无关的证据，并通过可靠性感知融合重新校准多模态贡献。在微博、Weibo21和GossipCop上的实验展示了强大的性能，三种子平均准确率分别为95.7%、95.5%和89.8%；消融研究进一步验证了所提出的模块。实现代码已公开于https://github.com/ALateFall/DURA。

引言

随着社交媒体平台的普及和多媒体技术的快速发展，互联网已成为公众获取新闻和表达意见的主要渠道。现代平台原生支持文本、图像和视频作为信息的联合载体，使得在线内容日益多模态化。虽然这种演进提高了沟通效率，但也促进了假新闻的生成和传播。与早期以文本为主的虚假信息不同，当代假新闻经常将煽动性声明与操纵图像、重新情境化的真实照片或脱离语境的视频相结合，以增强欺骗性和传播力。先前的研究表明，假新闻和在线虚假信息在社交媒体上广泛且快速地传播，对公共安全、社会信任和民主进程构成严重威胁[1], [2], [3]。与此同时，多模态内容进一步增加了虚假检测的复杂性，因为欺骗性声明可以通过伴随的视觉证据得到强化[4]。因此，开发有效且鲁棒的多模态假新闻检测技术已成为学术界和工业界的迫切需求。

早期的检测方法主要依赖于手工特征工程或单模态深度学习模型，这些方法不足以捕获复杂的跨模态交互。近年来，代表性的多模态检测器如EANN [5]、MVAE [6]、SpotFake [7]以及HMCAN [8], [9], [10], [11], [12]等，有助于确立多模态融合作为假新闻检测的主流范式。大多数方法通过注意力机制或联合学习来对齐文本和视觉表示，以识别多模态帖子中的语义不一致。尽管在基准数据集上取得了实质性进展，但在复杂的在线环境中部署时，这些模型仍面临三个关键挑战[13], [14]，如图1所示：

(1) 领域特定风格与领域通用取证逻辑的纠缠。现有方法通常无法充分区分领域特定的语义变化和异构领域之间共享的取证共性。大多数多模态检测器采用统一的编码策略，将不同领域的图文特征映射到单一共享表示空间。然而，这种策略忽视了领域之间在语言风格、表达习惯和多模态呈现模式上的巨大差异。例如，政治新闻通常包含对抗性修辞和强烈的对立情绪，而娱乐新闻则倾向于使用夸张措辞或耸人听闻的标题。这种领域特定但正常的风格容易被误认为是通用的假新闻线索，导致虚假相关性。因此，模型容易受到风格偏见的影响，其中领域特定的风格模式会掩盖潜在的共享操纵逻辑。如果模型无法明确分离这些成分，从异构领域学习的共享检测能力就会被领域特定偏见所削弱[15]。

(2) 多领域数据不平衡引起的领域干扰。上述问题被领域间的严重不平衡进一步加剧。在现实场景中，一些领域包含大量训练样本，而其他领域则是极低资源的。在这种不平衡下，联合优化通常被资源丰富的领域的梯度所主导，导致稀缺领域的训练不足或过拟合。此外，简单的参数共享模糊了领域特定的知识边界。因此，主导领域可能将噪声偏见注入稀缺领域，削弱模型学习领域敏感的细粒度线索的能力[16]。

(3) 不规则多模态输入引起的证据稀释。现有方法通常假设模态完整性和模态信息量的可比性，而真实社交媒体数据具有高度不规则性。一方面，当前模型通常对多图帖子的处理不足。有些简单地截断视觉输入，这无法去除无关的诱点击图像。其他则依赖基于相关性的注意力来抑制弱对齐的图像，但这可能存在问题，因为假新闻经常故意利用文本与图像之间的语义模糊[17]。因此，视觉上较弱但在取证上关键的证据可能会被错误丢弃。另一方面，不同模态对最终决策的贡献往往不均等，甚至某个模态可能完全缺失。因此，静态融合策略倾向于用主导模态的关键证据与较弱模态的无关信息相互稀释，降低了在噪声或不完整多模态场景下的鲁棒性。

为解决这些问题，本文提出DURA，一个用于领域感知多领域多模态假新闻检测的自适应且参数高效的框架。主要贡献总结如下：

- 为缓解异构领域间的语义偏见同时保留共享的取证共性，我们通过插件适配设计了双流正交解耦模块。具体而言，我们采用DARE（Drop and Rescale）策略从多个观测领域中聚合知识，构建一个冻结的共享流作为共享取证适配器，用于建模领域通用的假新闻线索。并行地，一个可训练的私有流建模领域特定的残余，如独特风格和偏见。为减少特征冗余，我们进一步施加语义正交约束作为冗余抑制正则化器，鼓励私有流捕获互补的领域相关残余信息，而不是重复共享取证表示。

- 为缓解数据稀缺领域的性能退化，我们在有监督多领域设置中采用参数高效的领域感知优化策略。通过严格冻结预训练骨干网络和共享取证适配器，我们将可训练参数限制在轻量级的领域敏感低秩适配器（LoRA）上。这种设计减少了低资源领域的过拟合，并限制了多领域优化期间资源丰富的领域的干扰[18], [19]。

- 为应对现实数据中的不规则多模态证据和不平衡的模态依赖性，我们提出实例感知可靠性估计与聚合模块以及可靠性引导的门控融合机制。我们不再使用静态融合，而是在帖子级监督下学习视觉实例的精确度类可靠性因子。遵循逆方差加权的形式，弱信息图像获得较低的聚合贡献，从而减少关键视觉证据的稀释。此外，模型利用由此产生的全局视觉可靠性因子动态重新校准图文融合权重，提高了在缺失模态和噪声证据场景下的鲁棒性[20], [21]。

- 我们在三个代表性基准上进行了大量实验。结果表明了强大的整体性能、有竞争力的多领域性能，以及在组件消融、敏感性和表示分析中的持续增益，以及在缺失模态、图像干扰和相反标签视觉冲突条件下的受控鲁棒性诊断。

本工作没有直接基于通用LLM/LVLM骨干构建，而是专注于可复现的、参数高效的、完全有监督的多领域框架，以实现对多模态假新闻检测中领域解耦和可靠性感知融合的可控分析。在此意义上，DURA与基于LLM/LVLM的方法互补而非替代，将其扩展到更强的多模态大模型骨干仍然是未来工作的有前景方向。

本文其余部分组织如下：第2节介绍假新闻检测研究的相关工作。第3节提出所提出的方法并分析每个模块。第4节描述实验设置、数据集、实现细节和对比结果。第5节总结本文。

相关工作片段

单模态假新闻检测

单模态检测方法主要专注于从纯文本内容或视觉图像中挖掘欺骗性线索，为多模态检测奠定基础。

基于文本的检测。早期研究主要依赖于手工语言特征（如词汇多样性和情感极性）或使用传统机器学习模型如SVM和随机森林[22], [23]。随后，深度学习技术的引入实现了自动特征提取。Ma等人

DURA框架概述

为解决假新闻检测中的领域差异和模态不规则挑战，我们提出DURA（用于多领域多模态假新闻检测的双流LoRA与可靠性感知融合）。如图2所示，该框架包含三个集成模块。三个模块分别是：(1) 双阶段特征解耦，(2) 实例感知可靠性估计与聚合，以及(3) 可靠性引导的门控融合。

对于大小为的迷你批次，我们记第个帖子为

数据集

我们在Weibo21 [13]、Weibo [63]和FakeNewsNet的GossipCop [64]上评估DURA。Weibo21和Weibo是中文多模态假新闻数据集，而GossipCop是英文娱乐新闻报道基准。其中，Weibo21提供了标准化的九领域分类体系，即科学、军事、教育、社会、政治、健康、金融、娱乐和灾难，使其特别适用于领域感知多领域行为的受控分析。

表2

结论

本文提出DURA，一个用于领域感知多领域多模态假新闻检测的参数高效框架。为了解决领域差异引起的语义偏见，我们设计了一种双流LoRA架构，鼓励具有较低领域特异性的共享取证先验与领域特定残余语义之间的部分分离，其中DARE合并的共享适配器在异构领域间提供稳定的共享取证知识，而私有流捕获……

CRediT作者贡献声明

Pu Ao：写作—审查与编辑，写作—初稿，可视化，验证，软件，方法学，调查研究，形式分析，数据管理，概念化。Xia Feng：写作—审查与编辑，写作—初稿，方法学，调查研究。Gang Liang：写作—审查与编辑，写作—初稿，项目管理，概念化。Kui Zhao：写作—审查与编辑，写作—初稿，监督。Haixin Hu：监督，调查研究。Yani……

利益冲突声明

作者声明他们没有已知的可能影响本论文所报告工作的竞争性财务利益或个人关系。

Ao Pu于2023年从中国成都四川大学获得学士学位，目前正在攻读硕士学位。他的当前研究兴趣包括假新闻检测、自然语言处理和深度学习。

Ao Pu|Xia Feng|Gang Liang|Kui Zhao|Haixin Hu|Yani Xu|Lei Wang