超越文本-图像对：三模态联合对齐与多教师蒸馏技术在鲁棒多模态谣言检测中的应用

《Pattern Recognition Letters》：Beyond Text-Image Pairs: Triple-Modal Joint Alignment and Multi-Teacher Distillation for Robust Multimodal Rumor Detection

谣言传播中多模态数据（文本、图像、评论）的协同分析是关键，但现有方法存在过度依赖文本-图像对齐而忽视评论证据、情感线索建模不足等问题。本文提出DKVMN模型，通过构建文本-图像、文本-评论、图像-评论三重对齐机制形成闭环验证链，并设计多头掩码注意力机制提取核心评论，结合Shapley值动态加权多教师蒸馏提升跨模态知识融合能力。实验表明DKVMN在PHEME和Weibo数据集上F1值分别提升4.15%和0.55%，且具备优异的抗噪性和模态缺失适应能力。

　　

钟俊|李月辉|史文迪|吴月

中国四川省成都市西华大学计算机与软件工程学院，邮编610039

摘要

社交媒体上多模态谣言的传播往往利用视觉上引人注目但伪造的证据，这对公众信任和社会稳定构成了严重威胁。然而，现有的检测方法存在两个固有的局限性：（1）过度依赖文本-图像的一致性，忽视了用户评论的重要证据价值，导致推理链不完整；（2）对隐含情感线索（如立场、语气）的建模不足，限制了其在不同场景下的泛化能力。为了解决这些问题，我们提出了基于提炼知识的视觉-文本-评论多模态网络（DKVMN）。首先，我们将评论从辅助信息提升为一级证据，构建了一种新的三重联合对齐机制（文本-图像、文本-评论、图像-评论），形成一个闭环验证链，以打破表面上的跨模态一致性陷阱。其次，为了抑制评论中的噪声并提高模型的鲁棒性，我们设计了一个多头掩码注意力模块，能够自适应地关注关键评论。此外，我们引入了一个多教师蒸馏框架，通过基于Shapley值的动态加权方案整合了预训练的单模态专家模型（视觉、文本、评论、情感），指导学生模型学习更强大且具有区分能力的表示。在PHEME和Weibo两个基准数据集上的广泛实验表明，DKVMN的性能显著优于现有的强基线模型，在F1分数上提高了多达4.15%。更重要的是，DKVMN表现出出色的鲁棒性，在强烈的模态噪声下仍能保持高精度，并通过其门控机制有效适应缺少某些模态的场景。我们的工作为检测现实世界社交媒体环境中的复杂多模态谣言提供了一个强大而有效的解决方案。

引言

社交媒体的出现从根本上改变了信息的传播方式，使其能够在不同平台之间快速传播。然而，这种便利性也促进了错误信息和谣言的传播。大规模的研究，特别是Vosoughi等人的研究[1]，实证表明错误信息的传播速度和范围通常比真实信息更快更广。这一挑战因多模态谣言的兴起而加剧，这些谣言结合了文本和引人注目的视觉元素（图片/视频）。由于这些视觉元素的直观性和较高的情感唤起作用，它们常常主导用户的感知，掩盖了关键的验证过程，从而增加了错误信息的风险和再传播概率。在重大公共事件期间，这类多模态谣言可能演变成“信息疫情”[2]，对社会稳定和公共安全构成系统性威胁。因此，开发强大的多模态谣言检测模型具有至关重要的实际意义。

预训练模型的进步（例如，用于文本的BERT[3]、用于视觉的ResNet[4]、用于跨模态对齐的CLIP[5]）推动了多模态谣言检测的发展，研究从简单的早期融合发展到基于注意力的渐进式融合[6]、[7]。然而，现有方法面临两个关键缺陷：首先，过度依赖文本-图像的双模态建模，忽视了用户评论这一重要的事实反驳和立场线索来源，导致跨模态证据链不完整；其次，对隐含情感线索的挖掘不足，以及缺乏多源知识的自适应整合，使得难以打破“伪一致性”陷阱（表面上看似一致但实际上错误的文本-图像）[8]、[9]。

为了解决这些问题，本文提出了DKVMN（基于提炼知识的视觉-文本-评论多模态网络）。我们的主要贡献有三个方面：

•

三模态证据链：我们提出了一种三模态对齐机制，利用评论作为核心证据进行闭环验证，以识别和打破文本-图像的伪一致性。

•

抗噪声评论建模：我们使用多头掩码注意力来提取关键证据，专注于内容丰富的评论，并过滤掉噪声和无关内容。

•

知识引导的特征增强：我们引入了一种双重增强策略，结合了基于Shapley值的多教师蒸馏和基于词典的情感量化方法，用于隐含立场和语气的量化。

在PHEME和Weibo两个基准数据集上的实验表明，DKVMN的性能显著优于现有的强基线模型，在F1分数上分别提高了4.15%和0.55%。更重要的是，DKVMN表现出出色的鲁棒性，在强烈模态噪声下仍能保持高精度，并通过其门控机制有效适应缺少某些模态的场景。我们的工作为检测现实世界社交媒体环境中的复杂多模态谣言提供了一个强大而有效的解决方案。

相关工作

早期的谣言检测主要是单模态的，依赖于文本内容或传播模式。传统的机器学习方法采用了SVM[10]和随机森林[11]等分类器，并使用手工制作的特征，但这些方法特征工程成本高且泛化能力差。深度学习实现了自动特征提取：Ma等人[12]使用RNN对序列上下文进行建模，而Yu等人[13]利用CNN（CAMI）捕捉局部文本模式；Zhang等人[14]

问题定义

设$S=\{s_1,s_2,\; \dots \dots ,s_n\}$表示社交媒体上的一个多模态帖子，其中每个s_i∈S包含文本和视觉两种模态的内容。具体来说，每个s_i可以定义为$s_i=\{T_i,V_i,C_i\}$。其中T_i是源帖子的文本内容，V_i是与源帖子相关的视觉内容（如图片等），C_i是与源帖子相关的所有评论的集合。我们将多模态谣言检测任务定义为二分类任务，标签y∈{0, 1}，其中$y=0$

实验

我们在两个常用的多模态虚假新闻检测数据集上进行了实验，分别是Weibo[23]和Pheme[24]。Weibo数据集来自一个知名的中国社交平台，而Pheme数据集则来自Twitter上的相关推文。由于模型处理的是多模态数据，因此这两个数据集排除了单模态数据或模态不完整的数据。数据清洗后的两个数据集的统计信息如表1所示。

结论

本文提出了DKVMN模型，该模型将评论作为核心证据，构建了一个文本-图像-评论的三模态联合对齐机制，形成了一个闭环验证链，以打破“伪一致性”。同时，该模型采用了基于Shapley值的多教师蒸馏策略，动态整合了各模态专家的知识。实验表明，该框架取得了最佳性能，并表现出出色的鲁棒性。

CRediT作者贡献声明

钟俊：撰写——审稿与编辑、撰写——初稿、验证、数据整理、概念化。李月辉：撰写——审稿与编辑、撰写——初稿、验证、监督。史文迪：可视化、监督。吴月：撰写——审稿与编辑、撰写——初稿、方法论、资金获取、概念化。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

吴月报告获得了中国国家自然科学基金的支持。吴月还报告获得了西华大学首批研究生教育质量工程项目的相关支持。如果还有其他作者，他们声明没有已知的利益冲突。

致谢

本研究部分得到了中国国家自然科学基金（项目编号61602389）和西华大学首批研究生教育质量工程项目（项目编号YJG202519）的支持。