多尺度语义协同推理模型：面向可解释性多模态谣言检测的跨模态一致性研究

针对多模态谣言因视觉"证据"增强欺骗性而难以检测的问题，研究人员提出多尺度语义协同推理模型(MSSCR)，通过宏-中-微三层次语义对齐，结合共注意力机制(GAT)、图注意力网络和大型语言模型(LLM)，在PHEME和微博数据集上分别实现1.08%和0.82%的性能提升，为社交平台虚假信息治理提供可解释性检测框架。

　　

在社交媒体信息爆炸的时代，谣言如同数字病毒般肆虐传播。尤其令人担忧的是，融合视觉"证据"的多模态谣言，其欺骗性远超纯文本形式——相关研究表明，这类内容传播速度更快、范围更广，甚至可能引发政治动荡和经济波动。传统检测方法依赖粗粒度的图文对齐策略，但在AI生成内容(AIGC)技术突飞猛进的今天，这种单一维度的分析方法已难以应对日益复杂的谣言变体。

西华大学计算机与软件工程学院的研究团队在《Neurocomputing》发表的研究中，创新性地提出多尺度语义协同推理模型(MSSCR)。该研究揭示：谣言的多模态不一致性存在于三个层级——宏观层面的整体内容矛盾、中观层面的局部传播网络异常，以及微观层面的情感关键词错位。基于此发现，研究人员构建了分层检测框架：宏观层采用共注意力机制捕捉全局语义；中观层通过构建帖子-评论图和图像-评论图，利用图注意力网络(GAT)建模局部交互；微观层则调用大型语言模型(LLM)解析细粒度语义特征。特别设计的动态加权机制能自适应融合多尺度特征，最终在PHEME和微博数据集上分别取得1.08%和0.82%的准确率提升。

关键技术包括：1)基于BERT/CLIP/GPT的多模态特征提取；2)三层次一致性建模架构；3)链式思维提示(chain-of-thought prompting)的细粒度语义解析；4)注意力加权的特征融合机制。实验数据来自两个真实社交媒体数据集，剔除缺失模态的样本后保留完整图文交互记录。

【研究结果】
宏观一致性分析：共注意力网络成功捕捉到谣言帖子中图文全局语义的显著性差异，相比基线模型提升跨模态对齐效果12.7%。

中观网络建模：构建的传播关系图显示，真实信息的帖子-评论交互呈现均匀分布，而谣言则存在异常密集的局部聚类，GAT对此特征的捕捉贡献率达34.2%的分类增益。

微观语义解析：LLM提取的关键词一致性指标显示，真实内容的图文匹配度平均达78.3%，而谣言仅41.5%；情感分析进一步发现61.8%的谣言存在图文情感极性冲突。

【结论与意义】
该研究突破传统单层次检测局限，首次实现多模态谣言的全维度解析。动态加权机制有效解决不同场景下模态可靠性波动问题，微细粒度一致性评分增强模型可解释性。技术层面，LLM与GAT的协同创新为多模态推理提供新范式；应用层面，1.08%的性能提升虽看似微小，但在百万级内容审核场景下可避免数万条漏检。研究获得国家自然科学基金等项目支持，其分层检测框架已被验证适用于政治、公共卫生等多领域谣言治理，为构建可信社交媒体生态提供关键技术支撑。

（注：文中Xue Yuan为西华大学计算机与软件工程学院硕士研究生，研究方向为多模态虚假信息检测中的注意力机制与跨模态推理）