通过LLM引导的正交解耦方法减轻多模态错误信息检测中的快捷学习现象

《Information Processing & Management》：Mitigating shortcut learning in multimodal misinformation detection via LLM-guided orthogonal disentanglement

　　

• •
  所提出的框架实现了最先进的检测性能。
• •
  正交分解确保了特征分离的精确性与可解释性。
• •
  基于大语言模型的蒸馏机制为特征解耦提供了外部监督。
• •
  基于几何特征的加权方式为不透明的注意力机制提供了透明替代方案。
• •
  新的异常数据基准能够准确评估模型对现实世界变化的整体适应性。

引言

随着技术的快速发展，社交媒体已演变为全球交流的主要平台。然而，它也加速了虚假或误导性内容的传播，严重扭曲了公众的看法（Apuke和Omar，2021；Grinberg等人，2019）。鉴于这一问题的严重性，世界经济论坛2025年的《全球风险报告》将错误信息列为全球首要风险（世界经济论坛，2025）。与单一文本内容不同，多模态错误信息能够提升认知处理的流畅性，从而显著增加其可信度（Newman等人，2012；Schwarz，2004）。与此同时，仅基于文本的检测方法（Choudhary和Arora，2021；Kaliyar等人，2020）在捕捉各种欺骗性特征方面存在固有局限（Zhao和Zeng，2026），且与多模态方法相比表现较差（Li等人，2025）。

因此，多模态错误信息检测已成为一个重要的研究方向（Mostafa等人，2025；Wei等人，2025）。不过，现有方法通常依赖整体表示，比如从预训练编码器中获得的[CLS]标记嵌入。虽然这些全局特征覆盖范围广泛，但它们会将不同的语义成分混合在一起，从而掩盖细微的语义差异。这一限制使得模型不得不依赖偶然的相关性，进而更容易出现“捷径学习”现象——即模型利用不稳定的决策规则，在训练集或独立同分布的测试集上获得高准确率，但在异常数据情况下性能却大幅下降（Geirhos等人，2020）。这一问题给现实世界的错误信息检测带来了严峻挑战（Qi等人，2026）。

为了解决这一问题，研究人员开始将全局表示分解为不同的语义成分。这种方法促使模型关注细微且具有语义意义的子特征，而非依赖那些相互关联的整体特征。这种分离特征的过程被正式称为“特征解耦”（Bengio等人，2013）。例如，DAMMFND（W. Lu等人，2025）通过区分领域特定内容和领域不变内容，实现了基于领域意识的错误信息检测。因此，确定最适合进行特征解耦的语义维度，对于实现强大且可解释的检测至关重要，它也决定了模型的推理方式。

我们通过分析社交媒体帖子的语义构成来解答这一问题。我们发现，错误信息不仅包含客观描述事件核心内容的事件相关内容，还包含大量的非事件内容：即作者故意插入的主观性、带有情感色彩的元素，用以操控公众的看法，如图1所示。具体而言，第一个例子使用了极具煽动性的语言来激起愤怒，而第二和第三个例子则通过耸人听闻的言辞来引发强烈的情绪反应（如同情和恐惧）。这类情感暗示并非事件本身所固有，而是经过精心设计，旨在提升信息的可信度并促进其传播。基于这一观察，我们提出将事件相关内容和非事件内容作为两个核心语义维度，以此来进行特征解耦。

一旦确定了目标语义维度，建模过程通常包括三个核心阶段：首先是解耦实现，即将整体表示分解为不同的语义子特征；其次是解耦监督，确保这些子特征符合预定的语义维度；最后是特征融合，将解耦后的特征整合起来用于最终检测。尽管已有大量研究探讨了这些阶段，但现有框架仍存在以下缺陷：

• (1)
  解耦过程缺乏透明度。现有的基于多层感知机的方法如同“黑箱”，无法让人了解语义分解的具体方式及原因。
• (2)
  解耦监督缺乏客观性。现有方法依赖内部约束（如对抗损失或相似度损失），而这些约束很容易受到其他任务的干扰，导致解耦后的特征偏离预定的语义维度。
• (3)
  特征融合效率低且可解释性差。大多数框架使用交叉注意力机制来融合子特征，但其不透明的操作方式难以了解每个特征的实际贡献，从而限制了可解释性。

为了解决这些问题，我们提出了PROI（具有定向交互的划分表示，用于多模态错误信息检测）。该框架通过结合明确的正交分解与大语言模型的外部监督，实现了精确的语义解耦，且不受内部干扰，完全基于明确的数学运算。此外，它还引入了一种基于几何特征的动态加权策略，以实现高效的特征融合。该框架的操作流程分为三步：（1）将多模态输入编码为全局嵌入；（2）将这些嵌入分解为事件相关内容和非事件内容；（3）整合特征以进行最终检测。

除了架构创新之外，本研究还注重评估模型在现实环境中的稳定性。我们通过设计跨时间和跨平台的任务，建立了一套严格的异常数据评估方法。这些基准测试能够准确衡量PROI在时间变化和领域转换情况下的泛化能力，展现了其出色的适应性，同时也凸显了异常数据评估在真实反映模型稳定性能方面的关键作用。本研究的主要贡献可总结如下：

• (1)
  创新的解耦框架。我们提出了一种全新的框架，能够实现精确且可解释的特征解耦。
• (2)
  有效的解耦监督机制。我们利用大语言模型作为外部监督源，使得解耦过程不受内部任务的干扰。
• (3)
  可解释的基于几何特征的动态加权。我们设计了一种基于几何关系的动态加权机制，以实现高效且可解释的特征融合。
• (4)
  新的基准测试与评估方法。我们将PROI作为更优的基准模型，并设计了跨时间和跨平台的任务来评估模型的稳定性。

本文的其余部分结构如下：第2节回顾相关研究；第3节阐述研究目标并明确任务定义；第4节详细介绍PROI框架；第5节展示实验分析结果；第6节讨论主要发现并指出未来研究方向。

各节要点

相关研究

尽管已有许多研究提出了错误信息检测方法，但大多数方法都依赖于全局特征，忽视了相互关联的语义成分，这使得模型容易陷入“捷径学习”现象（Geirhos等人，2020）。为了解决这一问题，一些研究者开始在错误信息检测中应用解耦表示学习技术（DRL）（Wang等人，2018）。作为表示学习的一个分支，DRL旨在识别并分离出观测数据背后的各种解释因素。

研究目标与任务定义

为了解决现有方法的局限性，PROI框架被设计出来以实现以下目标：

• (1)
  针对每种模态，实现事件相关事实与非事件内容之间的结构化解耦，同时保持数学上的可解释性。
• (2)
  利用大语言模型为解耦过程提供客观的外部监督，确保该过程不会受到其他内部任务的干扰。
• (3)
  基于几何关系推导出可解释的动态权重

方法论

本节将介绍所提出的PROI框架。首先会给出整体架构概述，随后详细说明各个组成部分的功能。

实验与结果

本节通过一系列全面的实验，验证了PROI框架的有效性。

结论

本研究提出了PROI框架，旨在解决多模态错误信息检测中可解释性和泛化能力不足的问题。该框架通过结合大语言模型引导的知识蒸馏与正交分解技术，实现了事件相关内容与非事件内容之间的清晰分离，有效避免了“捷径学习”现象。此外，它还采用了基于几何特征的动态加权机制，确保特征融合的透明性与高效性，从而使PROI具备出色的计算性能。

CRediT作者贡献说明

王志：概念构思、方法设计、软件实现、数据整理、形式化分析、可视化处理、初稿撰写。欧世岩：指导监督、论文审阅与修改。

关于 manuscript 编写过程中生成式AI及AI辅助技术的声明

除文中明确提及的使用大语言模型进行实验外，本研究的全部内容均为原创。我们承认在语言润色和代码标准化方面使用了Gemini 3 Pro。所有作者均已对大语言模型生成的文本进行审核和修改，并对文章内容承担全部责任。

Zhi Wang|Shiyan Ou