协同辩论者：一种用于抑制仇恨表情包检测中推理幻觉的多模态辩证推理框架

《Neurocomputing》：Co-debater: A multimodal dialectical reasoning framework for suppressing reasoning hallucinations in hateful meme detection

　　

摘要
社交网络上的仇恨表情包经常利用图像和文本之间的非线性相互作用来传达隐性的恶意意识形态，这对自动检测系统的鲁棒性和可解释性构成了显著挑战。现有的生成方法经常遭受推理幻觉的困扰，即模型盲目迎合用户提示中的立场，而不是将其推理基于视觉事实。为此，我们提出了一种名为共注意力辩论者（Co-Debater）的新型框架，旨在基于多模态辩证推理进行仇恨表情包检测。首先，我们引入了基于全局反事实标签翻转的双向对抗微调策略。结合视觉锚定的思维链机制，该策略迫使模型从对立视角生成辩证论点，从而抵消模型的迎合偏差。其次，我们设计了一个嵌入双向共注意力机制的轻量级裁判模型。该架构将生成的多视角论点与视觉特征融合以做出最终裁决。在三个公共基准（Harm-C、Harm-P 和 MAMI）上的广泛实验表明，Co-Debater 优于最先进的方法，在 Harm-P 上实现了 92.11% 的 Macro-F1 分数。定性评估进一步证实，我们的框架减少了幻觉，生成的解释逻辑严谨且忠实于视觉内容。

引言
在当今高度互联的数字信息生态系统中，网络表情包（以下简称表情包）已演变为舆论传播的主导载体。这种视觉 - 文本嵌套表达形式利用视觉符号与文本上下文之间的非线性相互作用，构建了一个具有巨大传播力的高维语义空间 [10]。然而，这种表达形式的双刃剑效应日益显著。当特定的视觉隐喻在种族、性别或政治冲突的背景下与煽动性文本恶意结合时，它们就会转化为“仇恨表情包”[21]，[36]。与明确的仇恨言论不同，仇恨表情包通常表现出单模态无害但多模态有害的隐蔽特征，其恶意往往隐藏在意象、双关语或文化隐喻的图文不对齐中 [52]。例如，在图 1 中，文本“我刚听说我女朋友怀孕了”和一个男人慢跑的图片在孤立观看时显得中性。然而，它们的组合瞬间将慢跑行为重构为逃跑，含蓄地暗指针对特定群体的种族刻板印象。这对旨在同时实现精度和可解释性的自动检测系统构成了严重挑战 [28]。

尽管学术界已从早期的单模态方法发展到大规模视觉 - 语言预训练模型 [44]，但稳健地解码仇恨表情包中的非线性相互作用仍受制于基本的理论瓶颈。具体来说，判别模型（如 VisualBERT [25] 和 MOMENTA [39]）经常依赖表面的模式匹配而不是因果推理 [17]，而生成框架（如 Pro-Cap [5]）则因过度依赖覆盖视觉证据的文本先验而遭受“推理幻觉”[30]。近期对视觉 - 语言模型的系统研究进一步证实了这种高阶认知脆弱性，揭示了一种普遍的“迎合偏差”，即模型倾向于同意错误的用户提示，而牺牲了经验视觉事实 [38]。这些局限性因单向融合机制的加剧而进一步恶化，该机制无法捕捉识别隐蔽恶意所必需的动态互文性 [4]。

为了明确奠定我们工作的架构必要性和技术新颖性，我们系统地研究了原生大型多模态模型（LMMs）中认知幻觉的结构来源。在算法上，这些高阶认知失败源于两个主要的系统性瓶颈：(1) 表面标记捷径学习，其中 LMM 的密集自回归对齐过度依赖文本先验统计相关性，导致模型绕过微妙的跨模态隐喻；以及 (2) 线性级联误差漂移，其中标准的单轨迹生成解码缺乏自我修正反馈循环，迫使初始的微小逻辑微偏差级联成灾难性的推理幻觉。

与试图通过通用全参数微调或单向推理链（例如标准思维链范式）来减轻这些漏洞的现有方法不同，我们提出的 Co-Debater 框架通过两个核心操作进步代表了关键的架构转变。首先，关于从线性映射到辩证探索的转变，原生端到端模型（例如 LLaVA）直接将多模态特征映射到单个分类标记——这使得它们极易受到幻觉捷径的影响——而我们的框架强制执行一个一阶段双向辩证推理空间。通过执行由全局反事实标签翻转正则化的对抗微调，我们显式训练多模态生成器为每个实例合成相互矛盾的推理日志（包括支持和反对立场），系统地中和模型固有的迎合偏差并揭示隐藏的文化细微差别。其次，关于从单向自我辩护到跨模态共注意力裁判的转变，标准合理化基准（例如 Pro-Cap）利用单流推理，这本质上遭受确认偏差，通常过度合理化有毒侮辱或误解情境反讽以证明其初始标记输出的正确性。相比之下，我们二阶段设计引入了一个由刚性双向共注意力层支持的轻量级 T5 裁判。代替盲目接受生成标记，共注意力网络将双重推理轨迹映射回接地的视觉特征，暴露跨模态语义不一致，并在发出最终内容审核标记之前系统地抑制牵强的反幻觉。

为了应对这些普遍的模型不确定性，替代范式已转向超越纯算法空间的结构对齐；例如，置信度感知的人机协作框架 [29] 引入了一种战术延迟策略，动态地将低置信度、依赖上下文的表情包样本委托给人类专家，从而通过代理标记稳定互联网审核生态系统。相比之下，我们的双阶段对抗架构绕过了持续人工干预的操作开销。通过在网络设计中原生解决 LMM 幻觉的系统性来源，我们在无需大量计算资源重新训练的情况下，为多模态仇恨言论检测提供了可验证、稳健且高度可解释的自主审计跟踪。

为了系统地克服这两个算法瓶颈并消除推理幻觉的结构前提，我们提出了一种名为共注意力辩论者（Co-Debater）的新型框架，建立了一个形式化的生成 - 反思 - 裁判闭环系统，基于多模态辩证推理。为了从根本上抑制表面标记捷径学习并中和模型固有的迎合偏差，我们首先通过全局反事实标签翻转采用了一阶段双向对抗微调策略。该方法强迫多模态生成器在相同的视觉上下文中从对立立场合成严谨的辩证论点 [26]，从而迫使模型探索深层语义隐喻而不是依赖统计文本先验。此外，为了消除线性级联误差漂移并修正单向融合机制的缺陷，我们设计了一个嵌入双向共注意力机制的二阶段轻量级裁判模型。该模块动态映射并交叉融合生成的辩证文本日志与局部视觉特征，以编程方式过滤出幻觉组件，强制跨模态语义一致性，并确保从推理到判断的精确、已验证的过渡。因此，我们的主要贡献如下：
1. 我们提出了一种双向对抗微调策略，利用全局反事实标签翻转打破视觉线索与类标签之间的表面相关性，从而在源头上抑制推理幻觉。
2. 我们设计了一个嵌入双向共注意力机制的轻量级裁判模型。该架构将生成的多视角论点与视觉特征融合以做出最终裁决。
3. 我们通过广泛实验验证了我们的框架，在三个公共基准（Harm-C、Harm-P 和 MAMI）上的实验表明，Co-Debater 显著优于最先进的方法，在 Harm-P 上实现了 92.11% 的 Macro-F1 分数。

章节片段
相关工作
在仇恨表情包检测领域，现有方法可大致分为三种范式：传统多模态融合、使用 LMM 的知识增强学习和可解释检测框架。在本节中，我们回顾这些发展并突出激励我们 Co-Debater 框架的具体理论瓶颈。

Co-Debater 框架
在本节中，我们介绍了提出的 Co-Debater 框架的正式流程和技术细节，这是一个旨在抑制多模态内容审核中感知后推理幻觉的训练高效范式。为了将我们的架构设计锚定在严格的数学基准上，我们首先在 3.1 节中形式化多模态仇恨表情包检测的数学符号和核心任务定义。然后我们阐述方法论架构概述

实验设置
数据集：我们在三个不同的基准上评估我们的框架：Harm-C、Harm-P 和 MAMI。源自 HarMeme 数据集 [39]，Harm-C 和 Harm-P 分别针对与 COVID-19 相关的仇恨言论和美国政治宣传。相比之下，MAMI [11] 关注厌女内容，由于其复杂的隐性隐喻，检测难度更高。总体而言，这些数据集涵盖了公共卫生、政治和性别领域，能够实现全面的评估

结论
在本文中，我们提出了一种名为 Co-Debater 的新型框架，以抑制仇恨表情包检测中的推理幻觉。为此，Co-Debater 引入了一种多模态辩证推理机制，利用双向对抗微调策略和 VCoT 机制生成基于视觉事实的对立立场论点。随后，我们设计了一个嵌入双向共注意力机制的轻量级裁判模型。该模块深度融合了生成的

CRediT 作者贡献声明
Cheng Cheng：项目管理，方法论，资金获取，正式分析，数据整理，概念构思。Han Zhong：可视化，监督。Yonglei Song：监督。

利益冲突声明
作者声明，他们没有已知的相互竞争的经济利益或个人关系，这些关系可能影响本文报告的工作。

致谢
这项工作得到了网络欺凌事件演变及干预策略研究基金（项目编号：24BSH033）以及高校学科创新与人才引智基地项目（项目编号：B20087）的支持。

Cheng Cheng 目前正在中国人民警察大学（中国北京）攻读硕士学位。他当前的研究兴趣包括多模态人工智能、仇恨表情包检测和可解释人工智能（XAI）
Cheng Cheng|Han Zhong|Yonglei Song
中国人民警察大学，中国北京