MICLIN: 用于讽刺检测的多模态集成因果与语言线索引导跨模态不一致网络

《Neurocomputing》：MICLIN: Multimodal integrated causal and language-cue guided cross-modal inconsistency network for sarcasm detection

　　

摘要

社交媒体帖子中的讽刺通常通过文本和图像在语义或情感上的不匹配来暗示。然而，社交平台也表现出视觉风格/主题与讽刺标签之间的持续共现。例如，欢快的模因模板或影棚风格图像可能会反复出现在讽刺性配文中。这种规律性可能会误导相关性驱动的模型依赖表面线索，而忽视真正的跨模态差异。此外，相关性并不意味着因果关系：这些捷径往往源于数据收集偏差，而非真正的讽刺意图。

为了在虚假线索下提高鲁棒性和可解释性，我们提出了 MICLIN，这是一个统一的多模态框架，结合了因果启发式去偏与显式语言线索引导的跨模态不一致建模，用于讽刺检测。MICIM 通过强制执行词汇情感扰动下的一致性来减轻捷径依赖。它进一步整合了后门调整权重与前门启发式中介监督。这些机制旨在实现稳定预测，而非识别讽刺的真正生成原因。LIM 将文本和图像信号投影到共享的情感子空间中，测量它们的不一致性，并通过门控融合将此证据注入最终预测。

在 MMSD 和 Memotion 上的实验表明，MICLIN 取得了强大的预测性能。消融和定性分析进一步表明，因果正则化和跨模态不一致建模提供了互补的收益，并为模型决策提供了可解释的证据。

引言

讽刺是一种常见的语用现象。它通常在使用表面赞扬、夸张或与字面意义矛盾的不协调设置时，传达一种负面立场。因此，识别讽刺依赖于上下文、语调和修辞线索 [1], [2]。早期关于文本讽刺检测的工作侧重于词汇和句法特征、上下文建模和弱监督，并在系统综述中进行了总结 [2], [3]。

随着社交媒体上图像、表情符号和视觉布局的日益增多，纯粹的文本线索往往不足。场景、姿势和模板等非文本信号可以补充语用信息，从而改变对配文的解读。因此，近期研究已转向多模态讽刺检测，在跨模态对齐、知识融合和不一致性感知建模方面取得了进展 [4], [5], [6]。 prior work 表明，讽刺 frequently arises from cross-modal inconsistency between text and image。一种常见类型是情感不一致，即表面上积极的语言伴随消极的情境 [7]。另一种类型是语义不一致，即文本陈述与常识或场景暗示的信息冲突 [8]。通过联合观察图像和文本，模型可以揭示此类不一致，并将其作为检测线索加以利用 [9]。在整个论文中，“不一致”指跨模态不一致（文本 - 图像差异）。我们仅将语言线索作为指导信号，使这种差异更加明显，而不是仅在文本内建模不一致性。

然而，现有的多模态处理往往过于粗粒度。简单的融合可能会模糊细微的语义细节，使得解释两个模态在哪里不同意变得困难。此外，跨模态不一致可以采取多种形式。讽刺可能涉及夸张的情感强度、句子内的情感反转，或文本和图像传达的对立情绪。

图 1(a) 展示了一条讽刺性帖子，其中图像描绘了一只小狗舒适地躺在地板上，暗示轻松和放松，而文本声称无法放松。这种不匹配在平静的视觉情感和负面的文本导向之间造成了情感不一致。该句子还使用了强调和加强语，进一步增加了文本的情感强度。图 1(b) 提供了另一个讽刺例子。标题呈现了“有趣”的表面评价，然而面部表情和整体氛围并不欢快。尾随短语和最后的疑问削弱了字面同意并传达了冷淡的基调。因此，图像传达的情绪与文本的表面极性相反。此外，固定的模板搭配可以成为外观线索，放大这种差距。图 1(c) 展示了一条非讽刺性帖子。文本讨论了数量级和时间转换，而图像和布局支持解释。两个模态在命题层面上是一致的，它们的情感方向也是对齐的。

这些例子突显了多模态讽刺检测中两个相互关联的挑战。第一个是虚假相关：反复出现的模板、场景风格和主题规律可以充当干扰因素，将模型引向表面捷径。第二个是跨模态不一致的利用不足，这往往是更具标签相关性的证据。在实践中，这两个问题相互影响。当模型过度拟合频繁的外观模式时，它就不太可能利用细微但信息丰富的文本 - 图像差异。MICLIN 旨在通过减少 MICIM 中的捷径依赖，同时使 LIM 中的差异证据更易于使用，来解决这种交互作用。

在真实的多模态帖子中，场景风格和主题内容经常共现。例如，“星巴克内部”风格经常伴随对咖啡的积极评价，明亮的婚礼影棚照片经常伴随“蜜月超级快乐”之类的配文。随着时间的推移，这些反复出现的共现可能会诱导虚假相关。模型随后可能会学习表面外观模式与标签之间的捷径关联，而不是关注基于内容的证据，如跨模态不一致。这些捷径不一定具有因果关系。它们可能反映了平台和收集特定的偏差，而非真正的讽刺意图。例如，如果在训练数据中，一个欢快的模因模板反复与讽刺性配文配对，相关性驱动的模型即使在配对的文本 - 图像语义一致时，也可能过度预测讽刺。

这种失败模式激发了反事实视角。如果干预捷径线索同时保留潜在语义，鲁棒模型应产生稳定预测。在这种干预下预测的大变化表明对虚假证据的依赖，并通常导致泛化能力差。

此外，预训练的图像和文本表示可能包含对当前任务无用或嘈杂的成分。这激励我们 (i) 在输入层干预捷径共现，(ii) 在骨干网络中净化任务相关信息，以及 (iii) 加强跨模态对齐和融合，使模型专注于与标签相关的证据。

为解决这些问题，我们提出了 MICLIN，一个结合因果去偏以抑制捷径与显式跨模态不一致推理以进行证据聚焦融合的框架。这两个组件是互补的。MICIM 针对由风格、模板和主题引起的虚假相关。它减少了对频繁与标签共现的外观线索的依赖，并鼓励基于在干预下保持稳定的基于内容的证据做出决策。LIM 专注于跨模态不一致。它使用语言线索（如否定和对比）来突出文本 - 图像差异。然后通过门控调制将此证据注入跨模态融合，提高可解释性和长尾矛盾案例的检测能力。

我们的贡献有三点：
1.我们提出了 MICLIN，一个集成因果去偏和跨模态不一致建模的多模态讽刺检测框架。因果组件抑制与标签共现但非因果的虚假相关，旨在实现鲁棒预测而非因果识别。不一致组件加强图像和文本之间的语义和情感冲突，提供可解释的证据，并通过门控调制融合。在 MMSD 和 Memotion 上的实验表明，MICLIN 提高了数据集适当评估指标：MMSD 上的 Acc、Binary-F1 和 Macro-F1，以及 Memotion 上的精确率、召回率和 F1。
2.我们开发了 MICIM，多模态集成因果推理模块。基于混淆变量代理、文本、视觉、中介变量和标签之间的结构化关系，MICIM 通过可微因果方程构建干预后表示。它进一步结合了词汇情感扰动下的稳定性正则化、后门调整逆倾向评分权重和前门启发式中介监督，以减轻数据集特定的捷径。作为与分类目标解耦的正则化器，MICIM 抑制与标签相关但非因果的表面相关性并提高鲁棒性。
3.我们设计了 LIM，一个语言线索引导的不一致调节模块。LIM 提取否定线索和对比线索等线索，以及语义不协调和极性冲突，并使用它们形成可解释的不一致因子。这些因子通过放大强不一致样本的融合并防止误导一致样本的过度自信传播来调节融合强度。结合轻量级语义对齐和弱监督，LIM 为 MICIM 提供了适度的互补增益，并暴露了任务特定的差异表示以供分析。

章节片段

多模态讽刺检测

多模态讽刺检测旨在通过联合建模文本和图像来识别讽刺，重点关注模态间的语义或情感不匹配。早期研究主要依赖特征拼接，将词汇和句法特征与基本视觉描述符结合。综述和评估表明，此类方法容易受到虚假相关的误导，并且往往难以处理那些表面一致但语用上反转的帖子 [1], [2]。

后续

方法论

MICLIN 从两个方面解决多模态讽刺检测问题。一方面涉及捷径依赖：模型可能会被吸引到频繁但与标签无关的共现模式，如反复出现的模板、场景风格或主题规律。另一方面涉及证据使用：即使文本和图像包含有意义的差异，该信号也可能因粗融合而被削弱，或被更显著的表面模式掩盖。因此，我们的框架分为四个阶段。第 3.1 节

数据集

我们在两个公开的多模态讽刺检测基准 MMSD [40] 和 Memotion [41] 上评估 MICLIN。两个数据集都提供配对的图像 - 文本输入和与讽刺相关的注释，并在 prior work 中被广泛使用。我们未引入任何外部训练数据。

预处理和划分。为了提高数据质量并确保公平比较，我们遵循 prior work 采用的标准预处理实践。具体而言，我们从文本中移除显式的讽刺线索术语，并保留样本

结论与未来工作

我们提出了 MICLIN，一个集成因果正则化与显式跨模态不一致建模的多模态讽刺检测框架。MICIM 通过结合成对视图扰动、代理引导的重加权以及表示级约束，减少对数据集特定虚假相关的依赖。LIM 在共享情感子空间中测量文本 - 图像差异，并通过可学习门控调节融合。该门控将不一致证据转化为可解释的辅助

CRediT 作者贡献声明

余秉功：写作 – 审查与编辑，软件，资源，项目管理，方法论，调查，资金获取，概念化。李月：写作 – 审查与编辑，写作 – 原始草稿，可视化，验证，项目管理，方法论，调查，形式分析。席忠浩：写作 – 审查与编辑，方法论，概念化。赵先先：写作 – 审查与编辑，方法论，概念化。王军：写作 – 审查与编辑，

利益冲突声明

作者声明，他们没有任何已知的竞争财务利益或个人关系，可能会影响本文报告的工作。

致谢

这项工作得到了国家自然科学基金委员会（编号 72188101, 72472043, 72071061）的支持。

余秉功在中国合肥工业大学获得博士学位。目前，他是中国合肥工业大学管理学院的教授。他的主要研究兴趣包括自然语言处理和信息系统。

余秉功 | 李月 | 席忠浩 | 赵先先 | 王军 | 李晨月

教育部过程优化与智能决策重点实验室，安徽合肥 230009，中国