M2VGF：一种基于记忆增强的多视图门控融合框架，用于多模态讽刺检测

《Neurocomputing》：M2VGF: A memory-augmented multi-view gated fusion framework for multimodal sarcasm detection

　　

• •
  基于显著性的连续加权能够捕捉到信息丰富的局部图像-文本冲突。
• •
  OCR增强型上下文和双通道记忆结合了当前和历史语义信息。
• •
  自适应门控融合机制在不同样本间平衡了互补的语义视图。
• •
  $$在MMSD和MMSD2.0数据集上表现出了竞争力和稳定性。

引言

讽刺是一种复杂的修辞手法，它通过字面表达与潜在意图之间的差异来传达隐含的态度[1],[2]。随着社交媒体的迅速普及，用户越来越多地通过结合文本和图像的多模态内容进行交流[3]。与文本讽刺不同，多模态讽刺通常源于不同模态之间的语义不匹配，其中视觉和文本信息共同作用于讽刺意图的表达[4]。因此，准确识别跨模态的讽刺线索在多模态讽刺检测中已成为一个重要问题[5]。

得益于深度学习和视觉-语言预训练的进步，近期研究通过跨模态交互、细粒度建模、上下文增强和多视图表示学习显著提高了多模态讽刺检测的效果[6],[7],[8],[9]。细粒度方法通过区域-单词交互或图结构来建模局部图像-文本关系[10],[11]，而OCR和知识增强方法进一步利用了图像中嵌入的文本信息和辅助的上下文知识[12],[14]。例如，Liang等人[13]从检测到的图像区域、OCR文本和语言上下文中构建了一个多模态图来建模跨模态语义和情感关系。这些研究表明，局部矛盾和图像中嵌入的文本是理解多模态讽刺的重要线索。

然而，识别哪些局部图像-文本关系对讽刺最具有信息量仍然具有挑战性。现有的基于区域和图的方法可以捕捉到丰富的局部关联，但决定性的讽刺线索往往取决于语义冲突以及涉及的视觉和文本元素的重要性。如图1(a)所示，只有当“amazing”这样的正面表达与显示器损坏的部分形成对比时，它才会体现出讽刺意味，而不是与整个图像形成对比。这激发了一种细粒度机制，该机制在定位局部讽刺线索时同时考虑了视觉显著性、文本重要性和跨模态不一致性。

上下文信息提供了另一个重要的讽刺线索来源。基于OCR的方法表明，图像中嵌入的文本可以补充视觉语义[13]，如图1(b)所示，“one year closer to death”这个短语为解释帖子提供了重要的上下文。最近的研究还探索了基于记忆或检索的机制来引入当前样本之外的信息[15],[16]。尽管如此，上下文增强后的当前表示与历史跨模态模式之间的联系仍然相对有限。因此，有效地结合当前上下文线索和训练期间积累的可重用语义经验可能为复杂的讽刺推理提供额外的支持。

不同线索的重要性因样本而异。一些讽刺实例更依赖于文本语义，一些依赖于视觉内容或整体图像-文本的不匹配，还有一些依赖于局部冲突。虽然多视图方法提供了互补的表示[9],[17],[18]，但不同的语义视图对个体预测的贡献可能并不均衡。因此，自适应协调这些视图对于处理多模态讽刺的异质表达非常重要。

为了解决这些问题，我们提出了M²VGF，一个基于记忆增强的多视图门控融合框架，用于多模态讽刺检测。该模型首先通过多层次的图像-文本交互构建文本、视觉、全局和细粒度的semantic视图。其细粒度分支同时考虑了视觉显著性、文本重要性和token-patch不一致性，以突出局部冲突区域。OCR增强的上下文信息被整合到深度多模态融合中，而特定类别的双通道记忆存储并检索历史跨模态表示以补充当前样本。最后，门控融合机制自适应地结合这四种语义视图进行预测。

本工作的主要贡献总结如下：

•

我们提出了一种基于显著性的细粒度对齐机制，该机制同时考虑了视觉显著性、文本重要性和跨模态不一致性，以捕捉局部讽刺冲突。

•

我们开发了一种双上下文增强机制，将OCR增强的当前上下文与存储在特定类别记忆库中的历史跨模态表示结合起来。

•

我们设计了一种门控多视图融合策略，以自适应地整合不同多模态样本的文本、视觉、全局和细粒度表示。

部分摘要

预训练的多模态讽刺检测

早期的讽刺检测研究主要集中在单模态数据上，特别是文本内容。现有研究通常将讽刺定义为语义不一致和情感反转，即字面表达与说话者的真实意图相冲突。Riloff等人[19]将讽刺定义为积极表面情感与负面情境之间的矛盾，而Aditya等人[20]则对讽刺进行了显性和隐性的上下文不一致性建模。

任务定义和模型概述

多模态讽刺检测的目标是通过捕捉跨模态特征之间的潜在不一致性来识别样本的讽刺性质。给定两个不同的数据集$$，我们将其中的任何样本形式化为一个输入三元组$$。这里，$$代表由$$个单词组成的原始文本序列，$$表示相应的视觉图像，$$表示从图像中提取的嵌入文本序列。这项任务的目的是构建一个讽刺识别系统

实验设置

实验在两个多模态讽刺检测基准数据集MMSD及其去偏版本MMSD2.0上进行评估。这两个数据集按8:1:1的比例划分为训练、验证和测试部分，详细统计信息见表1。内存更新仅限于训练部分，在验证和测试期间内存库处于冻结状态。该模型通过PyTorch实现，使用原生的CLIP图像和文本编码器进行主要特征提取。

总结

本文提出了M²VGF，一个基于记忆增强的多视图门控融合框架，它联合建模了信息丰富的局部冲突、上下文和历史跨模态语义以及多模态讽刺检测所需的互补语义视图。一种基于显著性的细粒度对齐机制同时考虑了视觉显著性、文本重要性和跨模态不一致性，并采用连续加权聚合来突出局部冲突区域。同时，OCR增强的上下文信息

CRediT作者贡献声明

刘晓耀：撰写——原始草案。朱晓东：撰写——审稿与编辑。

写作过程中生成式AI和AI辅助技术的声明

在准备这份文档的过程中，作者使用了ChatGPT来改善英语表达和文本流畅性。作者对AI工具提出的所有修改进行了批判性评估，进行了必要的调整，并对本文最终呈现的内容承担全部责任。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了中国国家自然科学基金（编号12275179）的支持。

刘晓耀于2022年获得上海科学技术大学（USST）的工程学士学位，并于2026年获得管理科学与工程硕士学位。她的当前研究兴趣包括多模态情感分析和多模态讽刺检测。

Liu XiaoYao|Zhu XiaoDong