CapSRA：基于LMM的标题语义检索聚合技术，用于检测含有仇恨言论的模因（meme）

《Pattern Recognition》：CapSRA: LMM-guided caption semantic retrieval aggregation for hateful meme detection

检测图文结合的恶意推文需综合语义信息，现有方法依赖大模态模型但存在样本单一性局限。本文提出CapSRA框架，通过预训练LLM生成描述性字幕增强语义检索，构建动态图结构并采用图注意力机制聚合跨样本特征，结合变分信息瓶颈理论过滤噪声，有效提升检测性能。

　　

杨鹏飞|杨浩宇|李艺莉|王勇|吴金|张坤鹏|周帆

中国电子科技大学信息与软件工程学院，成都，610054，四川，中国

摘要

检测恶意模因已成为对抗有害思想传播的关键多模态任务。与明显的仇恨言论不同，恶意模因通常需要对视觉和文本内容的综合语义有深入理解，因为恶意意图通常是通过它们的相互作用产生的。现有方法主要依赖于大型多模态模型（LMMs）来增强多模态理解能力。然而，由于单个样本提供的信息有限，它们仍然难以检测出具有复杂或微妙语义线索的恶意模因。为了解决这一限制，我们提出了CapSRA（Caption Semantic Retrieval Aggregation），这是一种由LLM引导的检索范式，旨在提升现有的单样本恶意模因检测器的性能。具体来说，CapSRA首先使用LMM生成描述性标题，这些标题用于检索语义相关的样本。它构建了一个语义图，将检索到的样本视为相互连接的节点，使模型能够捕捉到超出单个实例的有意义的关系。为了确保聚合的上下文保持聚焦和有益，CapSRA采用了一种变分信息细化模块，该模块过滤掉无关信号，同时保留与目标模因最匹配的信息。在多个基准数据集上的广泛实验表明，CapSRA一致性地提高了最先进单样本检测器的性能。源代码可在https://github.com/knightcanglu/CapSRA获取。

引言

随着社交网络的广泛使用，模因已成为分享想法和情感的主要形式。模因通常结合了图像和简短文本，往往看起来幽默有趣，但也可能传达更深层次的含义，如讽刺、歧视或仇恨[1]。这些恶意模因的未经审查的传播可能对目标群体造成情感伤害，并破坏在线平台的包容精神[2]。这激发了人们对开发自动恶意模因检测系统的兴趣。

检测恶意模因特别具有挑战性，因为攻击性意图往往不是来自图像或文本本身，而是来自它们的相互作用。在许多情况下，两种单独 benign 的模态结合会产生有害的含义，或者恶意模因和无害模因之间的区别可能取决于微妙的语义差异[3]。这要求模型深入理解跨模态交互产生的语义。

早期的方法侧重于设计先进的多模态特征融合技术以提高检测性能。然而，由于传统视觉语言模型（VLMs）的模型容量有限，它们往往难以从复杂和异构的模态中捕获足够的语义信息。认识到这些限制，最近的研究转向了大型多模态模型（LMMs）。预训练的LLM具有丰富的背景知识和强大的语义理解能力[4]，使它们能够在很少监督的情况下适应恶意模因检测任务，通常通过微调甚至在零样本设置中实现。这些方法大多采用基于标题的策略，使用标题生成器或VLM（如CLIP [5] 或 BLIP-2 [6]）从模因中提取基于文本的知识，然后以单模态方式将其传递给语言模型进行最终预测。尽管这些方法转向了更强大的架构，但由于它们依赖于单样本输入，当前方法仍然存在固有的限制。恶意模因通常针对特定事件或社会群体，并倾向于以相关内容的集群形式出现，例如，在社交媒体平台上常见的迭代变体和围绕同一主题的混音[7]、[8]。如果不利用这些上下文相关性，模型可能无法识别微妙或隐含的恶意意图。

结合检索机制通过用语义相关的样本丰富输入，从而增强上下文理解并提高预测的鲁棒性，提供了一个有前景的方向。然而，这一研究领域在恶意模因检测方面仍然很大程度上未被探索，特别是在语义稀疏或模糊的情况下稳健地检索真正相关的样本，以及有效利用检索到的邻居同时减轻下游任务的噪声和冗余方面，仍然存在关键挑战。RGCL [9] 在基于检索的恶意模因检测方面进行了早期探索。它利用其视觉语言编码器提取的深度语义特征作为检索键，并采用K最近邻（KNN）策略来收集语义相似的样本。然后使用这些检索到的特征通过对比学习来指导检测器。然而，这种方法仍然存在明显的局限性。首先，高度抽象的语义特征往往缺乏足够的区分度，可能无法有效聚类具有相同讽刺目标但在模态上不同的样本，例如具有相同文本但视觉内容不同的模因。在这种情况下，样本之间的深度语义相似性较低，使得检索相关示例变得困难。其次，用于利用检索到的特征的对比学习框架往往复杂且严重依赖于高质量的正面和负面样本对，而这在实践中往往难以获得。

为了解决这些限制，我们提出了CapSRA，这是一种高效的恶意模因检测语义检索框架。它可以无缝集成到现有的单样本检测器中，以提高其性能，而无需复杂的监督约束。我们的工作侧重于增强语义相关样本的检索并优化其特征的利用。我们首先使用预训练的大型多模态模型生成标题，这些标题与深度视觉-语义特征结合，以丰富上下文表示并指导语义相似样本的检索。为了利用检索到的信息，我们构建了一个动态图，并使用图注意力网络来聚合样本之间的信息线索。此外，引入了一种基于变分信息瓶颈理论的特征过滤模块，以消除噪声信号并提取与预测任务最相关的特征，从而实现更准确和稳健的检测。

总结来说，我们做出了以下贡献：

• •
  一种新的语义检索框架，提高了现有单样本恶意模因检测器的性能。
• •
  一种基于标题的检索策略，利用预训练的LMM生成标题，丰富语义上下文，从而实现更有效的特征聚合。
• •
  一种基于图的特征增强机制，从检索到的样本构建动态图，并使用图注意力网络捕获样本间的关系，结合变分信息瓶颈理论过滤掉无关信息，保留最具区分性的特征。
• •
  在三个公开可用的数据集上的全面实验验证了CapSRA在提高单样本检测器方面的有效性，并展示了其在各种恶意模因检测基准测试中的强大泛化能力。

本文的结构如下。第2节详细回顾了相关工作。第3节介绍了我们新颖的基于标题的特征检索增强方法，深入探讨了其架构和组成部分。第4节提供了全面的实验评估，包括与强大基线的比较、关键组件的消融研究以及检索和特征利用策略的详细分析。我们在第5节总结了这项工作并概述了潜在的未来研究方向。

部分片段

恶意模因检测

近年来，关于恶意模因检测进行了大量研究[10]。最初的尝试利用对象检测器（例如Faster R-CNN）从模因中提取显著的区域特征。然而，这些基于区域的方法通常会产生大量的计算成本，限制了它们的可扩展性。为了解决这个问题，后续研究转向了更高效和表现更好的视觉语言模型。其中，CLIP [5] 成为一个强大的支柱，在大规模数据上进行预训练

问题陈述和方法概述

我们将恶意模因检测视为一个多模态分类任务。给定一个模因$(T,I)$，其中$T$是嵌入文本，$I$是相关图像，目标是确定该模因是否具有恶意，用二进制标签$y\in \left(0,\; 1\right)$。为了克服传统单样本检测器的限制，我们提出了一个检索增强框架CapSRA，如图1所示。该框架通过利用跨样本上下文来丰富模因表示，使模型能够

数据集

我们在三个公开可用的恶意模因数据集上进行了实验：Facebook的Fine-Grained Hateful Memes (FHM) [3]、Harmful Memes (HarMeme) [33] 和 Multimedia Automatic Misogyny Identification (MAMI) [34]。为了排除检索和数据泄露，每个数据集的检索索引仅来自训练集。在评估期间，每个查询仅从训练索引中检索邻居，评估实例从未被索引。在训练期间，查询

结论

在这项工作中，我们提出了CapSRA，一个通用且即插即用的基于标题的恶意模因检测框架。我们首先使用预训练的LLM通过零样本提示生成高质量的图像标题，以提高检索样本的相关性。然后，我们构建了一个无向图，将查询与其检索到的邻居连接起来，并应用特征聚合和增强机制，结合图注意力和变分瓶颈正则化来提取

CRediT作者贡献声明

杨鹏飞：写作 – 审稿与编辑，撰写原始草稿，验证，概念化。杨浩宇：撰写原始草稿，可视化，软件，方法论，数据管理。李艺莉：调查。王勇：监督，资源管理，数据管理。吴金：项目管理。张坤鹏：资金获取。周帆：写作 – 审稿与编辑，资金获取。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：周帆报告获得了中国电子科技大学的财务支持。周帆与中国电子科技大学存在包括就业在内的关系。如果有其他作者，他们声明没有已知的财务利益或个人关系可能

致谢

这项工作得到了国家自然科学基金（批准号：62572097和62176043）、四川省自然科学基金（批准号：24NSFSC1771）和四川省自然科学基金（批准号：2026NSFSC0428）的支持。