CHARM：基于跨模态层次注意力的恶意网络模因识别框架及其在内容安全中的应用

《Neurocomputing》：CHARM: Cross-modal hierarchical attention for recognizing malicious memes

本综述提出CHARM（跨模态层次注意力）框架，通过分层通道空间注意力（HCSA）实现从局部细节到全局语义的渐进式视觉特征优化，结合跨模态引导（CMG）机制动态解析视觉-文本语义冲突。该模型在PrideMM、HarMeme和MAMI数据集上分别达到84.24%、91.17%和85.84%的AUC值，仅需640万参数即可有效识别传统方法难以检测的隐含有害内容（如反讽、文化指涉等），为多模态内容安全治理提供新范式。

　　

亮点

CHARM框架通过分层注意力机制在多模态模因分析领域实现突破性进展。其核心创新点包括：分层通道空间注意力（HCSA）通过局部通道交互（LCI）、全局通道重校准（GCR）和基于能量的空间优化（ESR）的三级联调，构建从微观特征到宏观语义的完整处理流水线；跨模态引导（CMG）机制采用双向动态门控，专门针对模因中常见的语义倒置现象（如用正能量图像搭配反讽文本）设计。

多模态模因分析

模因分析方法的演进经历了从单模态孤立分析到多模态协同检测的范式转移。早期基于单模态的方法由于忽视视觉-文本的协同攻击特性而效果有限，直到Hateful Memes挑战赛实证表明：仅靠顶尖的视觉或语言模型均无法可靠识别通过多模态交互产生的隐含有害内容。

初步工作

问题建模：给定包含视觉和文本组件的模因，目标是通过映射函数$$将其分类至预定义类别（如有害/良性、立场分类等）。该框架支持从二分类到多分类的现实内容审核场景。

数据集

我们在三个多模态模因基准数据集上评估CHARM：PrideMM（5063个LGBTQ+相关文本嵌入图像，含仇恨言论检测、目标分类等四类任务）、HarMeme（针对社会事件的二元有害性分类）和MAMI（细粒度恶意模因识别）。所有数据集均包含文化语境和隐式攻击样本。

PrideMM数据集结果

如表2所示，CHARM在PrideMM所有四项任务中均表现卓越。单模态基线方法（如BERT文本编码器）由于无法捕捉模态间对抗性关系而性能受限，凸显了多模态交互建模的必要性。

讨论与未来工作

实验表明CHARM通过分层设计实现持续改进：HCSA模块通过LCI→GCR→ESR的渐进优化捕获多尺度特征，CMG则实现精细的双向跨模态交互。该框架在判别能力（AUC评分）上的优势尤其突出，这对内容审核应用中的置信度校准至关重要。未来工作将探索更复杂的文化语义嵌入和动态对抗训练策略。

结论

本研究提出的CHARM框架通过分层注意力机制推进了有害模因检测技术。HCSA实现从局部细节到全局结构的渐进特征优化，CMG支持复杂的双向信息交换。在三个基准数据集上的实验证明其竞争优势，在PrideMM、HarMeme和MAMI上分别达到84.24%、91.17%和85.84%的AUC值，为现实场景的内容审核系统提供高效解决方案。