《Array》:Multilingual multimodal cyberbullying detection through adaptive and hierarchical fusion
编辑推荐:
由于模因(meme)中图像与文本间存在讽刺、多语言使用及噪声等复杂交互,检测多模态内容(如meme)中的网络欺凌(cyberbullying)具有挑战性。研究人员提出一种多语言多模态网络欺凌检测框架,在统一架构中结合了早期融合(early fusion)、晚期
由于模因(meme)中图像与文本间存在讽刺、多语言使用及噪声等复杂交互,检测多模态内容(如meme)中的网络欺凌(cyberbullying)具有挑战性。研究人员提出一种多语言多模态网络欺凌检测框架,在统一架构中结合了早期融合(early fusion)、晚期融合(late fusion)与分层融合(hierarchical fusion)策略。该框架引入三个核心模块:用于迭代早期融合的自适应跨模态令牌整合(Adaptive Cross-Modal Token Integration, ACTI)模块;基于输入可靠性进行动态晚期融合的上下文自适应集成与不确定性感知门控(Context-Adaptive Ensemble with Uncertainty-Aware Gating, CAE-UAG)模块;以及将早期融合上下文反馈至后续单模态处理中以精炼预测的分层上下文融合网络(Hierarchical Contextual Fusion Network, HCFN)。该系统利用预训练视觉–语言模型(如用于图像的CLIP和用于文本的XLM-RoBERTa)学习细微的跨模态表征(如讽刺或图文反讽),并使用不确定性建模处理模糊或含噪输入。研究人员在两个基准数据集——英语Facebook Hateful Memes数据集和阿拉伯语ArMeme数据集上进行了评估。实验结果表明,该模型优于多个基线(包括单模态模型及强基准CLIP-based多模态模型),在不同语言上均取得较高准确率、F1分数和受试者工作特征曲线下面积(Area Under ROC Curve, AUROC)。值得注意的是,其在Hateful Memes数据集上达到最先进性能(F1=0.85,AUROC=0.88),超越先前融合方法。所提框架是迈向可泛化、具文化感知力且鲁棒的多模态网络欺凌检测的重要一步,适用于多样化社交媒体场景部署。
论文解读:《基于自适应与分层融合的多语言多模态网络欺凌检测方法》(Multilingual multimodal cyberbullying detection through adaptive and hierarchical fusion),发表于《Array》。
【研究背景与意义】
网络欺凌日益表现为图文结合的多模态形式(如meme),其冒犯性含义常源于图像与文本间复杂的讽刺或反讽交互,而非单一模态单独体现。已有研究表明单模态方法(仅文本或仅图像)在Facebook Hateful Memes等基准上F1仅为60%–65%,无法捕捉跨模态语义关系。现有多模态融合多局限于早期融合(输入级特征拼接,丢失单模态深层信息)或晚期融合(独立处理后合并预测,缺失特征级交互),混合方法缺乏跨处理阶段的分层整合机制;且多数方法假定各模态等可靠,未对低质图像、模糊OCR等噪声做不确定性建模与动态加权;此外,已有架构未在阿拉伯语等多语言及文化多样性数据上充分验证。为克服上述局限,研究人员提出了一种集早期迭代融合、中间分层反馈融合与晚期不确定性感知集成于一体的统一多语言多模态网络欺凌检测框架。
【主要关键技术方法】
研究人员采用XLM-RoBERTa(XLM-R,支持100+语言的预训练多语言文本编码器)编码英文、阿拉伯文及码混(code-mixed)文本,采用CLIP(ViT-B/32)图像编码器提取meme图像表征,并用OCR提取图中嵌入文本及其置信度作为可靠性信号。框架核心含三模块:(1)自适应跨模态令牌整合(Adaptive Cross-Modal Token Integration, ACTI):初始化若干可学习融合令牌(fusion tokens),通过L轮图文交叉注意力(cross-attention)迭代更新,实现深度早期融合;(2)分层上下文融合网络(Hierarchical Contextual Fusion Network, HCFN):将ACTI输出的粗粒度联合上下文向量反馈注入单模态编码器后续层,使全局融合上下文影响局部特征后再做深层融合;(3)上下文自适应集成与不确定性感知门控(Context-Adaptive Ensemble with Uncertainty-Aware Gating, CAE-UAG):以文本分支、图像分支及融合分支的预测概率—不确定性估计对(prediction-uncertainty pairs)及上下文特征(OCR置信度、图像质量评分、文本长度、语言/码混标志)为输入,经小型前馈网络学习各分支权重并做softmax归一化,动态加权融合最终预测。模型端到端训练,总损失为最终输出二分类交叉熵加各分支辅助损失(λ=0.2)。评估数据集为Facebook Hateful Memes(英文,10,000样本)和ArMeme(阿拉伯语meme,过滤后5,725样本,划分为训练4,007/验证584/测试1,134),并进行去除ACTI、去除CAE-UAG、去除HCFN的消融实验。
【研究结果】
- 5.
Results and discussion
在Hateful Memes数据集上,完整模型测试集F1-score达85.16%、AUROC达88.08%;在ArMeme数据集上测试集F1-score达82.63%、AUROC达85.76%,均显著优于单模态基线(Image-Region、Text BERT、mBERT、XLM-R、ResNet50、VGG16)及多模态基线(Late Fusion、VisualBERT、VisualBERT COCO、CNeXt+ArB+SVM)。
5.1. Ablation study analysis
移除ACTI导致性能降幅最大——Hateful Memes上F1降至78.44%(降6.72个百分点)、AUROC降至84.09%;ArMeme上F1降至77.11%(降5.52个百分点),说明迭代跨模态令牌级注意力对捕捉讽刺等细粒度图文交互至关重要。移除CAE-UAG后Hateful Memes F1=80.32%(降4.84个百分点)、ArMeme F1=79.06%(降3.57个百分点),混淆矩阵显示假阳性增加,验证了不确定性感知动态加权能抑制不可靠模态信号、提升噪声鲁棒性。移除HCFN后Hateful Memes F1=81.34%(降3.82个百分点)、ArMeme F1=79.41%(降3.22个百分点),表明分层上下文反馈能使单模态编码受益于全局融合信息,改善歧义消解。完整模型的混淆矩阵对角线元素最集中,分类错误最少。
5.2. Cross-dataset and multilingual generalization
验证集与测试集性能高度一致(Hateful Memes验证F1=84.84%、测试F1=85.16%;ArMeme验证F1=81.59%、测试F1=82.63%),说明模型学到可泛化的跨模态模式而非过拟合。XLM-RoBERTa共享语义空间与CLIP视觉编码器的组合使框架在英、阿语上均有良好表现,证实融合机制本身不依赖特定语言。
5.3. Comparative analysis with state-of-the-art
相较已发表最优结果,本框架在Hateful Memes上较VisualBERT COCO基线(F1=69.47%)提升约16个百分点;在ArMeme上较专门阿拉伯语基线CNeXt+ArB+SVM(F1=65.91%)提升约16.7个百分点,显示任务导向的分层融合架构创新可弥补大规模预训练多模态模型的不足。
5.4. Discussion
单模态与多模态性能差距确证meme欺凌检测须联合分析图文。ACTI、HCFN、CAE-UAG分别解决令牌级细粒度交互、分层迭代上下文精炼和噪声自适应加权,三者协同产生超越任一部件的增益。CAE-UAG引入OCR置信度与图像质量等上下文信号,使模型在实际部署中可随输入品质动态调权,维持判断可靠性。框架在多语言场景下的成功证明其具跨文化泛化潜力。
【讨论与结论翻译】
论文结论部分指出:研究人员提出了一个整合自适应跨模态令牌整合(ACTI)、分层上下文融合网络(HCFN)与上下文自适应集成及不确定性感知门控(CAE-UAG)的全面多模态融合框架,用于meme中的网络欺凌检测。该框架通过ACTI实现迭代早期融合、HCFN实现递归上下文反馈、CAE-UAG实现动态晚期融合,有效捕获讽刺与反讽等微妙图文交互并能适应不可靠输入,在Facebook Hateful Memes基准上取得F1=0.8516、AUROC=0.8808的最先进性能,在阿拉伯语ArMeme数据集上取得F1=0.8263、AUROC=0.8576的强劲表现。消融实验量化了各模块贡献——ACTI对Hateful Memes的F1提升最大(6.72个百分点),CAE-UAG与HCFN分别带来4.84和3.82个百分点的显著增益。模型在英、阿语数据集上验证–测试性能一致,具良好泛化性;通过XLM-RoBERTa集成并在双语言数据集上严格评估,弥补了既往研究忽视多语言维度的不足。研究表明多模态融合不必局限于早期与晚期二元选择,精心设计的早期+迭代分层+晚期融合组合可产生互补效益;决策级融合中的不确定性建模可模仿类人判断、按输入质量动态调权。该框架是推动AI智能理解并审核跨语言跨文化有害meme的重要进展。未来工作可考虑集成讽刺/反讽检测模块、引入文化参照知识库、增强可解释性、扩展至低资源语言及其他多模态滥用内容检测任务,并检验对抗鲁棒性与人群偏差缓解后再行实际部署。研究人员计划公开代码及Adapted ArMeme数据集划分以促进后续研究。