X-MCB-Net：一种基于Swin Transformer的可解释多模态网络欺凌检测网络

《Information Processing & Management》：X-MCB-Net: Explainable multimodal Cyberbullying Detection Network using Swin Transformer

　　

X-MCB-Net通过注意力机制融合Swin Transformer、XLM-RoBERTa和BiGRU特征。动态跨模态注意力对模态进行加权，以捕捉隐性的欺凌线索。在MCDD数据集上取得98.8%的准确率和96.6%的F1值，优于所有基线模型。SHAP和LRP提供token级和像素级解释，实现可问责的内容审核。错误与复杂度分析评估了在线安全部署的可行性。

引言

社交媒体平台已成为现代通讯的核心，提供全球互联、信息交换和社会参与的机会（Mahat, 2021）。然而，其日益广泛的应用也带来了显著的社会风险，其中最突出的是网络欺凌（Hase等人, 2015）。网络欺凌是指故意使用数字技术在线上骚扰、威胁或伤害个体的行为（Aisya, 2024）。与传统欺凌仅限于身体或言语互动不同，网络欺凌在数字空间中持续运作，可发生于任何时间，从而放大了其心理影响（Campbell, 2012）。网络欺凌受害者常经历焦虑、抑郁，严重情况下甚至产生自杀念头，这凸显了对有效且可扩展检测机制的迫切需求（Menini等人, 2019）。

早期检测系统主要依赖基于传统自然语言处理（NLP）技术的文本分析，如支持向量机（SVM）、逻辑回归和长短期记忆（LSTM）网络（Mahmud等人, 2022）。尽管这些模型在分析书面内容方面取得了可喜成果，但它们未能捕捉网络欺凌日益显著的多模态特征——网络欺凌往往涉及图像、表情包和短文本的交互作用。随着Instagram、TikTok和Facebook等视觉丰富平台的兴起，图文组合被广泛用于传达隐性骚扰线索。因此，准确检测需要能够同时理解语言模态和视觉模态的高级框架（Hee等人, 2018）。

现有的多模态检测模型在这方面已取得进展，但仍存在若干局限。首先，许多研究仅关注欺凌与非欺凌内容的二分类，忽略了情感基调、讽刺和有害性等次级属性——这些属性往往在跨模态语境中隐性编码，而非被显式建模为独立预测任务（Alasadi等人, 2020；Singh等人, 2017；Suhas Bharadwaj等人, 2022）。其次，这些系统往往充当"黑箱"，无法提供其预测背后的推理依据，从而引发关于自动化内容审核中偏见与问责问题的担忧（Liu等人, 2025）。随着社交媒体治理日益依赖人工智能（AI），模型可解释性与透明度已成为建立用户信任及伦理化部署AI模型的关键要素。

从理论视角看，网络欺凌区别于一般的辱骂性或冒犯性语言，其三个界定标准承袭自经典欺凌研究并适应于数字环境：有害意图、实际或隐含的重复性（在线通过内容的持久性、转发和永久可见性得以放大），以及欺凌者与受害者之间的权力不对等（Olweus & Limber, 2018）。因此，仅存在辱骂性语言是必要但不充分的信号：若无目标或意图，一句脏话可能仅构成不文明行为而非欺凌；反之，一条表面礼貌的信息配以贬低性图片则可能构成严重欺凌。这一区分已在辱骂性语言类型学中得到形式化，将定向与泛化、显性与隐性滥用区分开来（Waseem等人, 2017）。计算检测方法随之演进：系统综述记录了从基于词典和特征工程的分类器，到循环和卷积神经网络模型，再到基于Transformer的上下文编码器的演进过程（Rosa等人, 2019；Salawu等人, 2020）。这些综述还共同指出先前的固有弱点，即仅将网络欺凌操作化为冒犯性语言检测而未建模意图或重复性、严重依赖小型或不可复现的数据集、对隐性及图像介导的滥用处理不佳，以及最终分类器可解释性有限（Emmery等人, 2021；Rosa等人, 2019）。本研究将网络欺凌概念化为文本与视觉联合现象，有害意图可由任一模态承载或仅在两者结合时显现，并通过语境敏感的多模态编码、自适应跨模态融合及系统评估的解释来应对上述弱点。我们亦澄清可解释性在本研究中的角色：XAI用于模型可解释性与决策透明性，即揭示哪些token、图像区域及模态驱动每一次具体预测，使人工审核员能够审计、质疑和纠正自动化决策。XAI不作为特征选择或特征再确认机制使用，且无解释输出反馈至模型训练。

为应对这些挑战，本研究提出可解释多模态网络欺凌检测网络（X-MCB-Net），一种整合视觉与文本处理流水线的高级深度学习架构。该模型采用Swin Transformer进行层次化图像特征提取，并使用XLM-RoBERTa结合双向门控循环单元（BiGRU）进行上下文文本理解。动态跨模态注意力机制融合两种模态，以识别仅在图文联合分析时显现的微妙且依赖语境的冒犯线索。此外，该模型集成了可解释人工智能（XAI）技术，以高亮显示对分类结果贡献的关键视觉区域和文本token，从而确保透明度与可解释性。从信息管理视角看，本研究直接回应了社会技术系统中审核问责、内容治理和算法透明度等挑战（Balakrishnan等人, 2020；Lu等人, 2020）。本研究并非仅将X-MCB-Net定位为工程基准，而是主张自适应跨模态融合与系统化可解释性的结合满足了社交媒体平台可解释的人机协同审核基础设施的实际需求。

情感基调、讽刺和有害性不作为显式辅助分类器建模；相反，这些线索通过文本-图像编码和基于注意力的融合层学习到的联合多模态上下文表示被隐性捕捉。该设计避免了推理时对辅助标签的依赖，同时仍使模型能够反映嵌入在图文交互中的语用和情感信号。

本研究追求五个目标：(i) 设计一个联合分析视觉和文本数据的新可解释多模态框架；(ii) 通过上下文表示学习隐性捕捉情感基调、讽刺和有害意图；(iii) 开发动态跨模态注意力以实现自适应模态加权；(iv) 通过XAI归因确保透明度；(v) 在MCDD上与强基线模型进行基准对比，使用准确率、F1和AUC-ROC进行评估。

本研究的主要贡献如下：

- 我们提出X-MCB-Net，将Swin Transformer用于层次化视觉编码，将XLM-RoBERTa + BiGRU用于上下文文本建模，在统一检测目标下进行整合。
- 我们引入动态跨模态注意力融合机制，根据语境相关性自适应地加权视觉和文本模态。
- 我们整合系统化可解释性分析，使用注意力可视化和基于SHAP的梯度归因来高亮显示有影响力的图像区域和文本token。
- 我们在受控实验条件下与经典基线模型及大型视觉-语言模型进行综合评估。
- 我们进行面向部署的分析，涵盖模型复杂度、错误模式和治理考量，推动内容审核领域的信息管理研究。

X-MCB-Net的方法论贡献源于三项原则性设计决策的联合集成：(i) XLM-RoBERTa与BiGRU的串联架构，其中BiGRU消费XLM-RoBERTa的完整token级上下文嵌入，以捕捉自注意力不直接建模的顺序升级模式；(ii) 动态跨模态注意力机制在模态级别而非token级别计算实例条件能量得分，生成确定每种模态逐输入贡献的自适应权重；(iii) 联合设计的可解释性层，其中注意力权重、逐层相关性传播（LRP）相关性图和SHAP归因可在token级和像素级联合检查，支持可审计的审核决策，而非作为事后可视化组件。据我们所知，这一设计选择的组合尚未在先前多模态网络欺凌检测文献中报道。这些贡献共同支持审核问责、自动化决策中的透明度以及在线安全系统中的信息质量保证。通过将先进深度学习技术与透明推理相结合，本研究呈现了一种可扩展且可解释的方法，用于负责任的AI驱动内容审核。

文献综述片段

网络欺凌检测已从早期的纯文本分类器发展到联合处理语言和图像的多模态架构（Lu等人, 2020；Paul和Saha, 2022；Zhao等人, 2016）。使用BERT、RoBERTa和XLM-RoBERTa的文本模型能够捕捉强大的语义上下文，但在处理讽刺、反讽和图像嵌入文本时仍有困难（Xingyi & Adnan, 2024）。视觉模型如VGG16和DenseNet201擅长特征提取，但常遗漏上下文图像-文本线索（Arshed等人……

方法论

本节描述开发X-MCB-Net模型以检测多模态网络欺凌的方法。该模型结合深度学习技术处理图像和文本数据。方法论包括数据收集、预处理、模型架构、训练和评估。集成XAI技术以确保决策透明性。以下子节描述方法论，从数据预处理开始，随后是模型架构，以及……

实验结果与分析

本节对X-MCB-Net进行综合评估，与已建立基线模型进行对比，包含详细的消融研究以及情感、情绪和目标群体分析。所有结果均针对MCDD，不应外推为普遍可泛化结果。如图4所示，X-MCB-Net表现出强大的性能，准确率达到98.8%，在该基准的多个评估指标上一致优于所有已评估基线方法。训练……

讨论与意义

按照期刊要求，本独立章节整合结果讨论及其意义。首先综合主要发现，随后阐述理论与实践意义，明确区分本研究与现有工作的差异，最后以局限性与未来方向收尾。实验评估确认X-MCB-Net在所有方面显著优于现有多模态网络欺凌检测模型……

结论

X-MCB-Net代表多模态网络欺凌检测的显著进步，通过稳健的基于注意力的视觉和文本数据融合实现98.80%的准确率。该模型有效结合Swin Transformer进行图像特征提取和XLM-RoBERTa进行上下文文本理解，从而克服单模态检测方法的局限性。通过整合情感基调、目标分布和行为模式，X-MCB-Net在检测a方面表现出色……

CRediT作者贡献声明

Azhar Imran：撰写原稿、验证、方法论、数据管理、概念化。
Jianqiang Li：撰写-审阅与编辑、监督、资源、调查、形式分析。

生成式AI及AI辅助技术在写作过程中的声明

在准备本文期间，作者使用生成式人工智能（AI）工具协助语言润色、语法纠正和可读性改进。作者对所有AI辅助内容进行了批判性审阅、编辑和核实，并对最终手稿的准确性、原创性和完整性承担全部责任。

Azhar Imran | Jianqiang Li