《Knowledge-Based Systems》：LLM-based text plus emoji multiclass hate speech language detection for resource constrained devices
编辑推荐：
本研究提出一种结合语境化词插入（CWI）数据增强、TinyLLaMA轻量级模型和低秩适配（LoRA）的低资源设备仇恨言论多类检测方法。通过XLM-RoBERTa生成合成样本平衡数据集，TinyLLaMA适配资源受限设备，LoRA减少可训练参数，实验证明其性能优于传统模型。
Naveed Anjum|Zohaib Latif|Hongsong Chen
北京科技大学计算机科学与技术系，北京，100083，中国
摘要
在当代数字时代，社交媒体用户之间信息交流的迅速增加加剧了安全问题，包括仇恨言论。大多数现有研究忽略了数据集中的多类别不平衡问题，这阻碍了对不同类别仇恨言论的准确和无偏识别。此外，这些研究主要集中在机器学习、深度学习、变换器和大型语言模型（LLMs）等检测机制上，用于二分类任务，而这些方法需要大量的计算资源。本研究提出了一种基于上下文化词插入（CWI）的数据增强方案，使用预训练的XLM-RoBERTa掩码语言模型（MLM）来处理多类别不平衡的数据集，并应用TinyLLaMA模型对文本和基于表情符号的仇恨言论进行分类，以适应资源受限的设备。首先，通过XLM-RoBERTa对数据集进行数据增强，以增加少数类别的样本数量。其次，数据处理过程移除了空值、数值、URL、标签、标准化字符和文本，同时将表情符号转换为字符串。然后，在资源有限的设备上，使用紧凑型LLM（即TinyLLaMA）对增强后的数据集进行仇恨言论的分类。最后，在模型训练中应用了低秩适应（LoRA）技术，显著减少了可训练参数的数量，同时保持了性能，使其非常适合资源受限的环境。广泛的实验表明，我们的研究优于其他方法。
引言
在当代，包括YouTube、Facebook、Twitter和Instagram在内的社交媒体平台成为全球范围内传播观点、信息和个人经验的重要渠道[1]、[2]、[3]、[4]，这使得用户数据在大型网络环境中容易受到安全和隐私威胁[5]、[6]、[7]。在线社交媒体用户的数量正在迅速增长，预计到2028年底用户基数将达到约5.03亿[1]。然而，由于用户拥有较大的自主权，这些开放平台经常被恶意利用，用于发布攻击性和仇恨言论来贬低、诋毁和恐吓其他用户。尽管尚未有一个被普遍接受和正式定义的仇恨言论定义，但通常认为仇恨言论是基于个人属性（如种族、民族、性别、宗教和政治立场或残疾）对个人或群体的直接攻击[8]、[9]、[10]。在线交流中的仇恨言论（包括文本和表情符号）对社会和谐和数字安全构成了重大挑战。手动检测此类内容效率低下，需要基于机器学习（ML）、深度学习（DL）和基于变换器的模型的自动化方法。传统的ML技术依赖于词汇特征，而DL模型（如CNN和RNN）能够捕捉上下文模式。然而，基于变换器的架构（如BERT和RoBERTa）通过利用自注意力机制，在解释文本中的仇恨信号方面表现出了更好的性能[11]、[12]、[13]、[14]。
此外，大型语言模型（LLMs），如GPT和T5，在理解细微语言和解释非文本元素（如表情符号）方面取得了显著进展。这些模型通过跨多种数据集的广泛预训练，捕捉深层上下文关系、讽刺和情感变化，并通过仔细的微调和偏见缓解来确保公平性和可靠性[15]、[16]、[17]。然而，LLMs需要在保持准确性的同时优化以适应资源受限的硬件环境，这限制了它们在智能手机和边缘系统等设备上的应用。此外，现实世界的仇恨言论数据集通常存在严重的类别不平衡问题，仇恨内容仅占数据的一小部分，使得多类别分类变得困难且容易产生偏见。这些限制阻碍了在广泛使用的应用中进行可扩展的实时检测。解决计算效率和类别不平衡问题是开发包容性和实用的仇恨言论检测系统的关键。
Tiny LLMs相比大型LLMs具有显著优势，因为它们的计算需求较低，推理速度更快。它们较小的内存占用进一步增强了其在资源受限环境中的适用性。由于其紧凑的架构（例如11亿参数）和高效的推理能力，TinyLLaMA特别适合在资源有限的设备上进行仇恨言论检测，且不会显著降低性能[18]。此外，通过XLM-RoBERTa实现的上下文化词插入（CWI）等技术可以有效增强数据集中代表性不足的类别，生成合成但语义连贯的仇恨言论样本。
这种方法在保留文本和表情符号的语言及文化细微差别的同时，保持了类别平衡，从而提高了模型的性能[19]、[20]。此外，在模型训练过程中应用了低秩适应（LoRA），这是一种参数效率高的微调技术，它将小的可训练秩分解矩阵注入到预训练模型的注意力层中，显著减少了可训练参数的数量，同时保持了性能，使其非常适合资源受限和特定任务的适应[21]。研究文章中的具体研究问题和动机在表1中列出。据我们所知，很少有研究结合使用Tiny LLMs、基于CWI的数据增强和基于LoRA的微调来处理资源受限设备上的多类别仇恨言论检测问题。本研究旨在通过提出一个高效且平衡的框架来填补这一空白，以适应现实世界的资源受限环境。本研究的主要贡献包括：
- •
使用预训练的XLM-RoBERTa掩码语言模型（MLM）对不平衡的MMSH150K和Hate Speech Offensive Language（HSOL）数据集进行基于CWI的数据增强。
- •
为了克服计算资源限制，在MMSH150K数据集中创建了接近1:2的平衡增强数据，通过对每个较少采样的类别生成不同的增强样本来实现。在HSOL数据集中，通过增加多数类和少数类的数据达到了大约1:1的比例。
- •
数据预处理包括移除空值、URL、标签、数值信息和特殊字符，标准化文本和空间，并将表情符号转换为相应的字符串。
- •
使用紧凑型预训练LLM（即TinyLLaMA）在计算资源有限的设备上对增强后的多类别数据集进行仇恨言论分类。
- •
在模型训练中应用了低秩适应（LoRA）技术，通过peft_config和get_peft_model函数进行模型训练，这使得LoRA在有限的硬件上微调TinyLLaMA模型时表现出色。
- •
与基线变换器模型（BERT和RoBERTa）进行了比较评估，包括性能分析和计算资源利用情况，结果表明提出的TinyLLaMA+LoRA框架在资源受限的部署场景中实现了预测性能和计算效率之间的有效平衡。
剩余研究的路线图如下：第2节介绍文献综述。第3节介绍文章提出的方法论。第4节详细介绍了实施情况、结果和分析。最后，第5节总结了整个研究。
章节片段
文献综述
在本节中，我们回顾了基于文本和表情符号的多类别仇恨言论检测的相关文献。在[22]中，作者系统评估了最先进的LLMs（如Claude、GPT、Mistral和Qwen）在二分类和细粒度分类设置中检测去人性化内容的能力，且无需针对特定任务的训练。此外，研究还发现了模型在不同社会群体之间的行为差异，特别是在仇恨类型方面。
方法论
本节介绍了使用基于XLM-RoBERTa的模型对不平衡的英语语言进行多类别数据增强，以及通过TinyLLaMA模型进行仇恨言论检测的方法。所提出的框架包括四个步骤：数据集选择、基于LLM的数据增强、数据预处理和基于TinyLLaMA的文本分类（即训练和测试），如图1所示。
性能与评估
本节包括实验设计、指标、结果、讨论和比较分析。
结论
本研究提供了关于在资源有限的计算设备上使用LLMs进行不平衡的多类别英语语言（文本加表情符号）仇恨言论检测的深刻见解。基于CWI的数据增强技术通过（XLM-RoBERTa）应用于多类别不平衡的数据集，生成了语义相同但多样的句子。对于MMSH150K数据集，数据增强保持了1:2的样本比例（由于数据集严重不平衡）。同时，HSOL数据集
CRediT作者贡献声明
Naveed Anjum：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、资源管理、方法论、形式分析、数据整理、概念化。Zohaib Latif：撰写 – 审稿与编辑、可视化、验证、概念化。Hongsong Chen：撰写 – 审稿与编辑、验证、监督、资源管理、项目协调、资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
致谢
本项工作得到了国家语言委员会资助的关键语言研究领域领先项目（编号：LH24GR03）、中国国家语言委员会研究项目（编号：YB145-110）、北京市昌平区科学技术局副局长（编号：KW202404006021）、国家数据空间技术与系统重点实验室（编号：QZQC2026046）、上海数据科学重点实验室开放项目计划（编号：2025090600002）和数据与等机构的支持。
