基于词汇表引导的表示学习，结合自注意力Transformer模型：提升低资源语言中的冒犯性语言检测能力

《Information Processing & Management》：Lexicon-guided representation learning with self-attentive transformer models: Enhancing offensive language detection in low-resourced languages

　　

•通过连接词汇先验与深度上下文嵌入，改善表示学习。
•提出一种轻量级的词汇引导自注意力机制用于冒犯性语言检测。
•增强对隐式和形态复杂冒犯性表达式的上下文建模。
•在土耳其语OffensEval基准数据集上达到最先进的性能。
•提供基于LIME的可解释性分析，以支持实际的内容审核应用。

## 引言

在线通信平台的指数级增长为全球互动带来了巨大机遇，但同时也助长了冒犯性、侮辱性和有害语言的传播。检测此类内容对于确保尊重、安全和包容的数字环境至关重要，尤其是在社交媒体环境中，用户生成的内容既海量又缺乏监管（Chen等，2012；Schmidt和Wiegand，2017；Vidgen等，2019）。因此，冒犯性语言检测已成为自然语言处理（NLP）中的核心任务，应用范围涵盖内容审核、仇恨言论检测、情感分析和网络欺凌预防等领域（Plaza-del Arco等，2021；Kang等，2026；Khetarpaul等，2021；Maste等，2025）。

近期研究表明，冒犯性语言检测需要超越通用方法，并适应上下文、语言和文化方面的细微差别。例如，关于厌女症检测的研究指出，通用的冒犯性内容检测往往无法捕捉针对女性的定向虐待，这促使研究人员开发针对特定子类型冒犯性言论的多模态和词汇增强框架（Rehman等，2025）。类似地，多维度语义表示方法被提出用于深入分析目标与语义之间的交互关系，并展示了优于现有先进模型的性能（Yang等，2025）。在更宏观的层面，综述强调多语言冒犯性语言检测面临独特的技术和文化挑战，尤其在低资源语言中（Mnassri等，2024）。为了提高准确性和可解释性，从大语言模型中蒸馏知识的概念瓶颈模型在透明仇恨言论识别中显示出前景（Labadie-Tamayo等，2026），而以人为本的方法则强调了冒犯性感知的主观性以及标注和建模中个性化需求的必要性（Kocoń等，2021）。重要的是，乌尔都语和僧伽罗语等低资源语言由于语料有限、形态复杂且资源匮乏而尤为具有挑战性，需要新的数据集和定制技术（Din等，2025；Ranasinghe等，2025）。对阿拉伯语的系统性综述（Alshahrani等，2025）、对中文的研究（Wang等，2026）以及代码转换冒犯性语言的分析（Canbay和B?lücü，2023；Zhou和Fu，2025）进一步表明，语言多样性和资源匮乏阻碍了可靠模型构建的进展。这些发现与我们的动机相呼应：通过将词汇引导的表示学习整合到Transformer模型中，解决土耳其语——一种低资源且形态复杂的语言——在冒犯性语言检测中面临的挑战。

尽管冒犯性语言检测取得了显著进展，但现有的大多数冒犯性语言检测系统主要针对高资源语言进行训练和优化，尤其是英语（B?lücü和Canbay，2021；Jiang和Zubiaga，2024；Pradhan等，2020）。相比之下，土耳其语等语言在NLP研究中仍然代表性不足，原因在于标注资源有限、词汇表稀疏以及语言结构的复杂性（Canbay和Ekinci，2023；??ltekin等，2023）。土耳其语是一种黏着语，以其丰富的形态变化、高度能产的构词后缀和在线话语中频繁使用非正式或方言表达为特征。这些语言特征对传统机器学习管道甚至现代深度学习模型都构成了重大挑战，因为这些模型通常难以在形态多样的词形上泛化，也难以检测嵌入在复杂句法结构中的隐式攻击性。

基于Transformer的模型，特别是双向Transformer编码器表示（BERT）架构的变体（Devlin等，2019），在各种NLP任务中展现了卓越的成功，包括冒犯性语言检测（Canbay，2024；Caselli等，2020）。这些模型利用自注意力机制有效捕捉令牌之间的上下文依赖关系，从而增强其处理句法和语义细微差别的能力。然而，这些多语言或单语言模型往往忽视语言特定的语言线索，尤其在冒犯性表达嵌入于形态复杂形式或以隐式方式传达的情况下。即使是强大的上下文模型，在缺乏适应性调整或未整合语言特定先验知识时，在低资源、形态复杂的语言中也可能表现出局限性。

本研究的目标是探索将专家精心构建的词汇先验直接整合到自注意力机制中，是否能够改善冒犯性语言检测，尤其针对隐式和形态复杂的表达，同时保持模型的简洁性和可解释性。为应对NLP、自然语言工程（NLE）和计算语言学中的挑战，我们提出了一种基于自注意力Transformer模型的词汇引导表示学习方法。冒犯性词汇表通过对社交媒体文本进行系统分析构建，由三位领域专家利用本地语言资源、法律监管文件和科学研究共同完成。只有经所有专家共同验证的冒犯性词汇才被纳入最终词汇表，以确保语言一致性和上下文可靠性。这些专家是土耳其语母语者，在自然语言处理和土耳其语语言学方面具有专业知识，对日常语言使用有深入了解，并持续参与社交媒体的语言演变和非正式表达。这些由专家提供的词汇表被用于直接指导Transformer模型——DistilBERT（蒸馏BERT）（Sanh等，2019）和XLM-RoBERTa（Conneau等，2020）——的自注意力机制。基于广泛的参数敏感性分析，对词汇匹配令牌的注意力分数进行五倍重加权被确定为最有效的设置，所有后续实验均采用此配置进行，以增强上下文表示并突出冒犯性指标。先前的研究通过特征工程、嵌入层修改或后处理技术将词汇表整合到NLP模型中（Khan等，2023）。相比之下，所提出的方法将词汇知识直接整合到注意力机制中，实现了语言先验与上下文表示之间更有效的交互。早期研究将词汇表作为输入特征（Pamungkas等，2023），应用事后过滤，或依赖集成级融合（Kucukkaya和Toraman，2025），而所提出的方法通过确定性地重加权注意力分数向词汇匹配令牌倾斜来直接干预Transformer模型的自注意力分布，且未引入额外可训练参数。这种设计允许我们在保持原始模型架构和参数量的情况下注入任务特定的语言先验知识，这在低资源设置中尤为有利。所提出的方法可被解释为引入了与语言先验一致的归纳偏置。通过向专家识别的令牌重加权注意力，模型被引导关注具有社会语言意义的模式，而无需增加架构复杂性。

除性能之外，还强调了通过LIME（局部可解释模型无关解释）（Ribeiro等，2016）实现的可解释性，这揭示了词汇引导的注意力如何在冒犯性案例中放大数据派生或隐式冒犯性特征，同时在非冒犯性上下文中降低对中性词汇的注意力权重。这为敏感的NLP应用提供了至关重要的透明度和可靠性。

本文做出以下四项主要贡献：

•**词汇引导的架构设计**：引入一种可插入的词汇引导注意力机制，可整合到现有Transformer模型中而不增加可训练参数。词汇表来自本地资源，并通过土耳其语母语专家的判断进行筛选，确保语言和文化的合理性。

•**融合语言先验的增强表示学习**：通过将专家精心构建的词汇先验显式注入自注意力机制，桥接语言知识与深度上下文建模，使表示对土耳其语社交媒体中常见的隐式和非正式冒犯性表达更加敏感。

•**具有敏感性分析的稳健实证验证**：使用紧凑型（DistilBERT）和稳健型（XLM-RoBERTa）Transformer变体在土耳其语冒犯性语言检测上达到最先进性能。通过全面的参数敏感性分析，证明了所提方法在不同词汇加权设置下具有稳定和一致的改进效果。

•**可解释性驱动的洞察**：利用基于LIME的解释，提供了定性证据，展示了词汇引导注意力如何重塑令牌级重要性，并增强了实际冒犯性语言检测场景中的可解释性。

本文其余部分组织如下：第2节介绍数据集和方法论。第3节报告实验结果和对比分析。第4节讨论基于LIME的可解释性。第5节进行讨论和局限性分析，第6节总结全文。

设 $D = \{(x_i, y_i)\}_{i=1}^{N}$ 为一个包含 $N$ 个土耳其语文本样本的数据集。其中 $x_i = (t_{i,1}, t_{i,2}, \ldots, t_{i,m_i})$ 是长度为 $m_i$ 的令牌化序列，$y_i \in \{0, 1\}$ 表示二元标签（0 = 非冒犯性，1 = 冒犯性）。

设 $L = \{l_1, l_2, \ldots, l_K\}$ 为一个包含 $K$ 个冒犯性词汇的精心构建的词汇表，其中包括形态变体。定义基于Transformer的编码器 $f_0$ 以产生上下文嵌入：
$$H_i = f_0(X_i) \in \mathbb{R}^{m_i \times d}$$

其中 $d$ 为隐藏维度。对于注意力头 $h$ 的标准自注意力权重为：
$$\alpha_{p,q}^{(h)} = \frac{\exp\left(\frac{Q_p^{(h)} \cdot K_q^{(h)}}{\sqrt{d_k}}\right)}{\sum_{q'=1}^{m_i} \exp\left(\frac{Q_p^{(h)} \cdot K_{q'}^{(h)}}{\sqrt{d_k}}\right)}$$

所提出的词汇引导重加权函数为：
$$\tilde{\alpha}_{p,q}^{(h)} = \begin{cases} \lambda \cdot \alpha_{p,q}^{(h)}, & \text{若 } t_{i,q} \in L \\ \alpha_{p,q}^{(h)}, & \text{其他情况} \end{cases}$$

其中 $\lambda > 1$（在本文中，基于参数敏感性分析结果设为5），增加了对词汇匹配令牌的注意力质量。调整后的权重进行归一化：
$$\hat{\alpha}_{p,q}^{(h)} = \frac{\tilde{\alpha}_{p,q}^{(h)}}{\sum_{q'=1}^{m_i} \tilde{\alpha}_{p,q'}^{(h)}}$$

最终分类头计算：
$$\hat{y}_i = \sigma(W \cdot [\text{CLS}](H_i) + b)$$

其中 $\sigma$ 为sigmoid函数。

从理论视角来看，所提出的词汇引导自注意力方法可以解释为将结构化语言先验整合到注意力计算过程中。通过确定性地对专家识别的冒犯性令牌进行注意力分数重加权，模型引入了反映冒犯性的社会语言学和语用学知识的归纳偏置。

与纯粹的数据驱动注意力机制不同，该方法利用从语言学专业知识中获得的领域知识来约束令牌重要性估计，包括非正式缩写和标准语料库未能捕捉的隐式冒犯性表达。这一设计与先前关于知识引导学习的理论工作相一致，其中外部先验在增加模型复杂性的同时引导表示学习。在冒犯性语言检测的背景下，由于语言冒犯性、社会规范以及某些情况下有害言论的法律定义之间存在重叠，这些先验知识尤为重要。因此，所提出的方法以统一且计算高效的方式桥接了语言学理论、社会语言学专业知识和神经注意力机制。

在OffensEval共享任务数据集（??ltekin，2020；Zampieri等，2020）的土耳其语子集上进行评估——这是低资源环境中冒犯性语言检测的广泛认可基准——该词汇信息架构大幅超越了非Transformer基线模型（如MLP、CNN、SVM、LSTM、BiLSTM、GRU，F1分数在0.66至0.72之间）以及原始Transformer模型（DistilBERT = 0.76；XLM-RoBERTa = 0.78）。所提出的词汇引导DistilBERT达到F1 = 0.85，词汇引导XLM-RoBERTa达到F1 = 0.87，在土耳其语冒犯性语言检测上确立了最先进性能。

与先前将词汇信息作为输入特征或外部信号的词汇感知方法相比，所提出的方法在注意力分布层面引入直接干预。这实现了对语言先验的确定性整合，而无需增加模型复杂性，使所提出的方法成为知识引导表示学习中一个轻量但有效的实例。这项基于工程的研究为形态复杂、低资源语言中的冒犯性内容检测提供了有效、透明且可推广的解决方案，并对内容审核和NLP公平性的更广泛应用具有重要意义。

## 片段：材料与方法

本节详细介绍所提出的方法，包括数据集和词汇表、模型架构以及训练策略。所提出的方法论由两个主要组成部分构成：（i）资源构建和预处理，（ii）词汇感知模型设计。

## 片段：结果与对比分析

本研究使用的数据集是国际竞赛数据集，以标准格式呈现为训练集和测试集。因此，在本研究范围内未进行额外的数据划分。生成的模型，包括词汇引导DistilBERT和词汇引导XLM-RoBERTa，均在现有训练集上进行微调，并使用测试集进行模型评估。采用AdamW优化器（学习率 = 2×10??）、交叉熵损失函数、批量大小为32。

## 片段：基于LIME的可解释性分析

为了进一步解释和验证表现最佳的模型——词汇引导XLM-RoBERTa——的预测结果，应用了LIME（局部可解释模型无关解释）（Ribeiro等，2016）。LIME是一种被广泛采用的模型无关方法，用于生成可解释的、局部忠实的个体预测解释。该方法通过对输入文本进行扰动，观察模型输出变化，并构建局部替代模型来识别影响最大的特征（令牌或短语）。

## 片段：与先前工作的比较

近期关于冒犯性语言检测的研究采用了不同的方法、语言和数据集（Aklouche等，2024；Pookpanich和Siriborvornratanakul，2024；Sreelakshmi等，2024）。这些研究与所提出的方法在语言族、数据集特征和方法论重点方面存在差异，包括集成学习、代价敏感学习和领域特定建模。与主要将词汇知识作为输入特征整合的先前词汇感知方法不同——

## 结论

本研究提出了一种新颖的土耳其语冒犯性语言检测方法，通过将词汇引导整合到自注意力Transformer架构中，即词汇引导DistilBERT和词汇引导XLM-RoBERTa。所提出的方法通过对词汇匹配令牌进行重加权来增强注意力机制，其中词汇权重基于全面的参数敏感性分析选定。

该设计相较于传统机器取得了显著改进。

科学写作中生成式人工智能的声明

在准备本文期间，作者使用了 DeepL 进行语言编辑。使用该工具后，作者对内容进行了审查和必要的编辑，并对已发表文章的内容承担全部责任。

资金声明

本研究未获得公共、商业或非营利部门资助机构的任何特定资助。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文所报告的工作。

致谢

作者想感谢研究生奥贡·阿塔莱在技术实施以及本研究中使用的视觉材料的准备和完善方面提供的宝贵协助。

佩林·坎巴伊