低资源语言仇恨言论检测共享任务的表现模式分析：来自HASOC多语言评估的启示

本文针对低资源语言仇恨言论检测的挑战，分析了HASOC共享任务在阿萨姆语、孟加拉语、博多语和英语四种语言上的系统表现。研究人员通过标准评估指标（精确度、召回率、准确率和宏观F1值）、科恩κ系数和弗莱斯κ系数的系统间一致性分析，以及基于错误率和置信差距的文本难度评估，揭示了低资源语言与高资源语言在分类性能上的复杂关系。研究发现，语言资源丰富度与分类性能并非简单线性相关，博多语（低资源）取得了最高宏F1值（0.85），而英语（高资源）为0.813。该研究为多语言仇恨检测提供了重要的数据集难度分析和系统可靠性评估框架。

　　

在数字化时代，社交媒体已成为表达观点的重要渠道，但同时也成为针对种族、种姓、性别、性取向和政治意识形态的仇恨言论温床。尽管自动仇恨言论检测研究日益受到关注，但现有工作仍主要集中于英语文本，这凸显了将研究扩展到资源匮乏语言的迫切性。为了弥补这一差距，HASOC（仇恨言论和冒犯性内容识别）共享任务自2019年起在信息检索评估论坛（FIRE）上持续推动多语言仇恨言论研究。

本研究系统分析了HASOC 2023和2024共享任务中四种语言（阿萨姆语、孟加拉语、博多语和英语）的评估结果。研究人员收集了来自Facebook和YouTube的评论数据，构建了二进制分类任务（仇恨/冒犯内容HOF vs. 非仇恨内容NOT），并邀请了多个团队提交机器学习系统进行测试。通过对标准评估指标（精确度、召回率、准确率和宏观F1评分）的综合分析，结合科恩κ系数（Cohen's κ）和弗莱斯κ系数（Fleiss' κ）的系统间一致性评估，以及基于错误率和置信差距的文本难度分析，深入探讨了低资源语言仇恨检测的挑战与进展。

研究采用了多种关键技术方法：首先基于Transformer架构的预训练模型（如BERT变体）进行文本表示学习；使用标准分类指标评估系统性能；通过科恩κ和弗莱斯κ统计量量化系统间一致性；创新性地提出基于错误率的文本难度评估公式（?p = (n-k)/n）和置信差距计算（|#HOF-#NOT|/T）来分析项目级难度；最后利用箱线图和热力图可视化展示数据分布和系统相似性。

在标准评估指标分析方面，研究显示博多语（低资源语言）出人意料地获得了最佳性能（宏F1值0.85），英语为0.813，阿萨姆语为0.7346，孟加拉语为0.7703。这一发现挑战了"资源丰富度直接决定性能"的传统认知。

文本实例难度分析揭示了更有趣的模式。通过错误率基础硬度计算，发现博多语的平均难度值最低（0.23），而英语最高（0.343），表明低资源语言不一定意味着更高的分类难度。置信差距分析进一步证实了这一发现，博多语的平均置信差距为0.64（最高），显示系统间对该语言的数据项具有最强的一致性。

系统间一致性评估通过科恩κ系数揭示了团队预测的相似性模式。 pairwise比较显示，不同团队对同一数据的分类存在显著差异，特别是在英语任务中，尽管英语资源丰富，但系统间一致性反而较低。弗莱斯κ系数分析表明，博多语获得了最高的整体一致性（κ=0.633），而英语仅为0.366，表明确实存在"资源丰富度与系统多样性"的正相关关系。

多数同意与真实标签对齐分析发现，在阿萨姆语任务中，1009个数据项中有757项被多数系统正确分类，252项被多数系统错误分类，错误率高达25%。这一发现强调了即使在系统一致性较高的情况下，集体决策仍可能偏离真实标签，特别是在具有高度主观性的仇恨言论检测任务中。

研究结论表明，低资源语言的仇恨言论检测性能受到数据集构建、标注质量和系统多样性的复杂影响，而非简单的资源可用性问题。语言模型的进步并不必然导致共享任务性能的持续提升，因为数据集本身的特性和标注质量起着决定性作用。该研究为多语言仇恨检测评估提供了重要方法论框架，强调需要更多关注数据集质量评估和系统可靠性分析，而不仅仅是追求更高的准确率指标。

讨论部分指出，尽管大型语言模型（LLM）在低资源语言上表现较差，但共享任务结果显示性能与资源丰富度之间不存在简单对应关系。这主要是由于数据集构建过程中的主观决策和采样偏差对最终性能的影响可能超过了技术本身的影响。研究人员建议社区需要持续投资于低资源语言的基础设施建设，同时加强对数据集质量的讨论和分析，推动更稳健和可靠的多语言仇恨检测系统发展。

该研究发表在《Pattern Recognition Letters》期刊，不仅为仇恨言论检测领域提供了宝贵的见解，也为文本分类任务的大规模实验分析建立了可借鉴的方法论框架，对推动自然语言处理领域的评估标准化和可靠性研究具有重要意义。