针对语言敏感性和危害意识的多语言仇恨言论检测的少样本学习与增强校准技术（FLEC-HS）

《Scientific Reports》：Few-shot learning with enhanced calibration for language- and harm-aware multilingual hate speech detection (FLEC-HS)

　　

摘要

在资源匮乏的环境中，多语言仇恨言论检测仍然具有挑战性，尤其是对于针对特定身份群体且依赖上下文的内容，因为带有标签的数据非常有限。我们提出了一种名为“增强校准的多语言仇恨言论检测的少样本学习方法”（FLEC-HS）。该模块化框架结合了少样本提示技术、预训练的GPT-4o模型以及轻量级的特征条件校准层（FCL），用于事后进行概率校准。主要评估数据来源于HateDay（包含大约16万条跨八种语言的帖子），而HateCheck和HateXplain则提供了互补的功能性和跨数据集诊断工具。“少样本”这一术语特指提示阶段，该阶段每种语言最多使用K=16个示例进行训练。整个系统还使用了每种语言约400条带有标签的训练样本来训练FCL并确定操作阈值。这些阈值通过五折交叉验证在训练数据上确定，并在测试评估前固定下来。在HateDay数据集上，FLEC-HS的宏观F1分数为0.64，而完全微调的XLM-R-large模型的F1分数仅为0.56。当操作阈值要求仇恨类别的准确率至少达到95%时，仇恨言论的召回率从0.48提升至0.61。与完全微调的XLM-R-large基线（48%的帖子需要人工审核比例）相比，FLEC-HS在评估的熵路由策略下将需要人工审核的帖子比例降低到了28%。如果移除FCL，宏F1分数会降至0.59，同时受保护群体的假阴性率会从5.1%上升到10.4%。受保护群体的公平性是通过数据集元数据中的假阴性率来衡量的；该方法并未提供更广泛的公平性保证。这些发现仅限于所评估的基准测试和配置，并且可能受到领域变化、商业API依赖性以及方言和受保护群体覆盖范围不完整等因素的影响。