面向社交媒体的英语-挪威语仇恨言论检测:融合伦理、公平性与可解释性的多任务学习框架

《Machine Learning and Knowledge Extraction》:Ethical and Socially Aware English–Norwegian Hate Speech Detection: A Systematic Design Framework

【字体: 大 中 小 】 时间:2026年09月22日 来源:Machine Learning and Knowledge Extraction 8.4

编辑推荐:

   摘要

  

摘要

社交媒体的快速增长加剧了基于种族、性别、宗教和性取向针对个人的仇恨言论传播,由此带来了重大的技术、社会和伦理挑战。为此,我们提出了一套综合性的英语–挪威语框架,将多分类、多标签和多任务学习统一用于仇恨言论检测,同时嵌入公平性、透明度和可问责性。该框架包含六个阶段,包括伦理系统设计和英语–挪威语数据采集。该框架包括六个阶段,涵盖伦理系统设计、英语–挪威语数据收集、偏差分析与缓解、可解释人工智能以及利益相关者验证。研究团队基于公开社交媒体帖子构建了一个包含14,000条实例的英语–挪威语数据集,并通过人在回路与模型辅助标注的方式,加入了身份特定属性(宗教、种族、性别和性取向)。建模方法采用多标签二分类微调,用于检测可能具有仇恨性、冒犯性、攻击性和中性的内容,同时采用多任务学习来处理互斥的人口统计属性。为推广伦理人工智能,通过同义词增强、基于身份的条件标签对比增强以及平衡损失重新加权来解决与身份相关的预测敏感性。透明度通过使用LIME对模型决策提供词元级解释来确保。在合并的留出评估划分中,NorBERT-small在毒性分类中达到了0.92的宏F1分数和0.94的多标签子集准确率。按语言分层的分析进一步显示,仅英语文本的宏F1分数为0.92,仅挪威语文本的宏F1分数为0.89,英语–挪威语混用文本的宏F1分数为0.87,从而对不同语言条件下的表现进行了更细致的评估;此外,社交属性提取的综合F1分数也较高。然而,这些综合结果应谨慎解读,因为若干社交属性类别的样本表示稀疏。与基线模型相比,缓解阶段降低了对许多评估的身份替换的预测敏感性,尽管某些身份对之间仍存在残余差异。传统参考基线包括机器学习(ML)和深度学习(DL)模型。由于评估的模型系列采用不同的架构和特定任务的训练程序,跨系列结果以描述性方式解读,而非作为任何特定模型系列固有优越性的证据。所报告的发现仅限于评估语料库;未评估跨平台、跨领域和外部数据集的泛化能力,因此也不对此做出声明。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号