《Frontiers in Artificial Intelligence》：From co-creation to technical bias detection methods: an interdisciplinary showcase from the BIAS project
编辑推荐：
社会刻板印象经常在机器学习模型和语言资源（如词嵌入（word embeddings））中反映，并可能被其强化。尽管已经提出了各种基准和偏见检测方法，但大多数只关注英语。当应用于其他语言时，这些方法通常依赖于英语资源的直接翻译，忽略了语言和文化的细微差异。本文中
社会刻板印象经常在机器学习模型和语言资源（如词嵌入（word embeddings））中反映，并可能被其强化。尽管已经提出了各种基准和偏见检测方法，但大多数只关注英语。当应用于其他语言时，这些方法通常依赖于英语资源的直接翻译，忽略了语言和文化的细微差异。本文中，研究人员引入了BIAS-WEAT和BIAS-SEAT两种新指标，旨在检测荷兰语、德语、冰岛语、意大利语、挪威语和土耳其语的词嵌入和语言模型（language models）中的偏见。研究人员利用通过招聘情境下与母语人士共同创造工作坊识别的真实世界偏见，将这些见解转化为适用于通用语言资源的技术评估指标。这项跨学科研究展示了语言模型如何嵌入和再现特定于其语言和地理背景的偏见，强调了在偏见检测中需要文化基础的方法。
### 研究背景、问题与动机
当前，机器学习模型在训练时容易吸收和放大社会不平等现象，尤其倾向于西方英语语境，而对低资源语言的可靠性较低。尽管已有多种偏见检测基准和方法，但绝大多数仅针对英语开发，当被扩展到其他语言时，往往直接翻译英语资源，忽视了语言和文化特异性。这种英语中心取向限制了模型的全球适用性，强化了来自非代表性训练源的刻板印象，并在招聘等复杂决策领域难以进行有效评估。因此，迫切需要系统研究多样化语言和社会文化背景下的偏见，以提升模型的公平性和跨文化适用性。本研究源自欧盟 Horizon Europe 项目 BIAS，旨在通过跨学科合作，从真实世界歧视表现出发，开发能反映本地文化语境的多语言偏见检测方法。
### 研究内容、结论与意义
研究人员通过共同创造工作坊，在荷兰语、德语、冰岛语、意大利语、挪威语和土耳其语等语言中识别出与招聘相关的具体偏见，并基于此创建了两种新颖的偏见检测指标——BIAS-WEAT（作用于静态词嵌入）和BIAS-SEAT（作用于上下文词嵌入）。实验表明，语言模型确实嵌入并再现了特定语言和地理环境下的偏见，且不同语言和模型间存在显著差异，证实了文化基础方法在偏见检测中的必要性。该论文发表在《Frontiers in Artificial Intelligence》上，为多语言公平性研究提供了可扩展的框架。
### 关键技术方法（不超过250字）
研究人员采用了两种主要技术路径：第一，基于共同创造工作坊生成词汇数据。工作坊于2023年6-7月在爱沙尼亚、冰岛、意大利、荷兰、挪威、瑞士和土耳其七国举办，共144名参与者（包括HR人员、工人、非政府组织代表和AI专家），通过模拟招聘场景和角色扮演，收集了389个与偏见相关的词汇和句子，并分类为积极偏见、消极偏见、情境依赖和争议性等类别。第二，构建BIAS-WEAT和BIAS-SEAT指标。前者基于WEAT（词嵌入关联测试）结构，从工作坊讨论中提取目标词和属性词；后者基于SEAT（句子嵌入关联测试）结构，开发句子模板，并通过两种自动化方法生成：一是使用NLP库（如Spacy）的编程方式（应用于冰岛语、意大利语、挪威语），二是利用GPT-4o的提示方式（应用于荷兰语、德语、土耳其语）。所有词表均经母语者验证。样本队列来源于前述七个国家的工作坊参与者。
### 研究结果
#### 3.1.1 德语
研究人员对德语fasttext词嵌入和两个BERT模型（google-bert/bert-base-german-cased和dbmdz/bert-base-german-cased）进行了测试。通过BIAS-WEAT和BIAS-SEAT，新创建的CW1（家庭/生产力）、CW2（生产力/年龄）、CW4（男性/女性爱好）、CW5（性别/生产力）均检测到统计显著偏见；CW3（社会归属/文化身份）在所有模型中未显著。同时，从现有基准翻译的GER1和GER2在静态和上下文模型中也一致显著。
#### 3.1.2 荷兰语
针对荷兰语，研究人员测试了fasttext嵌入和两个BERT模型（BERTje和RobBERT）。新创建的CW1_NL（残疾/生产力）和CW2_NL（LGBTQIA+/心理稳定性）在fasttext未显著，但在BERTje中CW1_NL显著（CW2_NL反刻板显著）。翻译的GER1_NL在fasttext和BERTje中显著，而GER2_NL仅在RobBERT中显著。
#### 3.1.3 挪威语
挪威语实验涉及fasttext和三个BERT模型（norbert3-base、nb-bert-base、twhin-bert-base）。新创建的NO1-NO7中，NO1_v2（起源/情感）、NO2（宗教/成功）、NO3（宗教/情感）、NO5（性别/职业）、NO6（家庭/职业）、NO7（起源/销售能力）在fasttext中显著。在上下文模型中，NO6（家庭/职业）在所有三个模型中均显著；NO3（宗教/情感）在norbert3和nb-bert中显著；GER1（性别/研究）在norbert3和nb-bert中显著，但twhin-bert表现反刻板。
#### 3.1.4 冰岛语
冰岛语测试了fasttext和IceBERT模型。新创建的IS1（起源/情感）、IS2（起源/技术-名字）、IS4（外貌/成功）在静态嵌入中显著；IS3（起源/技术-国家）、IS5-IS8未显著。在IceBERT中，IS3（国家与技术）和IS4（外貌与成功）显著，IS8_v2（性取向/情感）显著（反刻板）。翻译的GER1在fasttext中显著但v2不显著，WEAT6在fasttext中显著。
#### 3.1.5 土耳其语
土耳其语测试了fasttext和dbmdz/bert-base-turkish-cased。新创建的TR1（生产力/家庭）和TR3（性别/情感）在静态嵌入中显著；TR2（生产力/爱好）未显著。在上下文模型中，仅TR3显著。翻译的GER1和WEAT6、WEAT7在fasttext中均显著。
### 总结讨论与结论
讨论部分指出，偏见并非普遍或纯技术缺陷，而是一种社会技术现象，反映本地规范、权力关系和历史不平等。跨语言和跨模型的结果揭示了偏见存在与强度的高度变异性：一些维度（如生产力与家庭状态）在多种语言中一致出现，而其他从共同创造中识别的偏见则表现出弱或不一致的统计显著性。这表明通用语言模型可能未强力编码所有本地特定偏见。研究还强调，翻译测试常检测到深层固化偏见，而共同创造测试更关注情境敏感偏见，其混合结果恰恰验证了文化基础方法的社会关联性。局限性方面，低资源语言的词汇覆盖不足、选择偏差（依赖于工作坊动态）以及基于WEAT/SEAT方法的固有盲点均被提及。研究结论为：语言模型嵌入并再现特定语言和地理背景的偏见，因此偏见检测必须采用文化基础的方法，且应被视为一种既是技术又是社会嵌入的实践。
