通过对比反思进行自动提示去偏以增强大型语言模型的公平性

《Artificial Intelligence》：Automatic Prompt Debiasing via Contrastive Reflection for Fairness Enhancement in Large Language Models

　　

## 摘要

随着大型语言模型（LLMs）的快速发展，其输出中潜在的社会偏见问题日益受到关注。现有的大多数方法依赖于手动提示工程来缓解LLMs中的社会偏见。然而，手动设计的任务提示成本高昂，且严重依赖专家知识。更重要的是，固定的提示模板难以适应多样化的去偏场景，限制了灵活性和可扩展性。为此，本文提出了一种基于自动提示工程的自去偏框架——对比反思驱动的自动提示去偏（APD），使LLMs能够自主提升其公平性。具体而言，我们将一个LLM作为提示优化器，利用其强大的推理和生成能力，自动生成能够减少刻板输出的提示。此外，我们设计了一种对比反思机制，使LLMs与公平性目标对齐，让它们通过对示例组中公平特征与偏见特征的对比来优化提示，从而增强提示优化效果。在两个基准数据集上对14个LLMs的实验涵盖了9种单一偏见和2种交叉偏见，结果表明APD在各种场景下均具有卓越的去偏效果，并能够将多个LLMs的原始偏见降低至可忽略不计的水平。此外，跨多个维度的泛化实验验证了APD出色的可扩展性。

## 引言

大型语言模型（LLMs）[1]、[2]展现了前所未有的能力，因此被广泛应用于各种实际场景中 [3]、[4]。大量研究表明，在大规模网络数据上训练的LLMs往往会内化数据中存在的社会偏见，并生成类似人类的刻板回复 [5]、[6]、[7]。在现实场景中部署具有社会偏见的LLMs可能会阻碍社会公平，并导致不可预见的负面后果 [8]、[9]、[10]。例如，表现出性别或种族偏见的LLMs可能会在招聘辅助、法律问答或医疗咨询等高风险领域产生歧视性输出，例如偏袒男性候选人、强化有害刻板印象，或忽视少数群体中常见的症状，从而加剧社会不平等 [11]。因此，有效缓解LLMs中的社会偏见已成为数据挖掘领域一个关键且紧迫的问题，尤其是在确保模型驱动的洞察和决策在实际应用中公平、可问责且符合社会责任方面。

由于参数规模庞大且为半开源性质，微调LLMs或获取模型输出的概率分布通常被认为是一种效率较低的去偏策略。近期的一些工作尝试采用手动提示工程 [12]、[13] 来为LLMs去偏，其目标是设计能够减少偏见回复的提示。Oba等人 [14] 通过构建包含人类设计模板和现实世界统计信息所推导的反事实语句的文本前缀，来缓解LLMs中潜在刻板印象。一些研究表明，通过思维链（CoT）[15]、[16] 或双重过程理论 [17]、[18] 增强LLMs的推理能力，也可以间接提升其预测的公平性。Kamruzzaman和Kim [17] 还通过为模型分配特定角色，使LLMs模拟人类认知过程，从而减少其输出中的刻板印象。

尽管这些方法取得了一定成效，但仍存在明显局限性。一方面，手工设计的任务提示受限于人力成本和外部资源，且严重依赖提示工程师的专业知识。另一方面，固定的提示模板难以在多样化的任务中提供个性化的去偏提示，导致灵活性和可扩展性有限。此外，基于CoT或角色分配的提示去偏性能往往不一致，在某些任务中甚至可能加剧偏见 [19]、[20]。

为此，我们提出对比反思驱动的自动提示去偏（APD），这是一个旨在缓解LLMs输出中社会偏见并增强回复公平性的自去偏框架。与基于手动提示工程的去偏方法不同，APD利用LLMs的推理和生成能力实现自动自去偏，消除了人工定制的需求，提供了更大的灵活性和可扩展性。具体而言，我们采用基于LLM的自动提示优化策略，生成能够缓解LLMs所产生偏见回复的特定任务提示。这些提示通过迭代细化逐步提升其去偏效果。为了更好地使LLMs与去偏目标对齐，我们提出了一种新颖的对比反思机制。我们引导LLMs观察包含公平特征与偏见特征的对比示例组，这促使模型深入反思当前提示的不足之处，并有助于生成富有洞察力的修改建议。基于LLM的提示生成器在对比示例组和修改建议的共同指导下扩展当前提示。然后使用搜索策略筛选和选择最优候选作为当前迭代的最终提示。

我们的主要贡献总结如下：
- 我们提出了一种新颖的基于自动提示工程的自去偏框架。该框架利用LLMs的推理和自反思能力优化任务提示并提升回复公平性，消除了手动设计的需求，提供了更大的灵活性和可扩展性。
- 我们引入了一种对比反思机制来增强基于LLM的自动提示优化过程。该机制鼓励LLMs识别公平和偏见特征，通过更深入的反思更有效地与公平性目标对齐。
- 在两个基准数据集上对14个LLMs的实验涉及9种单一偏见和2种交叉偏见，验证了APD在某些情况下可将原始偏见降至0%，并显著优于手动提示工程方法。此外，额外的评估证实了APD具有强大的泛化能力。

## 段落摘要

### 预训练语言模型的去偏方法

预训练语言模型（PLMs）的去偏策略通常分为两大类范式：以模型为中心和以数据为中心的方法，二者在优化目标和干预机制上各有不同。以模型为中心的方法通过直接修改模型的内部学习动态或表征结构来缓解偏见。这一研究路线涵盖了一系列技术，包括对比学习 [6]、[21] 等。

### 任务定义

对于给定的LLM $\mathcal{M}$，我们考虑一个与社会偏见相关任务的数据集 $\mathcal{D}=\{(x_i, y_i)\}_{i=1}^{n}$，该数据集被划分为训练集 $\mathcal{D}_{train}$ 和测试集 $\mathcal{D}_{test}$。每个样本 $x_i$ 包含关于人口群体的信息（例如，性别为男性/女性，种族为白人/黑人）。给定一个公平性评估函数 $s(\cdot)$，该函数根据模型响应 $\hat{y}_i = \mathcal{M}(x_i, p)$ 和真实标签 $y_i$ 计算LLM $\mathcal{M}$ 的公平性分数，我们的目标是在离散的提示空间中找出最优提示 $p^*$。

### 方法论

自动提示工程可以显著减少手动提示工程所需的大量人力 [45]。因此，基于LLM的自动提示优化引起了越来越多的关注。这些方法将LLM作为提示优化器，为目标模型生成理想的任务提示 [46]、[47]。研究表明，当LLM被用作提示优化器时，其性能可与人类专家提示工程师相媲美，使其成为一种有前景的方案。

### 实验

我们通过实验分析以下研究问题（RQs）来验证APD的性能：
- RQ1：与基于手动提示工程的方法相比，APD的去偏效果如何？
- RQ2：迭代训练如何影响APD的去偏性能？
- RQ3：对比反思机制在整体模型中扮演什么角色？
- RQ4：APD的泛化性能如何？

### 结论

本文提出了APD，一种基于对比反思的自动提示去偏自去偏框架，利用基于LLM的自动提示优化实现去偏提示的自动生成，从而提升LLMs回复的公平性。我们将LLMs作为提示优化器，利用其强大的推理和生成能力优化任务提示并避免刻板输出，采用迭代训练进行更新。为进一步增强……

## CRediT作者贡献声明

- 胡俊成：撰写——初稿，监督指导，项目管理，获取资金，形式化分析。
- 李英吉：撰写——初稿，可视化，验证，软件，方法论，形式化分析。
- 宋锐：验证，方法论，形式化分析，数据整理。
- 吕可迪：验证，调查，形式化分析，数据整理。
- 常毅：资源提供，形式化分析，数据整理，概念构思。

## 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系可能影响本文所报告工作的情况。

胡俊成 | 李英吉 | 宋锐 | 吕可迪 | 常毅