探究内在偏见:扩散模型中用于评估社会偏见的内在注意力特征分析

《Neurocomputing》:Probing intrinsic bias: Internal attention feature analysis for social bias evaluation in diffusion models

【字体: 大 中 小 】 时间:2026年05月09日 来源:Neurocomputing 6.5

编辑推荐:

  李亨民 | 白京俊韩国首尔科技大学电子工程系,Gongneung-ro 232号,Nowon-gu,首尔,01811摘要文本到图像的生成模型虽然表现出色,但它们会继承训练数据中的偏见,这限制了它们在现实世界中的适用性,并可能影响下游任务的性能。现有的评估这些偏见的方法通常依赖于外

  
李亨民 | 白京俊
韩国首尔科技大学电子工程系,Gongneung-ro 232号,Nowon-gu,首尔,01811

摘要

文本到图像的生成模型虽然表现出色,但它们会继承训练数据中的偏见,这限制了它们在现实世界中的适用性,并可能影响下游任务的性能。现有的评估这些偏见的方法通常依赖于外部分类模型,这在无法访问模型内部结构的情况下是可行的。然而,外部工具本身也可能存在偏见和覆盖范围的限制,对于代表性不足的群体来说尤其不可靠,从而在下游结论中引入不确定性。例如,我们发现常用的种族偏见评估工具FairFace在正确分类由SDXL生成的美洲原住民面孔时存在困难,69%的面孔未被检测到,许多其他面孔也被错误分类。为了解决这一限制,我们提出了一种新颖的方法,该方法利用生成模型本身的内部知识(特别是SDXL和Stable Diffusion 1.5)来评估偏见。我们研究了在生成具有不同属性的图像时,扩散模型内部特征在不同时间步和层之间的相似性。我们的研究结果表明,特定层和时间步的特征相似性趋势与外部分类器使用的明确定义的类别相关,并且甚至可以提供关于基于分类器的方法难以评估的属性的偏见洞察。这项工作强调了仅依赖外部模块进行偏见评估的局限性,并在模型内部结构可用的情况下提出了一种补充的内部诊断方法,以实现更全面的偏见评估。

引言

文本到图像的生成模型最近由于数据集的扩大和训练方法的进步而取得了显著的性能提升[1],[2],[3],[4]。因此,它们实现了多种应用,包括合成数据集的生成[5],[6],[7]。然而,与其他数据驱动的系统一样,文本到图像的生成模型往往会继承并传播训练数据中存在的隐性偏见[8],[9]。这些继承的偏见不仅限制了这些模型在现实世界场景中的适用性,还会降低它们生成的合成数据集的质量。因此,依赖于这些合成数据集的下游任务的泛化能力也降低了[10]。为了解决这个问题,许多研究人员正在积极研究评估和减轻模型偏见的方法。
一般来说,许多现有的方法依赖于外部模型——如种族和性别分类器,甚至大型语言模型(LLMs)——来评估生成输出的偏见[9],[11],[12],[13]。然而,这种外部依赖存在一些根本性的限制:首先,它需要额外的训练数据来针对特定属性进行分类。其次,不能保证分类器本身是公正的[11],[12]。最后,外部分类模型依赖于固定、预定义的类别,这使得无法评估这些类别未涵盖的属性的偏见[14]。
例如,广泛用于评估种族和性别偏见的FairFace根据美国人口普查局的数据对种族进行分类,但对于一些种族群体(如美洲原住民)缺乏足够的数据。虽然FairFace对其预定义的类别(例如性别及其四类种族设置)具有高准确性,但它无法可靠地衡量这些封闭标签集之外代表性不足群体的偏见。此外,由于FairFace还依赖于人脸检测器,因此在某些人群上的检测性能不佳会进一步阻碍评估过程。换句话说,依赖多个外部模型会在评估流程中放大偏见。为了说明这些问题,我们使用SDXL[15]生成的图像来测试FairFace的流程,以“一张美洲原住民的照片”作为分类器行为的控制测试,而不是相应人群的真实参考。如图1所示,69%的面孔未被检测到,许多被检测到的面孔被错误地分类为“黑人”或“亚洲人”,这突显了基于分类器的评估在其预定义类别之外应用时的结构性限制。
虽然外部评估工具对于只能通过黑盒方式访问模型的最终用户来说是必不可少的,但它们可能无法为专注于合成数据 curation 的模型开发者或研究人员提供所需的详细洞察。为了提供互补的、更内在的视角,我们提出了一种利用生成模型自身内部知识的方法。在合成数据集生成等场景中,这种方法特别有利,因为模型提供者可以完全访问内部权重和中间特征。
具体来说,我们使用SDXL和Stable Diffusion 1.5(SD-1.5)沿着反向去噪轨迹检查基于扩散的文本到图像模型的内部表示。我们分析了中间特征在不同去噪阶段和网络层之间的相似性变化。为了避免歧义,我们将训练目标(DDPM风格的去噪公式)与推理时的采样器/调度器区分开来。尽管这些模型是用DDPM目标进行训练的[1],[16],[17],但我们使用DDIM采样器[18]在固定设置下进行生成,以获得更确定性和高效的样本。在整篇文章中,“时间步”指的是推理去噪步骤(即采样阶段的索引或相应的噪声级别),而不是训练时的扩散索引。这使我们能够比较在人口统计属性上有所不同但仍保持整体结构的生成结果。
实验结果表明,在某些层和时间步,明确定义的类别(例如,那些被外部分类器识别的类别)的模式与基于分类器的方法非常相似。此外,这些相似性指标可以捕捉到基于分类器的方法无法有效评估的属性的内部偏见。
我们注意到,这项研究的主要目的不是引入一个通用的框架来衡量生成模型中的偏见。在外部黑盒设置中,外部评估工具仍然很重要且通常是必要的。我们的目标是提供一种补充的白盒诊断方法,在可以访问模型内部结构的情况下利用这些内部表示,从而提高对具有挑战性属性和代表性不足群体的评估的可靠性。我们认为这种视角增强了我们对生成模型中偏见的理解,并有助于开发出偏见更少、更可靠的生成模型。

部分片段

文本到图像的生成模型

文本到图像的生成模型旨在从文本提示合成图像[4],[19],[20]。随着扩散模型的进步,包括改进的训练技术、采样方法、扩展的数据集和新型架构,文本到图像的生成能力显著提高。具体而言,Ho等人提出了去噪扩散概率模型(DDPM)[1],通过优化噪声调度和目标函数来增强扩散过程[21]。去噪扩散隐式

生成模型的内在偏见评估

在这项工作中,我们通过探查模型对各种职业的内部表示来评估模型的偏见,从而为从开发者的角度审计社会偏见提供了一个诊断工具。我们不是将模型视为一个黑盒,而是通过检查模型潜在空间中特定职业标记与人口统计属性之间的内在关系来揭示种族和性别偏见。

在本节中,我们展示了基于我们提出的注意力图比较的相似性分数如何在不同时间步的扩散过程中演变。具体来说,我们关注两个主要类别:性别(男性和女性)和种族4(黑人、白人、亚洲人、印度人)[14]。我们的分析涵盖了49个职业提示,涵盖了从体力要求高的角色(例如,运动员,保安)到基于知识的角色(例如,药剂师,医生)等不同的专业类别。

结论

这项工作解决了文本到图像生成模型中偏见评估的关键问题。以往的工作通常依赖于外部评估模块,如分类器、LLMs和VQA模型,在无法访问模型内部结构的场景中这些工具可能是实用且用户友好的。同时,外部工具可能会引入额外的错误或覆盖范围缺口,从而影响下游结论,因此在可以访问内部信息时需要补充方法。

CRediT作者贡献声明

李亨民:撰写 – 审稿与编辑、可视化、软件、资源、形式分析。白京俊:撰写 – 原始草稿、监督、方法论、概念化。

利益冲突声明

作者声明他们没有已知的会影响到本文所述工作的竞争财务利益或个人关系。

致谢

这项研究得到了首尔科技大学的支持。
李亨民于2023年在韩国首尔的延世大学获得电气与电子工程博士学位。2023年至2026年期间,他在Twelve Labs担任研究科学家,从事大规模视频理解和生成模型的研究。2026年,他加入韩国首尔科技大学的电子工程系,目前担任助理教授。他的研究兴趣
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号