揭示与克服分布外检测中的公平性混淆

《Neural Networks》：Revealing and Overcoming Fairness Confusion in Out-of-Distribution Detection

　　

摘要

分布外（OOD）检测防止模型将落在分布内（ID）类别之外的 OOD 数据错误分类为 ID 类别。然而，现有的 OOD 检测方法忽略了一个关键指标，即公平性指标。这种疏忽可能导致由于数据中的敏感属性而产生不可靠的预测。为了填补这一空白，我们在本文引入了一个新颖且具有挑战性的问题，称为公平 OOD 检测，该方法同时考虑 OOD 检测以及由敏感属性及其诱导的特征偏移（FS）引起的公平混淆（FC）所产生的偏差。此外，我们提出了一种称为 Fair-OOD 的新指标，用于识别 OOD 检测中的 FC 现象，以及一种具有理论保证的半监督解决方案，称为预测自适应校准（PACT），旨在同时增强 OOD 检测能力、确保公平性并缓解 FC，而不需要 OOD 数据的敏感属性标签。大量实验表明：(a) Fair-OOD 可以识别现有公平性指标无法检测到的模型中的 FC 问题；(b) PACT 有效提高了 OOD 检测性能，同时消除了 FC 和不公平性问题。

引言

在封闭世界假设下训练的机器学习（ML）分类模型在实际应用中不可避免地会遇到来自未知类别的分布外（OOD）输入。因此，OOD 检测作为一种关键的安全机制，通过识别 OOD 样本同时保持对分布内（ID）数据的准确分类，从而确保训练分布之外的可靠模型性能（Wang et al., 2025）。OOD 检测领域的现有研究主要关注两个方向：开发更高效的微调策略（Hendrycks, Mazeika, Dietterich, 2019, Liu, Wang, Owens, Li, 2020, Wang, Fang, Zhang, Liu, Li, Han, 2023a），以及设计有效地区分 ID 和 OOD 数据的评分函数（Hendrycks, Gimpel, 2017, Wang, Ye, Liu, Dai, Kalander, Liu, Hao, Han, 2023b）。

尽管在构建健壮且可信的 ML 系统方面取得了显著进展，但我们观察到，当前的 OOD 检测方法忽视了另一个相关但重要的约束，即公平性指标（Hardt, Price, Srebro, 2016, Jung, Song, Yang, Kim, Kim, Yang, 2024），该指标要求由敏感属性决定的不同群体之间的预测相等。如图 1 所示，受敏感属性（例如图像背景）支配的主要和次要样本组表现出与 OOD 检测任务中的分布划分模式相似的模式，即 ID 和 OOD 分布（Wang et al., 2025）。不幸的是，由于最近的研究者已经意识到敏感属性在现实数据中经常共同出现（Nam et al., 2020），这种相关但不同的变量往往会使 ID 和 OOD 数据的区分产生混淆，从而破坏 OOD 检测的性能。具体来说，我们将这种出乎意料但普遍存在的现象表征为公平混淆（FC），其特征是敏感属性从两方面产生负面影响。首先，如图 1 所示，敏感属性本身可能会对 OOD 检测产生直接的、有偏的影响（例如，由于背景原因，OOD 马被错误分类为老虎或梅花鹿）。此外，敏感属性可能会进一步诱导特征偏移（FS），并通过产生类似于 ID 和 OOD 分布之间差异的特征差异来产生间接影响。具体而言，这两种影响通过敏感属性相连：它既可以作为捷径线索直接影响 OOD 预测，也可以先诱导特征偏移然后干扰学习到的表示来间接影响预测。

不同于传统的 OOD 分布偏移（通常关注协变量偏移，如图像风格或环境的变化，或语义偏移，如未见过的物体类别），FC 产生于与敏感属性相关的变化与与 OOD 检测相关的分布变化纠缠在一起的时候。在这种情况下，模型可能会错误地将敏感线索或其诱导的特征偏移视为 OOD 检测的有效证据。解决这个问题对于确保 OOD 检测的可靠性至关重要，不解决会破坏其可靠性。

为了缓解公平混淆，我们因此在本文中引入了一个新颖且具有挑战性的问题，称为公平 OOD 检测（参见问题 1），该方法同时考虑数据的敏感属性以及由这些属性诱导的特征偏移（FS）。据我们所知，我们的工作首次研究了构建公平感知 OOD 检测框架。此外，正如我们的分析揭示的那样，公平性指标无法捕捉 FS 的影响，因此直接适应是有限的。正如我们在图 1 中的例子所示，即使模型满足针对敏感属性本身的现有公平性指标（例如背景），由于 FS 它仍可能产生错误的检测结果。为了应对这一挑战，我们随后引入了 Fair-OOD 指标（参见定义 1）来识别 OOD 检测中的 FC 现象。它通过评估模型在不同敏感属性和 FS 条件下的预测一致性来工作。

为了解决我们提出的公平 OOD 检测问题，我们随后提出了一种新颖的半监督方法，称为预测自适应校准（PACT），旨在实现三个关键目标：(a) 增强模型的 OOD 检测能力，(b) 确保公平性，(c) 缓解 FC。具体而言，PACT 采用特征分布正则化（FDR）来对齐同类内的特征分布，同时增加不同类之间分布的发散性。同时，它利用预测分布校准（PDC）在 OOD 数据敏感属性标签不可用的情况下放大 ID 和 OOD 数据的预测分布之间的差异。此外，我们进行了理论分析并为 FDR 和 PDC 提供了正式保证。我们总结主要贡献如下：

• •
  我们首次将公平性问题纳入 OOD 检测的考虑范围，并引入了一个新颖的问题，即公平 OOD 检测，通过考虑公平混淆（FC）问题。
• •
  我们引入了一种新颖的指标，称为 Fair-OOD，旨在以原则性的方式识别和表征 OOD 检测中的 FC 问题。
• •
  我们提出了一种新颖的算法，预测自适应校准（PACT）（参见算法 1），该算法同时确保模型公平性、增强 OOD 检测能力并缓解 FC 问题。并且我们为其提供了理论保证。
• •
  在真实数据集上的大量实验表明：(a) 我们提出的指标 Fair-OOD 有效识别了 FC 问题；(b) 我们提出的方法 PACT 提高了 OOD 检测性能，同时消除了 FC 和不公平性问题。

章节片段

实证研究：公平混淆

在本节中，我们进行了一项案例研究，以调查以下问题：

• •
  敏感属性如何影响 OOD 检测？
• •
  特征偏移（FS）如何影响 OOD 检测？

公平 OOD 检测

本节形式化了公平 OOD 检测问题，并通过反例表明当前的公平性指标无法正确处理公平混淆问题。

PACT：预测自适应校准

为了确保公平性并进而实现更可靠的 OOD 检测，我们提出了一种新颖的方法，称为预测自适应校准（PACT），该方法包含两个方面：特征分布正则化（FDR）和预测分布校准（PDC）。

实验

在本节中，我们进行了大量实验，通过回答以下问题来评估我们提出的指标 Fair-OOD 和方法 PACT：

• •
  Q1: Fair-OOD 能否有效识别现实中的 FC？
• •
  Q2: PACT 能否增强模型的 OOD 检测性能？
• •
  Q3: PACT 能否在保持高分类精度的同时缓解偏差和 FC？
• •
  Q4: 使用 Fair-OOD 去偏是否会与其他公平性指标冲突？
• •
  Q5: PACT 的两个关键组件是否按预期在预定用途中表现良好？

相关工作

在本节中，我们回顾了公平感知表示学习和 OOD 检测方面的研究。

公平感知表示学习 现有的公平感知表示学习方法主要可分为以下几种途径：重加权、数据增强、特征解耦、鲁棒优化以及其他不属于这些主要类别的杂项技术。样本重加权是最早提出的算法之一

结论

在本文中，我们将公平性考虑纳入 OOD 检测，并引入了一个具有挑战性的问题，公平 OOD 检测，其中涉及敏感属性引起的偏差以及由这些属性引发的特征偏移（FS）所导致的公平混淆（FC）。为了量化 FC，我们提出了一种新颖的指标 Fair-OOD。此外，我们提出了预测自适应校准（PACT），一种联合增强 OOD 检测性能、缓解偏差并减轻 FC 的方法。大量

CRediT 作者贡献声明

Zhaohui Hu: 撰写 – 原稿，方法论，调查，数据整理，概念化。Haotian Wang: 形式分析。Jialu Zhou: 验证。Chuan Li: 可视化。Da Huang: 撰写 – 审阅与编辑。Long Lan: 资金获取。

利益冲突声明

作者声明他们没有任何已知的竞争经济利益或个人关系，这些关系可能会影响本文中报告的工作。

致谢

本工作得到了国防科技大学研究生创新基金、国家自然科学基金（编号 62376282）和湖南省科技创新计划（编号 2025RC3117）的支持。

Zhaohui Hu|Haotian Wang|Jialu Zhou|Chuan Li|Da Huang|Long Lan