分布偏移下高置信度失败的实证公平审计

《Knowledge-Based Systems》：Empirical fair auditing of high-confidence failures under distribution shift

　　目标对齐的资格门控消除了低置信度区域上的预算浪费。统一框架联合解决失败检测、分布漂移和群体公平性问题。知识失败多阈值检测器通过稳定性增强分布漂移鲁棒性。平等性和有界分配将报警率差异减少高达99.8%。在4个数据集上进行20个随机种子的评估确认了HC-AUC和Lift@5的持续增益。引言机器学习分类器在内容审核、临床决策支持和金融风险评估等高风险领域的广泛使用，加强了对真实世界部署场景下模型可靠性的审查[1][2][3]。尽管在设计能在受控训练环境中表现良好的模型方面取得了重大进展，但部署系统经常遇到与训练划分不同的分布，这通常被称为分布漂移[4][5][6][7]。分布漂移可能源于协变量漂移、数据集偏差、语言的时间变化，或在完全不同但相关的平台上使用模型。核心问题不仅仅是性能在漂移下退化；模型可能同时产生错误的预测并表达高度的预测置信度[4][6][8]。这种失败模式通常被称为过度自信错误，对部署分类器至关重要，因为低置信度错误可以被路由到人工审核或通过自动触发器过滤，而过度自信错误可能未经检测就通过自动化流水线[9][10][11]。置信度阈值化是一种广泛使用的部署过滤器，因此无法可靠地识别和标记这些失败。当这些错误发生在毒性分类、收入资格预测或临床再入院评估等敏感任务中时，后果超出了准确度退化的范畴：与受保护属性相关的用户生成内容的错误高置信度预测可能对已经边缘化的群体造成系统性伤害。出于技术可靠性和社会问责的考虑，有必要在部署中解决过度自信错误[12][13]。虽然不确定性量化和分布外检测是公认的挑战，但当前方法很大程度上忽视了实际部署约束。大多数OOD基准依赖于熵或最大softmax概率等通用分数来区分分布内和OOD样本，但并未专门针对高置信度错误[14][15][16]。温度缩放等校准方法仅在汇总层面修正置信度-准确率不匹配，缺乏生成实例级风险分数用于报警优先级的粒度[11][17]。类似地，分布漂移监控框架通常依赖标记数据并关注整体趋势而非个别过度自信错误[2][18][19]。尽管该问题的各个组件——基于置信度的失败评分、选择性预测、基于扰动的不确定性估计以及公平约束分配——已在先前工作中分别探讨，但没有现有方法联合针对高置信度失败事件，在受控的漂移严重性范围内评估检测性能，并在报警分配阶段明确实施公平性。这一差距通过三个具体设计决策解决：(i) 一个τ门控机制，将监控区域直接锚定到高置信度失败事件的正式定义，而不是依赖事后分数阈值；(ii) 一个多阈值监督方案，在多个置信度级别下联合训练检测器，产生分布漂移下失败风险的阈值稳定表示；以及(iii) 一个解耦的、帕累托显式的公平感知分配层，在选择阶段实施群体公平性，同时保持底层风险分数不变，从而保持其可审计性。尽管每项技术都建立在已确立的基础之上，但它们围绕高置信度失败目标的联合操作化，连同对其非平凡且互补贡献的经验证明，构成了本工作的具体技术贡献。为评估分布漂移下高置信度失败的协议公平审计，我们探讨以下研究问题：RQ1：资格约束的审计协议能否在分布漂移和跨域OOD条件下，超过标准错误检测和弃权基准的审计效用（固定预算下的精确度和提升），并在随机种子间取得一致结果？RQ2：资格门控如何影响审计效用和人口统计公平性，以及在什么条件下未门控决策规则会在漂移下将预算浪费在不可能的正样本子空间上？RQ3：在公平感知分配下，与无约束全局选择相比，审计产出和审查率公平性之间出现什么权衡？RQ4：模态和漂移类型如何影响审计可重复性，以及哪些配置在无需部署时知识的情况下，在变化的漂移严重性下保持可靠？为解决这些研究问题，所提出模型的贡献可总结如下：i. 将部署后分布漂移下的公平审计表述为高置信度失败上的预算约束选择问题，支持通过固定预算下的精确度、提升、召回率和审查率差异，在种子、漂移条件和跨域OOD设置中统一评估审计效用和公平性。ii. 提出一个目标对齐的资格门控机制，强制执行审计目标暗示的置信度约束，消除在不合格低置信度区域上的系统性预算浪费，并揭示未门控决策规则在漂移下的人口统计成本。iii. 引入一种将评分与选择解耦的公平感知分配方法，在分布漂移下，以固定审查预算，实现效用-公平性权衡的透明帕累托分析，涵盖全局、平等和有界分配策略。在表格和文本基准上进行的大量多种子经验评估（ACSIncome、Diabetic Readmission、CivilComments和CivilComments→Jigsaw）跨越20个种子，证明了持续的审计改进和群体差异的大幅减少，识别了在无需部署时知识的情况下，跨漂移严重性保持可靠的配置。论文的其余部分组织如下。第2节介绍公平性、选择性决策和漂移下资源约束审计的背景，并回顾关于失败检测、选择性分类和弃权、保形风险控制以及公平不确定性的相关工作。第3节提出协议和公平中心审计框架。第4节描述实验设置和数据集，随后是表格和文本基准的经验结果。第5节讨论局限性、效度威胁和部署考虑。第6节总结论文。各章节要点第2节 背景和相关工作现代机器学习系统越来越多地依赖容量受限的审查（人工审核、升级或弃权）来缓解部署中模型失败造成的伤害。本节提供了协议公平审计所需的概念基础，涵盖与审查分配和失败发现相关的群体公平概念；作为审查操作抽象的选择性预测和延期；校准以及高置信度错误带来的特定风险。第3节 方法如图1所示，所提出的方法解决了一个以部署为中心的问题，标准准确率导向的分类无法解决：在分布漂移下可靠地识别高置信度失败，以及一个公平感知机制用于在敏感群体间分配有限的报警预算。该方法将不确定性估计、漂移鲁棒性和公平性干预整合为一个统一的监控流水线。第4节 实验在本节中，在跨越文本和表格领域的四个数据集上进行了大量实验，在受控的分布漂移和公平感知监控设置下，评估了所提出方法的性能。第5节 讨论本研究解决了一个标准准确率或校准指标无法捕获的部署挑战：在分布漂移下识别高置信度失败，同时以公平感知的方式分配有限的审查预算。在文本和表格基准中，任务对齐的监控头持续在揭示高置信度区域内操作关键错误方面优于通用不确定性分数，而基于熵和能量的指标仍是有用的参考。第6节 结论本研究提出了一种综合方法，用于在存在分布漂移的情况下检测高置信度失败，同时确保在文本和表格领域进行公平感知的报警分配。该方法结合了校准的基础预测、过度自信失败的定向构建、漂移敏感的表示学习、任务对齐的失败评分和资源约束的群体感知报警选择，全部在一个部署就绪的协议中。经验评估揭示。CRediT作者贡献声明Laxmi Prasad Bastola：撰写——初稿，方法论，调查，形式分析，概念化。Senlin Luo：撰写——审阅与编辑，监督，概念化。Md Minhazul Islam Munna：验证，软件，数据整理。Sohrab Khan：撰写——审阅与编辑，可视化，验证。利益冲突声明作者声明他们没有任何已知的财务利益或个人关系可能会影响本论文所报告的工作。致谢本研究未从任何公共、商业或非营利部门的资助机构获得特定资助。Laxmi Prasad Bastola | Senlin Luo | Md Minhazul Islam Munna | Sohrab Khan