改进双重不平衡数据集中的公平性

《Scientific Reports》：Improving Fairness in Doubly Imbalanced Datasets

　　

公平性（Fairness）已被认定为机器学习（Machine Learning, ML）和人工智能（Artificial Intelligence, AI）决策解决方案的重要方面。近期文献提供了多种去偏（Debiasing）方法，然而当数据收集不平衡时，其中许多方法表现不佳。本文聚焦于一个特定情形，即双重不平衡数据集（Doubly Imbalanced Datasets）中的公平性，此类数据收集在标签（Label）和敏感属性（Sensitive Attribute）中的群体两方面均存在不平衡。首先，研究人员进行了探索性分析（Exploratory Analysis），以说明在双重不平衡数据集上去偏的局限性。随后，提出了一种基于多准则（Multi-criteria）的解决方案，用于在公平性和分类准确率方面寻找标签与敏感属性最合适的采样和分布。

**研究背景与动机**

随着近几十年技术进步，机器学习（Machine Learning, ML）和人工智能（Artificial Intelligence, AI）在自动化决策流程中扮演重要角色。尽管这些工具通常以准确率和性能为优化目标，但公平性（Fairness）等其他重要方面也需考量。当AI工具用于信贷审批、职位筛选、再犯风险评估等决策任务时，公平性尤为关键。此类过程天然容易产生偏差，数据中的性别、种族、年龄等敏感属性可能影响模型判断。在AI公平性研究中，多数工作聚焦于二分类任务，通过特权群体（Privileged Group）与非特权群体（Unprivileged Group）、有利标签（Favourable Label）与不利标签（Unfavourable Label）考察公平性。

现有文献提供了多种去偏方法，然而当数据不平衡时许多方法表现不佳。在公平性语境下，数据集可能同时存在标签分布和特权群体分布的不平衡，即双重不平衡（Doubly Imbalanced）。尽管已有研究关注公平性与不平衡数据的交叉，但针对双重不平衡数据的系统方法仍然缺乏。因此，研究人员提出一种基于多准则优化的去偏解决方案，旨在同时优化公平性和分类性能。

**研究内容与结论**

研究首先在BAF欺诈数据集上进行探索性分析，使用学习公平表示（Learning Fair Representations, LFR）作为去偏方法，不相称影响比率（Disparate Impact Ratio, DI Ratio）作为公平性指标，马修斯相关系数（Matthews Correlation Coefficient, MCC）作为分类准确率指标，考察四种采样设置（双重平衡、不利标签平衡、特权群体平衡、双重不平衡）。结果表明，LFR在标签强不平衡和双重不平衡情况下无法成功应用，DI比率出现NaN值；双重平衡设置下LFR表现最佳。基于此，研究人员提出假设：存在最优数据平衡程度，可在最小化分类准确率损失前提下改善公平性。

研究人员提出模型无关（Model-agnostic）的搜索式解决方案，通过三个采样参数α、β、γ分别控制非特权群体比率、不利标签比率和特权群体优势比率，将问题建模为多准则优化问题，采用两级网格搜索（Grid Search）寻找最优平衡结构。研究在三个基准数据集（BAF、VIF、CCF）上使用五种分类模型（逻辑回归LR、随机森林RF、支持向量机SVM、朴素贝叶斯NB、LFR）验证方法有效性。论文发表在《Scientific Reports》。

**关键技术方法**

主要技术方法包括：（1）基于三个可解释参数（α、β、γ）的平衡采样方法，通过线性插值确定特权-有利、特权-不利、非特权-有利、非特权-不利四个分区的采样比例；（2）两级网格搜索策略，0级以0.1间隔粗搜，1级在最优前5点邻域以0.01间隔细搜；（3）多准则优化框架，组合损失函数COMBINED_LOSS = c₁×MCC_LOSS + c₂×DI_RATIO_LOSS；（4）帕累托前沿（Pareto Front）分析。样本队列包括BAF银行欺诈数据集套件、车辆保险索赔欺诈数据集（VIF）和信用卡欺诈数据集（CCF）。

**实验结果**

*最优结果分析*

从原始数据集中抽取5000实例，按60%、20%、20%划分为训练集和两级测试集。各模型最优参数表明模型行为决定最优平衡比率。与未去偏结果相比，DI比率显著提升（Wilcoxon检验，α=0.05），LR和SVM的MCC明显改善。与探索性分析相比，所有模型DI比率均获目标改善（RF从1.22