增强公平性：面向数据生态系统的跨平台数据偏差自动化识别与缓解工具包

《Array》：Enhancing Fairness: A Cross-Platform Application for Mitigating Bias in Data Ecosystems

　　

一个统一的工具包，可自动化数据偏差识别与缓解工作流。敏感属性与数据集领域通过自然语言处理（Natural Language Processing，NLP）模型自动识别。数据偏差识别与缓解（Data Bias Identification & Mitigation，DBIM）管道将基于相似性的数据清洗与自动化重采样选择相结合。公平性与预测性能在不同的真实世界数据集以及其他最先进方法上进行了评估。

Dimosthenis Kyriazis、Argyro Mavrogiorgou、Athanasios Kiourtis与Konstantinos Mavrogiorgos开展了本项研究。随着人工智能（Artificial Intelligence，AI）技术的快速发展，AI系统在生产环境中的应用日益广泛，但其从训练数据中继承的偏差可能传导至输出并造成严重后果。论文列举多起实例：美国再犯预测工具COMPAS对白人与黑人被告呈现不同的假阳性率（False Positive Rate，FPR）与假阴性率（False Negative Rate，FNR）；荷兰税务海关的福利欺诈检测错误指控大量低收入父母与少数族裔；亚马逊招聘算法歧视女性。偏差已成为继数据隐私之后公众使用AI的核心关切，新偏差与公平性度量方法亦不断涌现。然而现有偏差检测工具包存在三大实践空白：其一，假定为专家用户，缓解方法需手工选择、配置与验证；其二，将公平性与数据准备分离，缺失值与类别不平衡交由独立库处理，而清洗与重采样已知会改变群体层面结果；其三，对众多重采样方法的选择缺乏指导而依赖试错，自动机器学习（Automated Machine Learning，AutoML）系统虽可搜索此类选择但仅优化预测性能、不报告群体指标，公平性感知AutoML仍需专家配置。

针对上述空白，研究人员提出了跨平台数据偏差识别与缓解工具包，包含数据偏差识别与缓解（Data Bias Identification & Mitigation，DBIM）管道与模式驱动的合成数据生成（Schema-driven Synthetic Data Generation，SDG）管道：自动识别数据集领域与敏感属性，实施基于相似性的清洗，在交叉验证内部自动选择重采样方法，并同步报告群体指标。无泄漏嵌套交叉验证的结果表明：自动重采样在不损失准确率与ROC AUC的情况下改善了少数类结果的检测；相似性清洗保留了含缺失值的记录且未损害准确性或公平性；但数据层面的预处理本身并不能使模型更公平，Adult数据集上重采样反而扩大了性别差距，故工具包在每次运行均报告群体指标。该研究的意义在于以透明、跨平台、易用的端到端工作流填补了现有空白，使专家与非专家用户均能开展数据偏差缓解。

关键技术方法主要包括：基于余弦相似度（cosine similarity）的缺失值填补与异常值处理，经最近邻搜索从最相似记录借用缺失值，且仅使用训练数据以避免信息泄漏；零样本文本分类器DeBERTa-v3-base-mnli-fever-anli自动识别数据集领域（22类），据此选择评分指标（医疗领域采用F1-score，其余默认accuracy）；基于BERT base模型（uncased）与迁移学习（transfer learning）构建敏感属性识别器，以AdamW优化器（学习率2×10^-4，批大小8）微调至多10个epoch；在交叉验证内部联合选择5种过采样（SMOTE、ADASYN、Borderline SMOTE、K-means SMOTE、SVM SMOTE）与5种欠采样（Condensed Nearest Neighbor、AllKNN等）及分类器超参数（随机森林、决策树）；合成数据生成采用声明式值函数与可选的高斯copula拟合。实验数据集来源于UCI机器学习库：Adult数据集（48842条记录）、Bank Marketing数据集（45211条记录）、Air Quality时序数据集（9357条实例）及Statlog German Credit数据集（仅用于外部验证）。

3.2.1 重采样算法基准测试：研究人员在合成二分类数据（1000至20000行，不平衡比率0.01至0.2）上测试了所有重采样算法。各过采样算法性能相近，SVM SMOTE在20000行以上显著更慢故被排除；Condensed Nearest Neighbor耗时随规模近似平方增长同样被排除；K-means SMOTE在Adult与Bank上未找到含足够少样本的簇故未产生候选。

3.2.2 Adult数据集评估：工具包识别出5个受保护属性，"age""marital-status""race"极度不平衡，"sex"轻度不平衡，6465个缺失单元格被清洗算法填充；25折内层交叉验证中OneSidedSelection选中18次、TomekLinks 7次。DBIM的准确率（0.861）与ROC AUC（0.917）同无缓解基线无显著差异，但平衡准确率（0.792）与F₁（0.700）分别提升0.013与0.012（p<0.001），且性别人口统计平等（Demographic Parity，DP）差异（0.199）小于随机过采样、随机欠采样与SMOTE。

3.2.3 Bank Marketing数据集评估："age"极度不平衡，2145个缺失单元格被填充，OneSidedSelection选中21次。DBIM准确率（0.892）显著优于随机过采样（+0.058）、随机欠采样（+0.118）与SMOTE（+0.015），但因选择准则为准确率而偏向保守重采样，平衡准确率低于SMOTE与随机欠采样。

3.2.4 Air Quality数据集评估：研究人员训练长短期记忆网络（Long Short-Term Memory，LSTM）预测1至12小时并构造人工54天间隔比较各清洗方法。所提方法与线性、均值插值的预测效果接近（1步MAE 0.0358对0.0342、0.0362；12步0.0827对0.0887、0.0860），仅1步误差略高于线性插值；三次样条插值明显最差（间隔重建误差20.7对0.207）；所提方法以边界值匹配的观测区间填补，保持真实日变化且不产生不可能值，清洗耗时0.26秒远低于样条的20.2秒。

3.2.5 公平性评估：Adult数据集上清洗未改变性别差距（DP 0.171→0.171，p=0.96），重采样却扩大差距（DP 0.199，+0.027，p<0.001），原因是欠采样器移除类别边界附近的多数类记录，男女真正率均提升但对男性提升更多且男性假阳性率由0.079升至0.103；Bank数据集上"marital"属性各阶段均无显著变化（p=1.0）。公平性导向方法（AIF360重加权、Fairlearn阈值优化器与指数梯度）虽将性别DP差距缩小至0.024与0.012，但损失3至4个百分点的平衡准确率且均等赔率（Equalized Odds，EO）差距至少翻倍，表明数据层面的平衡不能替代公平性目标。

3.3.1 效用、联合保真度与隐私：采用合成训练-真实测试（train-synthetic-test-real，TSTR）协议显示，SDG模型在Adult上ROC AUC仅0.465、Bank上0.492（真实训练为0.916与0.726），因独立列采样移除了与目标的所有关系；双样本AUC达1.00表明合成数据与真实数据可完全区分；按目标×受保护组拟合的高斯copula接近真实数据（TSTR 0.905与0.715），边缘达抽样噪声水平且保留各组基准率，但仍可区分且校准更差；所有生成器均未复制记录，基于距离的成员推断攻击AUC为0.50，但这非形式化隐私保证。

3.3.2 Adult数据集评估：六数值列平均KS统计量0.405±0.002（真实参照0.007），分类列频率于噪声水平重现；capital-gain（KS 0.916）与capital-loss（0.952）因截断正态分布几乎不产生零而严重失真。

3.3.3 Bank Marketing数据集评估：六数值列平均KS统计量0.390±0.003（真实参照0.007），"pdays"（KS 0.814）与"previous"（0.675）失真最重，因81.7%的客户端未被联系而截断正态分布将其值散布至全域。

3.3.4 Air Quality数据集评估：值函数由傅里叶变换（Fourier Transform，FT）均值与五个最大频率分量加高斯噪声构成，十二列平均KS统计量0.063±0.001（属样本内度量）；无界噪声导致部分合成CO(GT)、C₆H₆(GT)、NO_x(GT)值为负（真实值均无负值），相对湿度范围为-17.7%至115.3%；各列独立生成故跨传感器相关性未保留。

3.3.5 SDG公平性评估：SDG模型群体差距近零（Adult性别DP 0.009、种族DP 0.011；Bank婚姻DP 0.001），而对真实数据训练的模型差距为0.171、0.183、0.016；然而SDG模型ROC AUC仅0.465与0.492、平衡准确率0.50，25折中18折未预测任何阳性结果，近零差距实为信号损失而非平等对待，表明评估合成数据必须同时考察效用与公平性。

3.4 与AIF360和Fairlearn比较：Fairlearn方法将性别DP差距降至0.024与0.012，但以平衡准确率损失、EO差距扩大（0.31、0.24）与最差校准为代价；DBIM平衡准确率最高（0.792）。该工具包定位为非公平性优化器，其价值在于使数据级平衡的效果可见，让用户判断是否需要额外采用公平性导向方法。

3.5 不确定性、复杂性与成本：Adult上25折选出8种不同配置，最常见者仅胜24%的折，中位优势仅0.0002，Bank上多个候选完全并列；自动选择的价值在于避免明显更差的固定选择（如默认随机欠采样在Adult上仅0.812准确率）。DBIM在Adult上含模型选择的训练耗时19.0分钟（无缓解仅74秒），Bank上7.2分钟，峰值内存低于0.75GB；各组件成本随行数多项式增长（时间∝n^b）。

3.6 敏感属性检测外部验证：投票法达到精确率0.83、召回率0.50（F₁ 0.63），单模型F₁介于0.43至0.75且结果依赖种子；漏检"race""native country"等属性，错标"occupation"；基于列名词匹配规则的简单方法表现相近（精确率0.86、召回率0.60）；所有方法均无法检测代理变量（如"relationship"与"sex"的Cramér's V=0.65），故检测器宜作为向人工确认提出候选的辅助助手。

3.7 用户研究：27名参与者（专家12名、非专家15名）按用户经验问卷（User Experience Questionnaire，UEQ-S）评分，总体+2.10处于"excellent"区间，实用质量+2.13、享乐质量+2.07，各条目均获明确正值（置信区间约±0.34至±0.53）；因系便利抽样、无对照条件的初步研究，仅反映用户感知而非相对其他工具包的优越性。

讨论部分指出，现有工具包缺乏便于跟踪流程的界面与可视化，亦缺乏无需提供训练模型即可缓解数据偏差（预处理阶段）的策略，即便是被视为完整工具的AIF360亦复杂且主要面向专家用户。所提工具包具备用例无关能力、API可用性、用户界面、跨平台能力、自动重采样选择、集成数据清洗、自动敏感属性识别与带组平衡的模式驱动合成数据生成八项特性，据作者所知是少数同时具备跨平台与用例无关特性的工具包，且详细日志提供对数据操作的完整透明报告。实验证实自动选择因在留出数据上评分而避免了固定选择的失真，相似性清洗保留了Adult中7.4%的含缺失值记录且未影响准确率与公平性。公平性结果须与预测结果分开解读：重采样扩大性别差距是因欠采样器移除边界多数类记录而男性（阳性类主体）增长更多，Bank差距小是因模型极少预测订阅而非平等对待；公平性导向方法以准确率与EO差距为代价缩小差距，故不平衡校正与公平性是不同目标，自动化校正的工具包必须报告群体指标。SDG因独立采样丢失变量间关系致模型处于机会水平，其天然用途为测试数据、演示与结构共享，而保留真实依赖关系的生成器亦保留真实偏差。与AIF360和Fairlearn的比较将该工具包定位为库而非竞争者，贡献在于将检测与报告整合于单一可访问工作流。作者澄清其创新主要在系统与整合层面而非新算法，即自动化数据集领域识别、敏感属性识别与重采样策略选择等需人工干预的决策。局限包括：未覆盖已训练模型的偏差缓解、非英语数据集性能未验证、敏感属性召回仅约半且不能检测代理变量、重采样选择不稳定、仅评估两个表格数据集、生成器不约束值域、隐私评估仅采用一种基于距离攻击、缺少每用户访问控制，未来需扩展至GenAI与非结构化数据。

结论部分翻译如下：AI的广泛采用在带来巨大能力的同时亦引入重大风险，主要风险因素是训练数据集中通常含有的偏差，其可进入AI模型与生产系统并产生灾难性后果；数据偏差工具包虽可识别潜在偏差且部分能够缓解，但存在缺乏直观界面与可视化、缺乏缓解策略、聚焦用例特定场景等局限。研究人员提出的跨平台工具包可通过任何设备访问与使用，包含DBIM与SDG两个管道。DBIM经无泄漏嵌套交叉验证、在8个基线的相同折上以修正统计检验评估，SDG以合成训练-真实测试评估。自动重采样在不损失准确率与ROC AUC的情况下改善平衡准确率与F₁且比固定重采样技术更准确；相似性清洗保留所有记录而不影响准确率与公平性，对长时序间隔保持稳健；两个阶段均未减少群体差异，Adult上重采样扩大了性别差距，故工具包在每次运行均报告群体指标；模式驱动生成器适合测试数据而非训练数据，而保留依赖性的copula在效用上接近真实数据；初步用户研究认为所提方法方向正确，被专家与非专家参与者视为高效、支持性强且易于使用的环境。