PAIRE：一种在敏感信息受限下衡量数据集多样性与模型公平性的测试基准

《Information Processing & Management》：PAIRE: A testbed for measuring dataset diversity and model fairness under limited sensitive information

　　

评估机器学习（ML）中的数据集多样性与模型公平性需要访问敏感人口属性，而这些属性常因隐私约束而不可用。尽管已有若干方法用于估计这些性质，该领域仍缺乏统一且可复现的评估框架。为填补此空白，研究人员提出基于代理的包容性、代表性与公平性评估（Proxy-based Assessment for Inclusion, Representation, and Equity, PAIRE），这是一个用于评估在无个体级敏感属性条件下运行的公平性与多样性（Fairness and Diversity, FD）估计器的标准化基准。借助PAIRE，研究人员在二分类（UCI Adult，4.5万实例）与多类排序（TREC Fair Ranking，115万实例，21个区域）任务上评估了前沿人口统计估计器，度量其估计精度及对属性推理的脆弱性。先进方法在多样性估计上表现更优，估计误差最高降低81%。然而该性能在公平性评估中可能发生反转，朴素计数法相比基于量化的高级估计器误差最高低41%，凸显直接在群体占比估计上的强势表现并不能保证下游公平性评估的可靠性。最后，经PAIRE形式化的隐私攻击表明，聚合人口统计估计器可被利用以高精度推断个体敏感属性（宏F1 > 0.9）。总体而言，PAIRE为属性无感知FD估计建立了具挑战性的基准，在敏感应用中提供整体评估。

研究背景方面，机器学习系统已在教育、就业、医疗等敏感领域广泛部署，并被欧盟《人工智能法案》等框架列为高风险决策辅助工具。多数公平性度量（如人口均等、机会均等）依赖性别、种族等受保护属性的个体级标签，但隐私法规与组织政策常禁止收集此类信息。近年学界转向利用代理变量或量化学习（quantification）估计群体级占比以评估公平性与多样性（FD），但现有研究实验协议不一致，且未在统一框架下同时考察估计精度与隐私泄露风险。在此背景下，研究人员提出PAIRE基准，填补“无个体敏感属性下FD估计器如何被系统评估”的标准化空白。

为开展研究，研究人员采用两项异构数据模态构建基准：一是UCI Adult表格数据（约4.5万实例，二分类收入预测，敏感属性为性别），二是TREC Fair Ranking大规模文本数据（约115万维基百科文章，多区域多保护组排序任务，21个区域）。关键技术方法包括：（1）固定训练-测试划分与受控数据集偏移注入协议，模拟真实分布漂移与多基数敏感属性场景；（2）群体占比估计器评测套件，覆盖直接插补、代理分类及量化法（如CC、ACC、SLD等）；（3）下游公平性评估协议，将估计占比代入人口均等、机会均等等指标并计算误差；（4）基于差分（differencing）的隐私攻击形式化，攻击者通过比较含/不含目标个体的背景样本上估计器输出的流行度偏移，推断个体敏感属性，并以宏F₁度量攻击成功率。

研究结果部分，论文依小节展开。RQ1多样性估计精度显示，先进量化法在UCI Adult与TREC上较朴素法最高降低81%估计误差，且误差随敏感属性基数上升而增大，数据集偏移下所有方法均退化但量化法更稳健。RQ2公平性评估可靠性指出，在将估计占比代入公平性指标时，优势发生反转：朴素计数法在多个设定下比量化法误差低至多41%，证明“占比估计准”不等于“公平性评估可靠”。RQ3隐私暴露实验表明，聚合估计器易被差分攻击滥用，在UCI Adult上宏F₁ > 0.9，攻击成功率随样本量增大与查询预算提升而上升，说明即便仅发布群体统计也可能泄露个体敏感信息。

讨论部分，研究人员指出PAIRE首次在统一协议中联合评测属性无感知FD估计的精度、下游公平性与隐私风险，揭示“量化法擅长占比、朴素法擅长公平”的错位现象，并警示聚合统计并非隐私安全避风港。结论翻译如下：PAIRE为无敏感属性场景下的FD估计建立了具挑战性的基准，提供涵盖多样性精度、公平性可靠性与对抗推理脆弱性的整体评估框架，其公开代码与协议可推动负责任AI在敏感应用中的可复现评测。该文发表于《Information Processing》。