基于设计的复杂调查数据下医疗预测的公平性监测

《Journal of Biomedical Informatics》：Design-based fairness monitoring for healthcare prediction with complex survey data

　　

摘要

目的：

医疗保健预测模型的公平性评估通常使用全国代表性调查数据，但现有实践在估计不确定性时很少考虑复杂抽样设计。我们开发了一个基于设计的公平性监测框架，并运用该框架检验医疗保健支出预测中的时间趋势。

方法：

我们分析了医疗保险支出口径调查（MEPS）的九个年度波次数据（2015–2023年），MEPS是一项具有分层、初级抽样单元和人口权重的全国代表性美国健康调查。在每一年中，随机森林模型预测高年度医疗支出（定义为有正支出的个体中支出最高的前四分之一），采用分层五折交叉拟合，确保每位符合条件的参与者都获得折外预测值。我们评估了性别、种族/族裔和贫困状况的人口均等率和均衡几率。我们使用泰勒线性化估计基于调查权重的公平性差异比率的基于设计的标准误和95%置信区间，然后通过逆方差加权最小二乘法检验时间趋势。

结果：

种族/族裔人口均等比率显著上升（斜率每年+0.132，$p=0.0007$，95% CI $\left[\mathrm{0.077,0.186}\right]$），从2015年的2.95 [2.73, 3.17]上升至2022年的4.00 [3.53, 4.47]。这一上升是在比率（乘性）尺度上发生的，其驱动因素是西班牙裔标记率的持续下降，即对西班牙裔个体的相对漏标记不断扩大。相对于调查加权的高支出真实比率，模型将白人/西班牙裔差距夸大了约1.4至1.8倍，且这一放大效应在观测期内本身也显著增加（基于设计的对数尺度趋势$p=0.004$）。性别和贫困状况未显示显著趋势。使用逻辑回归、XGBoost以及传统留出测试集划分的敏感性分析均保留了种族/族裔正向趋势。

结论：

2015–2023年间，高支出预测中的种族/族裔人口均等比率显著上升，而性别和贫困状况未显示此趋势；这一上升发生在乘性尺度上，反映了西班牙裔个体相对漏标记的扩大。该框架能够利用任何具有公开设计变量的复杂调查，实现对医疗保健AI的统计有效的纵向监测。

引言

机器学习模型越来越多地用于医疗保健领域，包括风险分层、照护管理优先级排序、支付和资源分配。这些系统通常基于大型观测数据集（包括全国调查）进行评估，因为此类数据提供了广泛的人口统计覆盖和政策相关性。然而，从调查数据中计算的公平性指标往往被简单地当作样本比例处理，即使底层数据来源于分层、聚类和差异加权的抽样设计。这种脱节产生了一个信息学问题：模型审计流程可能显得定量化且可复现，但其产生的不确定性估计对于其拟代表的目标群体却是无效的。

生物医学信息学文献已确立了公平性在医疗保健预测中的重要性。先前的研究表明，预测模型可能编码种族、社会经济和临床不平等，包括在高影响的资源分配场景中 [1]、[2]、[3]。算法公平性指标如人口均等率、均衡几率和校准提供了有用的审计视角 [4]、[5]、[6]。然而，公平性审计通常报告为点估计、Bootstrap区间或未经加权的亚组汇总统计。当评估数据来源于复杂健康调查（如MEPS、NHANES或BRFSS）时，这些方法是不够的。这种不足并非仅仅是概念层面的：忽略分层和聚类会产生过窄或过宽的标准误，而忽略差异权重则会产生可能不代表目标总体的点估计。

两个差距推动了本研究。第一，目前没有广泛使用的公平性监测流程将复杂调查中的公平性指标视为具有基于设计不确定性的调查估计量。调查方法论提供了必要的理论：泰勒线性化可以在分层多阶段设计下估计比率、总量和均值的方差 [7]。缺失的步骤是将这些工具与生物医学机器学习中使用的公平性指标连接起来，其中感兴趣的量是分组预测率及其比率。第二，公平性监测日益呈纵向化。部署的模型会随着人口、医疗可及性、文档记录和利用率模式的变化而漂移。关于公平性漂移的最新研究表明，算法偏见可能随时间不可预测地产生和变化 [8]，但正式检验公平性差异是否正在变化的研究仍然不常见。这是一个生物医学信息学问题，因为模型审计流程越来越多地将预测软件、人群健康数据和治理决策结合在一起；信息学贡献在于使评估流程对其所依赖的数据基础设施保持有效。

我们通过开发一个用于复杂调查数据的基于设计的公平性监测流程并应用于九年MEPS数据来弥补这些差距。驱动任务是预测高医疗支出，这是一个与风险调整、支付方分析和资源规划紧密相关的结果。相同的步骤可以应用于其他二元预测任务以及其他具有公开设计变量的复杂调查，使其贡献成为可复用的生物医学信息学方法，而非仅限MEPS的审计。该流程有六个步骤：

• (1)
  在固定审计方案条件下定义总体公平性估计量，并在每个调查年度中为每位符合条件的受访者获得折外预测值；
• (2)
  将人口均等率和均衡几率的组成表达为调查加权的分组率，并使用泰勒线性化结合已发布的设计变量为差异比率附加基于设计的不确定性；
• (3)
  使用逆方差加权最小二乘法跨波次检验人口均等差异比率的时间变化，并预设Benjamini–Hochberg和Bonferroni校正以控制监测家族的检验；
• (4)
  使用分组加权的正向预测率和描述性均衡几率汇总统计分解种族/族裔差异（不属于多重性校正趋势家族的一部分）；
• (5)
  比较朴素的未加权公平性汇总统计与调查加权估计，评估替代模型家族，并重复一次传统的留出训练/测试评估；
• (6)
  用一项校准于真实调查设计的可复现模拟来补充实证分析，该模拟表明当调查权重具有信息性时，朴素的未加权公平性区间是有偏的且对总体差异比率的覆盖率不足。

分节摘录

相关工作

公平性准则将不同的规范性目标形式化。人口均等率要求各组具有相等的正向预测率，而均衡几率要求在各组中具有相等的真正率和假正率（以观测结果为条件）[4]。校准施加了不同的条件，可能与基于均等率的目标产生冲突 [5]、[6]。缓解方法包括通过重新加权进行预处理 [9]、表示学习 [10]、处理内约束和后处理。更广泛的综述

数据来源与分析样本

我们使用了2015年至2023年的MEPS全年综合文件（HC-181、HC-192、HC-201、HC-209、HC-216、HC-224、HC-233、HC-243、HC-251）[13]。MEPS是由卫生研究和质量局（AHRQ）实施的对美国非制度居住民用人口的全国代表性调查。每年提供人口级别权重、方差分层和初级抽样单元。MEPS使用重叠的两年面板设计，面板$P$为连续两个年度

模型性能

在九个MEPS波次中，随机森林的交叉拟合AUC介于0.774至0.807之间（表1；补充表S3）。逻辑回归的交叉拟合AUC介于0.768至0.801之间，XGBoost介于0.758至0.801之间（补充表S3），支持了敏感性分析的可比性。由于在交叉拟合协议下每个预测都是折外的，这些AUC值是完整年度分析样本的留出区分度汇总统计，且不

讨论

本研究提出了一种用于基于复杂调查数据评估的医疗保健预测模型的基于设计的公平性监测方法。核心贡献是方法论上的：调查加权的公平性率和差异比率可以与泰勒线性化配对，以产生反映分层、聚类和不等概率抽样的标准误和置信区间。第二个贡献是纵向的：通过使用这些基于设计的标准误作为逆方差

结论

我们提出了一个用于基于复杂调查数据评估的医疗保健预测模型的基于设计的公平性监测框架。一项校准于真实MEPS设计的可复现模拟表明，当调查权重具有信息性时，基于设计的估计能恢复总体差异比率并保持有效的区间覆盖率，而朴素的未加权区间是有偏的且覆盖率不足。应用于MEPS 2015–2023年数据，该框架发现种族/族裔

CRediT作者贡献声明

George Sun：写作 – 审阅与编辑，写作 – 初稿撰写，可视化，验证，调查，正式分析，数据管理。Longling Sun：写作 – 审阅与编辑，写作 – 初稿撰写，可视化，验证，调查。Yi-Hui Zhou：写作 – 审阅与编辑，写作 – 初稿撰写，监督，方法论，调查，经费获取，概念构思。

资助

本研究未获得公共、商业或非营利部门的任何专门资助。

利益冲突声明

作者声明，他们没有已知的竞争财务利益或个人关系可能影响本文所报告的工作。

George Sun | Longling Sun | Yi-Hui Zhou