基于统计等效性检验的机器学习模型公平性评估效能研究——以医疗健康领域为例

《Cancers》：Addressing Power of Equivalence Tests for Statistical Fairness Assessments of Machine Learning Models in Healthcare

　　

背景/目的：机器学习和人工智能（AI）在通过个体化患者照护改变肿瘤学实践方面具有巨大潜力；然而，确保任何获益均能被公平地实现十分重要。已有若干AI工具对传统上资源匮乏或边缘化群体表现出偏倚的实例。要正确验证这些模型在不同人群中表现良好，需要严谨的统计设计与解释。目前公平性评估中缺失的一个组成部分是对判定AI工具公平所需的证据进行清晰、预先设定的定义。方法：为解决这一问题，研究人员将AI模型公平性评估的概念嵌入统计等效性检验（equivalence testing）框架。该方法提供了公平性的先验定义以及一个明确的决策规则，以便以高置信度判定模型性能落在预先设定的界值（margin）之内。该框架还提供检验效能（power）与样本量计算以支持公平性评估的设计阶段，研究人员针对二分类结局与二分类分类的情形进行了开发。作为演示，研究人员使用“五分之四”经验法则（four-fifths rule of thumb）设定等效界值，但强调在实践中选择界值必须结合临床与伦理背景。结果：使用两个已发表的肿瘤学模型，研究人员表明，现实可行的样本量对某些性能指标是充足的，而对另一些指标则不足。研究人员还讨论了对非对称关联度量的效能与样本量考量以及公平性的不可能性结果。结论：AI性能公平性评估应当有意图地设计，从而预先指定目标指标与等效界值，并具备充足样本量以判定公平性。

人工智能（AI）正在通过更早期的癌症检测和风险评估改变肿瘤学实践，具有为患者提供个体化照护的巨大潜力。一个主要挑战是确保任何获益在整个人群中被公平地实现。在肿瘤学以及更广泛的医学领域中，已有若干AI工具和预测模型对传统上资源匮乏或边缘化群体表现出偏倚（bias）的实例。鉴于“偏倚”一词用法的多样性，本研究将其界定为可能进一步使处于一个或多个边缘化社会位置的患者的处境不利的模型性能差异。此类性能差异的实例包括癌症筛查资格与基于模型的肺癌风险预测的种族差异影响、皮肤科AI模型在不同肤色间的性能差异，以及计算病理学模型对癌的误诊在人口学特征和种族上的差异。造成此类差异的原因涵盖嵌入代理结局变量中的结构性种族主义效应、数据缺失（missingness）以及代表性不足群体中的类别不平衡（class imbalance）。确保公平AI的关键一步是正确验证这些模型在一系列多样化人群中表现良好。此类验证需要适当的统计设计与解释。典型的效能计算表明给定样本量是否有任何现实可能性检测到偏倚。此外，对两组（如边缘化与优势阶层）之间正式统计比较的错误解释数十年来一直是一个持续存在的问题。当零假设显著性检验未能拒绝零假设时，得出“无差异”或零假设为真的结论是错误的。在评估AI模型公平性的背景下，这一错误类似于在没有充分证据的情况下断定模型是公平的。而且，由于小样本量、罕见事件或较小的弱势群体而导致研究效能不足以检测偏倚（更不用说判定公平性）时，这一错误会被进一步加剧。为解决这一问题，研究人员将公平性评估嵌入统计等效性检验的框架。通常，研究人员感兴趣的不是两个人群或过程是否完全相等，而是两个人群或过程之间的差异是否在某个合理界值之内。研究人员使用统计等效性检验，旨在比较弱势（或边缘化）群体相对于优势群体时，证明AI模型的性能在一个界值内等效。该框架的一个重要方面是预先设定模型性能之间允许多大差异才被视为公平模型。该方法将责任赋予使用者，使其考虑何种差异对实际显著性有意义而非统计显著性，并将导致判定公平性时得出更可靠的统计结论。统计等效性检验的标准用例是在旨在证明两种治疗具有相同效应的临床试验设计中；但等效性检验也已应用于生态学、化学、传播学和心理学等其他领域。研究人员将等效性检验应用于评估机器学习模型的公平性，遵循了近期利用统计方法对机器学习公平性研究中关联度量进行不确定性量化的进展，但这些研究并未使用等效性检验。作为对该文献中确实考虑等效性检验的两项工作的补充，研究人员在肿瘤学背景下提供了扩展演示；考虑了相对风险以外的指标；讨论了在相同样本量下某些模型性能指标会比其他指标具有更多或更少效能；并考虑了在不可能性定理（impossibility theorems）面前的实际意义和相关性，这些定理意味着即使在尝试生成公平模型之后，某些水平的偏倚仍可能持续存在。

　　研究人员聚焦于以二分类分类对二分类结局建模的简单设置，即考虑一个AI或机器学习模型对患者进行二分类结局分类，如患病与未患病，或不良事件发生与未发生。模型的输出被解释为两个二分类预测类别或风险组，即高风险和低风险（例如基于结局估计概率的阈值）。标准性能指标自然来源于混淆矩阵（confusion matrix，即以二分类结局为列、二分类模型输出为行的列联表），研究人员考虑了以下“成功”指标（值越大越好）：灵敏度（sensitivity，又称召回率）、特异度（specificity）、阳性预测值（PPV，又称精确率）和阴性预测值（NPV）。研究人员还考察了这些值的补值，称为“失败”指标（值越大越差）：假阴性率（FNR = 1 ? 灵敏度）、假阳性率（FPR = 1 ? 特异度）、错误发现率（FDR = 1 ? PPV）和错误遗漏率（FOR = 1 ? NPV）。此处未纳入准确率（或其补值错误率），因为它对罕见事件不是信息性指标，而罕见事件在生物医学应用中属常态。为简化，研究人员比较两组之间的模型性能：弱势群体和优势群体。研究人员通篇使用“弱势”和“优势”术语，但认识到相关解释取决于具体背景。作为对比，研究人员使用相对风险（relative risk，即指标之比），一致地报告弱势群体相对于优势群体的性能指标。相对风险为1表示两组性能相同。对于“成功”指标，相对风险小于1表明模型对弱势群体的性能劣于优势群体。对于“失败”指标，方向相反，相对风险小于1表明弱势群体性能更好。统计等效性检验的思想是确定两组之间的差异是否落在预先设定的边界内，该边界称为等效界值。界值的选择是研究者的判断问题，应基于何为临床相关。在AI模型公平性检验的背景下，等效界值对应于可被视为公平的限度。换言之，落在等效界值之外的真实差异将被视为偏倚性能的证据。为演示目的，研究人员使用“五分之四规则”指导公平性等效界值的选择。五分之四规则是美国平等就业机会委员会的一项指南，即如果一个群体在就业过程中被选中的频率低于被选中最多群体的五分之四（或80%），则可能成为差异性影响调查的起点。将该规则应用于机器学习模型公平性评估已被批评为严重不足，尤其因为它只是启动（人工、定性）调查的一种标准，远非机器学习将其简化地用作必要且充分的决策阈值。此处研究人员使用五分之四规则以便与其他机器学习工作具有可比性。在方法中，为在使用4/5 = 0.80作为下界时在零假设两侧具有类似（或倒数对称）的界值，研究人员使用1/0.80 = 1.25作为上界。对于任何具体应用，研究人员强调等效界值应是实质性的伦理和临床决策，而非基于来自另一领域的经验法则的类比。为判定公平性或等效性，必须在考虑数据固有变异性的情况下以高置信度排除等效界值之外的所有值。在实践中，该决策归结为感兴趣比较的90%置信区间（confidence interval，CI）是否完全落在等效界值之内。等效性的条件可通过“双单侧检验”（two one-sided tests，TOST）方法以零假设统计检验的形式表述。顾名思义，该方法对下界和上界分别进行两个单侧检验。在比较相对风险的背景下，两个假设检验可形式化为：H0下界：相对风险 ≤ 0.80 对比 H1下界：相对风险 > 0.80；H0上界：相对风险 ≥ 1.25 对比 H1上界：相对风险 < 1.25。如果H0下界和H0上界均在5%显著性水平下被拒绝，则在5%显著性水平下判定等效。即拒绝两个零假设为各自的备择假设提供了强证据，因此结论是真实相对风险落在0.80至1.25的等效界值之内。对于5%显著性水平，双单侧检验程序等价于90%置信区间程序。使用双单侧检验方法，可在预先设定的等效界值和假设效应量下，针对给定样本量计算检测等效性的效能。等效试验的效能计算已成熟确立，适用于广泛的研究设计、结局和关联度量。此处研究人员将这些方法应用于规范设置下AI模型公平性评估中使用的比较。效能计算基于相对风险估计量的渐近近似，标准误公式针对对数相对风险推导。为使大样本近似成立，一个保守规则是预期混淆矩阵每个相关单元格中至少有五个计数，若不满足这些标准，则有更复杂的检验和置信区间程序可用（如Koopman评分区间、反双曲正弦区间等）。

　　研究人员首先在“乌托邦”公平（utopian fairness）假设下演示效能计算，这是一个理想化情景。此处乌托邦公平假设弱势群体与患病率（prevalence，即具有感兴趣二分类结局的比例）、灵敏度和特异度无关（并隐含地与PPV和NPV无关）。考虑这一理想化和简化情景的理由是，它允许研究人员在保持所有其他参数不变的情况下展示每个特定参数的变化如何影响效能。所考虑的特定参数为弱势群体在总人口中的比例、疾病的患病率、灵敏度和特异度。给定患病率、灵敏度和特异度，其余指标——PPV和NPV——是固定的，可通过贝叶斯规则计算。对于从100到100,000的样本量，研究人员计算在乌托邦公平假设下检测相对风险界值0.80至1.25内等效性的效能。效能（作为样本量的函数）对不同性能指标随弱势群体比例的变化情况显示，例如，对于灵敏度等效性获得80%效能，当弱势群体比例为0.10、0.25和0.50时，分别需要约2600、1200和900的样本量。对于特异度获得80%效能，所需样本量可以更小，因为在默认设置下非事件的比例大得多（例如，对于0.25的比例，约需400名患者）。对于PPV，需要更大样本量，当弱势群体比例为0.10、0.25和0.50时，分别需要约5100、2500和1800以获得80%效能。与特异度类似，NPV显示等效所需样本较小（例如，对于0.25的比例，所需样本量少于200名患者）。在“成功”指标中，0.1至0.5的比例范围对PPV影响最大，所需样本量变化最大。“失败”指标在相同效能下需要大得多的样本量（FDR除外）。该图的主要结论是，平衡比较，即优势群体和弱势群体之间均等分配，导致最高效能（即在规模为N的人口中，优势群体和弱势群体规模均约为N/2）。效能随结局患病率变化的情况显示，对于灵敏度比较获得80%效能，患病率为0.01、0.10、0.25和0.50时分别需要约30,700、3100、1200和600的样本量。患病率对特异度效能影响较小，所需样本量范围约为300至600（分别对应患病率0.01和0.50）。因此，罕见结局模型在确立灵敏度 and PPV公平性方面需要大得多的样本量。

　　研究人员使用一篇近期发表的、考察减轻结直肠癌复发风险预测模型中种族和民族偏倚策略的文献。研究人员从该文中识别参数值以演示效能计算，但承认该文的意图不止于简单的两组公平性评估。研究人员使用将患者分类为结直肠癌复发高风险或低风险的预测模型结果，其3年发病率为0.112，并比较了1981名非白人患者与2249名（非西班牙裔）白人患者（即弱势群体比例为0.468）。此外，FNR为0.073，FPR为0.699（即灵敏度为0.927，特异度为0.301，PPV为0.143，NPV为0.970）。在这些条件下，样本量对于判定灵敏度、特异度、FPR、FDR和NPV的等效性具有高效能，但对PPV效能有限，对FNR和FOR基本无效能。作为另一个例子，研究人员使用了一项近期评估从肺癌患者病理切片检测EGFR突变的开源AI模型研究的摘要。在N = 1465的特定队列中，模型性能在歐洲血统和亚洲血统患者之间进行比较（亚洲血统比例为0.061）。EGFR突变的患病率为0.25，模型性能报告为灵敏度0.84和特异度0.99。在这些设置下，样本量对于判定特异度、PPV和NPV的等效性具有高效能，但对剩余指标效能低（或无）。若先验应用，这些计算表明哪些指标和比较在模型确实在某给定指标上表现相同时可能支持公平性结论。此外，这些计算表明哪些指标无法得出公平性结论，并突出了“无效能”情景（即即使点估计表明指标相等，置信区间也太宽，无法支持关于等效性或公平性的任何统计结论）。获得接近100%的效能——正如两个例子对某些指标所展示的——在等效性为真时能判定等效性这一点上是有吸引力的，但它也可能表明样本量过大或等效界值过于保守。为缓解后一种担忧，研究人员强调公平性评估的结果应关注观察到的点估计和置信区间，而非强调统计显著与否的二元结论。作为一个具体例子，如果公平性评估的相对风险的90%置信区间为0.98至1.04，则在倒数对称界值0.96 = 1/1.04和1.04内描述性地指出相对风险的等效性，以及在预先设定的0.80至1.25界值内判定公平性，在统计上是合理的。对于效能非常高的情况，另一个考虑因素是进行亚组分析，这可确保弱势群体和优势群体之间的可比性，并突出性能较差的交叉群体。另一种实用方法是针对不同指标精细调整等效界值。对于结直肠癌例子，将灵敏度效能固定为90%允许等效界值收窄至0.918至1.089，这将支持更强的公平性结论。将特异度效能固定为90%允许等效界值为0.848至1.179。这种方法展示了在样本量已固定时（例如基于 readily available 数据）反向工程界值。然而，研究人员强调预期的主要用途是在研究设计阶段的 prospective 应用，先指定界值，然后选择样本量以为特定指标提供足够效能。这些效能计算的一个显著特征是，对于给定一组参数值，“成功”指标的效能可能与其互补的“失败”指标有实质性差异。这一结果是由于相对风险关联度量的非对称性。例如，在默认参数设置下，灵敏度0.75需要约1200的样本量以获得80%效能检测等效性，而FNR（即1 ? 灵敏度）0.25需要约11,100的样本量以获得类似效能。这种非对称性可以用假设点估计来考虑；例如，如果弱势群体的灵敏度为0.75而优势群体为0.90，则相对风险0.83在等效界值内，尽管比例差异相当大；相反，弱势群体的FNR为0.25而优势群体为0.10，相对风险为2.5，远在等效界值之外。另一种策略是使用对称的关联度量，例如比值比（odds ratio）或风险差（risk difference）。研究人员选择相对风险部分基于五分之四规则，它自然地对应于比例之比。相对风险在各领域也常被偏好，因为它们更易解释（例如，它们对应于“条件A的率是条件B的两倍”这样的陈述）。相同的数值界值0.80至1.25可应用于比值比，但比值尺度上的五分之四不等价于风险尺度上的五分之四。应用于比值比时，这些界限对应于小于标准化均数差尺度上通常被视为小效应的效应（即Cohen's d为0.2）。一般而言，比值比对于成功或失败指标均需要比相对风险更大的样本量。在前述例子中，使用比值比将需要约19,700的样本量（对灵敏度和FNR均如此）以获得80%等效性效能，这远大于FNR相对风险所需的11,100。公平性评估中的一个重要理论结果是无法同时满足某些公平性标准。即不可能性结果表明，如果分类模型满足分离性（separation，即灵敏度和特异度完全公平）和充分性（sufficiency，即PPV和NPV完全公平）属性，则要么乌托邦公平为真，要么概率模型存在退化（即概率为0）。乌托邦公平假设是一种在实践中不现实的理想化，因此考虑放宽它很重要。例如，如果结局事件的患病率因敏感特征而异，则分离性和充分性一般不能同时成立。当灵敏度和特异度在弱势群体和优势群体之间相等但患病率不同时，PPV和NPV的隐含值显示，优势群体中较高的患病率导致弱势群体在PPV方面的相对性能更差。PPV的真实相对风险仍在等效界值内，但随着相对风险接近等效边界，效能急剧下降。相反，对NPV的影响仅温和，导致效能相对小幅下降。为不可能性定理的经验演示，研究人员回到预测结直肠癌复发的模型。对于复发结局，有证据表明复发率因种族而异。具体而言，非白人组的患病率为0.131，而（非西班牙裔）白人组为0.095。当假设灵敏度和特异度在各种族组间相同时，患病率差异导致弱势群体在PPV方面性能更好（即非白人为0.167对比白人为0.122），相对风险为1.36；在FOR方面性能更差（即非白人为0.0353对比白人为0.0248），相对风险为1.42；这两个比值均已超出等效界值。相反，FDR和NPV的相对风险变化仅温和偏离公平（或零）值1，效能不受影响。不可能性结果的实际意义是，对所有指标的精确公平在实践中通常无法获得。机器学习文献通过在指定限度内施加公平性约束来解决这一问题。统计等效性检验是这种方法学的自然类比，放宽公平性定义以允许性能仅相差一定限度。两种方法之间的区别在于，减轻偏倚的机器学习策略将公平性约束构建到模型中，而等效性检验是用于经验验证公平性的正式检验。

　　讨论部分指出，研究人员在统计等效性检验的背景下描述了公平性的概念。一个关键要点是标准（单次检验）零假设检验不应用于判定AI模型是公平的，因为它们不能为零假设提供强证据。相反，等效性检验提供了一个基于预先设定和临床相关效应判定等效模型性能的框架。研究人员使用五分之四规则作为边界条件，但任何具体应用都应基于实质性输入采用更严格或更宽松的界值。研究人员以肿瘤学作为激励性例子并辅以经验说明，但该方法与疾病无关，可随时应用于其他医学背景下的公平性评估。另一个要点是，对所有性能指标具有足够效能通常无法实现。因此，设计良好的公平性研究应预先指定感兴趣的主要指标及实质性等效界值，然后瞄准具有足够样本量的队列以提供合理效能显示公平性。哪些指标应预先指定取决于模型所犯错误的临床后果：当漏诊病例带来更大危害时，灵敏度和FNR是主要关注点；而当不必要的随访负担占主导时，特异度、FPR和PPV是主要关注点；FOR则反映了谁被排除在潜在辅助干预之外。这种有意图的设计迫使研究者在公平性评估成功标准方面提供先验标准，类似于设计临床试验所需的严谨性。相反，一项不那么有意图但更务实的公平性评估可能使用 readily available 数据的便利样本，在这种情况下，这些效能计算可告知哪些指标有合理机会判定等效性，哪些则没有。在两种情况下，等效性框架提供了明确的规则，避免对以substantial不确定性估计的指标判定AI工具公平。本研究的一个局限性是聚焦于基于二分类结局、二分类分类和两组比较的标准混淆矩阵指标的简单比较的规范设置。研究人员选择这一简化框架是因为它也常见，并且为了可解释性和复现此类AI工具最终可能在实践中实施的方式。然而，研究人员强调其他建模场景以及校准和判别能力指标的重要性。为此类指标定义等效性的一个挑战是拥有可解释的等效界值。例如，比较受试者工作特征曲线下面积（AUC）常用于比较分类模型的判别能力；确实，检测肺癌患者EGFR突变的例子显示AUC方面存在差异性能。然而，对于AUC差异的哪些等效界值是可解释或有用的尚不清楚，其他工作已详述了进一步使AUC在公平性评估中使用复杂化的细微差别。其他尚待解决的方面包括多分类或多标签结局与top-k标签，以及涉及多于一个弱势（或敏感）组的比较。开发后一种场景可以解决交叉亚组的潜在问题，这在反歧视法中有重要的历史先例（即考虑种族和性别交互作用对雇佣实践的影响）。将等效性检验应用于这些建模场景的公平性评估是未来研究的一个领域。鉴于五分之四规则在其原始背景之外应用的局限性，需要关于标准界值或如何在特定用例中确定界值的实质性建议。研究人员承认临床医生可能不知道如何围绕风险比效应量或模型公平性的等效界值进行推理；这可能是未来定性和伦理工作的主题，但与此同时，可以建议使用具体数字进行推理。例如，如果一个AI模型在一组中检测出100例癌症中的95例（灵敏度 = 0.95），但在另一组中仅检测出100例癌症中的76例（灵敏度 = 0.76），则风险比为0.76/0.95 = 0.8。但这样一个差了19/100病例的模型在临床和伦理上可能不可接受。如果可接受的界值是不超过少5例（即另一组中诊断出的癌症不少于90/100），则它将建议等效界值的效应量为0.90/0.95 = 0.947，研究人员可将其四舍五入为0.95相对风险阈值，以获得“二十分之十九”效应量用作等效界值。其他对临床医生更易解释的陈述可能使用诸如需治疗人数（number needed to treat，NNT）等指标，它直接映射到风险差（即比例之差）。先前关于等效性检验的描述提供了定义等效界值主观依据的规定性方法，包括使用微不足道的效应量（如Cohen's d为0.1）、基于文献中的相关研究确定界值，或基于先前假设的效应量确定界值（如用于为优效性试验提供效能的效应的33%）。然而，这项工作也警告不要“不加思考地应用‘食谱式’处方”来定义等效性，再次强调也不存在单一程序可以始终使用：选择应是实质性的和针对具体案例的。就研究人员的演示而言，虽然研究人员用五分之四界值展示事物，但更紧的界值将导致所需样本量增加，其方式与增加效能需要增加样本量相同，但风险比的非对称性和比值比所需更大样本量保持不变。鉴于各指标间统计精度的固有变异性，允许不同指标采用不同等效界值是合理的，研究人员在预测结直肠癌复发的机器学习例子中展示了这一点。设置此类界值的一个挑战是明确承认完美（或理想化）公平可能无法获得，尤其是在公平性不可能定理的背景下。此类偏倚——即使很小——可能加剧不公正，尤其是如果大规模应用，这为严格的等效界值提供了论据。一个重要认识是性能-公平权衡的潜力，更公平的模型导致性能更差的模型，平衡这一权衡的挑战是伦理考量，不一定能通过统计信息解决。最后，研究人员强调评估AI模型性能指标的公平性并不能解决所有不平等来源。对AI公平性的完整评估还应涉及谁能够获得以及谁从这些模型的实施中受益；这些模型所嵌入的系统；基于模型所采取的行动类型，这些行动在效果上可能以非随机方式偏离模型的性能；以及从公平性的定量评估中可能产生什么样的可操作性和问责制系统。

　　结论部分指出，这项工作解决了公平性评估中的一个实际差距：研究者经常报告亚组性能指标，但没有确定其样本量是否能区分有意义的偏倚与统计噪声，或者证据是否足够强以判定亚组间性能可比。研究人员提出了一个用于公平性评估的等效性检验框架，该框架结合了预先设定的公平性界值、比较的置信区间以及各种性能指标的效能（或样本量）计算。