《Prehospital and Disaster Medicine》：Evaluating Classifier Derivation and Validation Beyond the Receiver Operating Characteristic Curve
编辑推荐：
受试者工作特征曲线下面积（area under the receiver operating characteristic curve, AUROC）总结了分类器在所有可能阈值下的区分能力，但其并不能确立校准（calibration）、临床效用（clinica
受试者工作特征曲线下面积（area under the receiver operating characteristic curve, AUROC）总结了分类器在所有可能阈值下的区分能力，但其并不能确立校准（calibration）、临床效用（clinical utility）或在实际采用阈值处的性能。该社论利用一个假设的基因组酶检测（genomic enzyme test）来阐释 AUROC 的解释和局限，该检测用于评估对症状性 COVID-19 的易感性。该文强调，阈值选择必须根据预期用途、结局患病率（outcome prevalence）以及假阳性（false-positive）和假阴性（false-negative）结果的后果加以论证。阈值推导（derivation）和验证（validation）应被视为两个独立过程，性能应在独立数据或经适当内部验证的数据中评价。报告通常应包括来自验证数据集的敏感度（sensitivity）和特异度（specificity）及其95%置信区间（confidence interval, CI）以及完整混淆矩阵（confusion matrix）。AUROC 的 P 值应受到有限强调；效应量级（effect magnitude）、精确度（precision）和决策相关性能（decision-relevant performance）更具信息性。
研究背景与意义：二分类分类器（binary classifier，将个体分为两类之一的诊断检测、预测模型或决策规则）在医学中常见，因为许多临床决策最终需要“是或否”的分类。AUROC 常被用于总结分类器的区分能力，但其覆盖所有可能阈值，不能确立校准、临床效用或实际采用阈值处的性能。现有评价中，阈值选择常缺少充分论证，推导与验证可能混淆，AUROC 的 P 值也可能被过度强调，从而掩盖效应量级、精确度和决策相关性能。该社论以假设的基因组酶检测评估症状性 COVID-19 易感性为例，说明 AUROC 的解释与局限，强调阈值选择应依据预期用途、结局患病率和假阳性与假阴性的后果，推导与验证应分开，验证报告应包含敏感度、特异度、95%CI 和完整混淆矩阵。其意义在于推动二分类分类器研究更透明地报告决策相关性能，而非仅依赖 AUROC。
关键技术与方法概述：作者采用方法学社论和假设模拟数据。构建200名参与者的模拟个体水平数据集，其中100名随后发生症状性感染、100名未发生，酶表达水平为0至100。通过设定多个阈值生成受试者工作特征曲线（receiver operating characteristic curve, ROC）并计算 AUROC，同时计算 Youden 指数（Youden’s index）J(c)=敏感度(c)+特异度(c)?1。阈值推导与验证分开：先在推导数据中选择阈值，再在独立可重复模拟验证队列74例患者中评估固定切点35，该队列随机数种子为35074，其中32例发生症状性 COVID-19、42例未发生。使用 Wilson score method 计算敏感度和特异度的95%CI，并以完整混淆矩阵报告。
研究结果：
Binary Classifiers and ROC Curves：二分类分类器将个体分为两类。假设研究中200名参与者中100名发生症状性感染、100名未发生，酶表达水平越高越倾向于发生在受影响者中，但两组存在重叠，没有切点能完全分开。ROC 曲线在每个可能阈值下绘制敏感度与1?特异度，AUROC 为其曲线下面积，范围0至1。AUROC 0.50 表示不优于随机，1.00 表示完美区分；AUROC 也可解释为随机选取一名有结局者和一名无结局者时，分类器给有结局者更高预测评分的概率。重要的是，AUROC 总结所有可能阈值的区分能力，不描述最终用于临床或操作阈值的性能。
Thresholds and Practical Performance：在示例中，阈值30时敏感度可能为95%、特异度仅30%；阈值50时敏感度80%、特异度70%；阈值70时敏感度45%、特异度95%。即使 AUROC 为0.82，选择30、50或70会产生显著不同的假阳性和假阴性分类数。临床适当阈值取决于检测预期用途以及假阳性和假阴性结果的相对后果。
What AUROC Measures：AUROC 是跨所有可能分类阈值的区分度指标，不能单独确立二分类分类器的性能或实际效用，也不应解释为校准或临床效用指标。任何产生连续评分的分类器都可生成 ROC 曲线和 AUROC，但实际中分类器必须在一个或多个指定阈值上操作。其实际价值由这些阈值处的性能决定，而非可能永不使用的跨阈值平均区分度。给定 AUROC 的临床有用性取决于结局患病率或发生率以及分类器将采用的决策阈值；高 AUROC 分类器在相关决策阈值处可能效用有限，而较低 AUROC 分类器在特定情况下可能有用。因此，单独 AUROC 通常不足以作为二分类分类器性能或效用的主要评价。
Selecting a Decision Threshold：阈值选择应清晰描述和论证。作者应说明阈值是基于临床或操作考虑预先指定，还是从研究数据经验性推导；若采用数据驱动方法，应报告方法和理由。阈值选择应反映预期应用、结局患病率或预检概率（pretest probability）以及假阳性和假阴性分类的相对后果，而非仅最大化统计指标。常见数据驱动方法是最大化 Youden 指数，J(c)=敏感度(c)+特异度(c)?1。示例中阈值70、60、50、40、30对应的 J 为0.40、0.53、0.50、0.40、0.25，因此选择阈值60，其敏感度68%、特异度85%。但这意味着约32%易感个体在推导数据中被漏诊。若预期应用要求敏感度至少90%，可选择较低切点如35，并接受特异度下降和假阳性增加。该阈值选择过程应作为模型推导的一部分报告，其敏感度和特异度应在独立验证数据中估计。最大化 Youden 指数不一定临床最优，因其未纳入结局患病率、漏诊与误报后果或分类器预期用途。
Separating Derivation and Validation：推导与验证是独立过程。用于选择或优化分类阈值的数据是推导数据；用同一观察计算性能可能乐观，因为阈值正是为在该数据集表现良好而选择。理想情况下，阈值应预先指定或在开发数据集中推导，随后在独立验证数据集中评价。若无独立验证数据集，作者应使用并描述适当的内部验证方法，并承认用同一数据估计模型或阈值性能的局限。
Reporting Validation Performance：验证分析应报告分类器在预先指定或推导阈值处的性能，这些估计应来自未用于推导分类器或选择阈值的验证数据集。至少通常应包括敏感度和特异度及其95%CI，以及显示真阳性、假阳性、真阴性和假阴性数量的表。依据预期应用，还可报告阳性和阴性预测值、似然比及其他性能指标。若分类器目的是指导临床或操作决策，还应考虑直接评价预期决策阈值处后果或净获益的指标。示例中，推导后选择酶表达水平35为操作切点，并在独立验证队列中评价：74例患者中32例发生症状性 COVID-19、42例未发生；不加进一步优化应用切点后，31/32有结局者被分类为阳性，16/42无结局者被分类为阴性。敏感度为96.9%（31/32；95%CI，84.3%–99.4%），特异度为38.1%（16/42；95%CI，25.0%–53.2%），置信区间使用 Wilson score method。敏感度点估计超过预先指定的90%要求，但95%CI下限为84.3%，因此验证队列未能以95%置信度确定分类器真实敏感度满足90%要求；同时产生26例假阳性分类。独立验证结果说明，选定切点处的性能可能比单独 AUROC 对实际使用更有信息。混淆矩阵是透明展示验证数据的良好方式，其四个单元格包含真阳性、假阳性、真阴性和假阴性数量，使分类错误的方向和频率可见，并提供计算敏感度、特异度、预测值等指标的计数。该假设验证队列在切点35处的完整混淆矩阵为：阳性（expression≥35）中症状性 COVID-19 31例真阳性、无症状性 COVID-19 26例假阳性、总计57例；阴性（expression<35）中症状性 COVID-19 1例假阴性、无症状性 COVID-19 16例真阴性、总计17例。
P Values and Precision：与 AUROC 相关的 P 值通常应受到有限强调。常报告的假设检验是评价 AUROC 是否统计学上不同于0.50，这仅测试分类器是否优于随机，通常是较弱且临床信息较少的基准。样本足够大时，即使 AUROC 与0.50之间很小且实际不重要的偏离也可能统计学显著；反之，小型研究中未达统计学显著并不证明不存在潜在有用的区分能力。作者应强调 AUROC 的大小和精确度，包括其95%CI，而非其 P 值是否跨过任意显著性阈值。比较模型间 AUROC 时，差异的 P 值可能合适，但差异的大小和置信区间，以及其是否代表有意义的性能改善，通常比单独统计学显著性更具信息性。
Conclusion：总之，AUROC 可作为总体区分度的次要指标报告，但通常不应作为分类器性能或实际效用的唯一指标。主要评价应聚焦于临床或操作上有意义的决策阈值处的性能，并明确区分用于推导这些阈值的数据与方法，以及用于验证其性能的数据与方法。报告通常应包括来自验证数据集的敏感度和特异度及其95%置信区间，以及完整混淆矩阵。
讨论与结论总结：该文通过假设性基因组酶检测示例表明，AUROC 的单一数值会掩盖不同阈值下决策相关性能的差异；阈值选择需与预期用途、患病率和错误分类后果一致；推导与验证必须分离；验证报告应以敏感度、特异度、95%CI和完整混淆矩阵为核心，并谨慎对待 AUROC 的 P 值。其核心结论是，AUROC 可作为次要总体区分指标，但主要评价应关注临床或操作上有意义的决策阈值处性能，并清楚区分阈值推导数据与方法及验证数据与方法。
