延迟规则几何特性而非多维可靠性解释了临床AI选择性预测的增益：一项基于三个重症数据库的ICU研究

《Bioengineering》：Deferral-Rule Geometry, Not Multidimensional Reliability, Explains Selective-Prediction Gains in Clinical AI: A Three-Database Intensive Care Study

　　

摘要专业翻译 多维可靠性评分（multidimensional reliability scores）曾被提出作为比置信度（confidence）更优的临床预测延迟（deferral）判据。研究人员在来自MIMIC-IV（68,546次住院）、MIMIC-III（42,242次）和eICU（119,757次住院；206家医院）的重症监护患者中，评估了可靠性门控延迟（reliability-gated deferral）用于脓毒症（sepsis）、死亡率（mortality）和升压药（vasopressor）预测，采用患者级划分（patient-level splits）、留出医院（held-out hospitals）以及MIMIC-IV至eICU的迁移（transfer）设置。相对于延迟最低预测风险的单侧门控（one-sided gate），可靠性复合评分（reliability composite）在80%覆盖率下将保留预测的Brier评分（Brier score）降低了1.5至2.1倍。相对于对称门控（symmetric gate）——该规则可使校准模型（calibrated model）的该误差最小化——复合评分在12个数据库–任务组合中均无优势；对称门控在其中5个组合中表现更优。在匹配预测风险（matched predicted risk）下，缺失感知可靠性维度（missingness-aware reliability dimensions）以及基于完整患者记录的误差模型（error model）在75项计划检验（54项确证性）中均未显示超出校准置信度的统计学可检测延迟改善，尽管注入的误差信号（injected error signals）在保留Brier评分中0.004–0.007的增益可被检测到。在数据库间迁移后，校准误差（calibration error）达到19.7%，部分评分携带了超出预测风险的结果信息，但目标站点的重校准（recalibration）对保留预测的改善远大于任何评分。延迟信号应针对匹配风险下的对称置信度进行评估；迁移情境需要重校准。

论文解读文章

研究背景与问题

临床预测模型在脓毒症、死亡率和病情恶化等任务中，通常在留出数据上报告超过0.85的受试者工作特征曲线下面积（AUROC）。然而，平均性能无法反映单次预测的质量。模型在特定亚组和新站点上系统性失败，而这些失败很少被信号传递给临床医生。模型自报的置信度未必反映输出是否正确，临床医生的信任取决于知道何时不应依赖模型。选择性预测通过允许模型弃权来应对这一问题。经典拒绝选项及其现代形式对置信度评分设置阈值；学习延迟方法则联合训练延迟决策；共形方法增加了无分布覆盖保证。对基于置信度的延迟的一个常见批评是置信度是一维的：模型可能因错误原因而自信，例如在训练分布外推或依赖稀疏输入时。这一批评推动了多维可靠性评分的提出，该评分以数据充分性、分布熟悉度和预测稳定性等信号补充置信度。

本研究的前期预印本提出了一种重症监护单元（ICU）预测的可靠性评分，并报告了相对于置信度门控的巨大增益：两种判据延迟了几乎完全不同的患者，可靠性门控将保留预测的Brier评分减半。然而，这些比较使用了单侧置信度门控，即延迟预测风险最低的患者。教科书式的选择性预测规则是对称的：延迟最大类概率最接近0.5的预测。两种规则延迟的是风险分布的两端。此外，保留患者的指标取决于各规则保留的对象，Brier评分依赖于患病率；一个规则可能仅因保留更易人群而表现更好。可靠性评分只有在预测风险相同的患者中识别出错误预测时才具有附加价值，这一比较在临床可靠性评分中尚未进行，也未在分布偏移下进行——而偏移正是此类评分预期最重要的场景。

研究内容与主要结论

研究人员在三个ICU数据库（MIMIC-IV、MIMIC-III和eICU）中，对脓毒症、死亡率和升压药预测重新评估了可靠性门控延迟，采用患者级划分、eICU医院留出以及MIMIC-IV至eICU的迁移设置。研究贡献包括：（1）分析参考点：对于校准模型，风险为p的预测的期望平方误差为p(1?p)，且在相同p的患者中，评分只有在携带模型缺乏的结果信息时才能发现额外误差；（2）12个数据库–任务对的证据表明，可靠性复合评分相对于单侧规则的1.5至2.1倍优势在对称规则面前消失；（3）风险匹配检验显示，缺失感知可靠性维度和基于完整患者记录的误差模型在分布内和分布外均未改善延迟，在检验灵敏度范围内；（4）提出了临床选择性预测的评估建议，并公开代码和注明日期的分析计划。

关键技术方法

研究使用了三个重症数据库：MIMIC-IV v3.1（Beth Israel Deaconess Medical Center，2008–2022）、MIMIC-III v1.4（2001–2012）和eICU Collaborative Research Database v2.0（206家美国医院）。特征在ICU入院后24小时内从23个原始信号（10项生命体征和13项实验室检验）计算，每个信号以均值、最小值、最大值、最后值和观测次数汇总，共115个特征。基础模型为五种子XGBoost v3.2集成（最多500棵树，深度6，学习率0.05），在未插补特征上训练，原生处理缺失值，集成均值通过验证集上的等渗回归校准。可靠性复合评分将置信度与四个维度结合：数据充分性（24小时窗口内有观测的信号比例）、队列相似性（训练均值的马氏距离的指数衰减）、时间稳定性（窗口内各信号变异系数的均值补数）和扰动敏感性（50次随机置零10%输入的预测方差）。复合评分为每例患者的平方误差模型，采用交叉拟合的梯度提升回归器，约束为D1的单调递增函数。延迟规则包括单侧置信度门控、对称置信度门控和可靠性门控，均在相同覆盖率下比较。风险匹配检验将患者按预测风险分为10个等大小箱，箱内延迟评分最低的20%患者，以分离评分信息与病例组合效应。

研究结果

可靠性与单侧置信度对比。 相对于单侧门控，可靠性复合评分在三个数据库和留出医院中重现了预印本的主要发现：延迟集几乎不相交（12对中Jaccard ≤ 0.02），保留集Brier评分低1.54至2.12倍，12个Brier差异经Holm校正后均显著。按表面价值解读，这似乎表明可靠性识别了置信度遗漏的患者。

单侧门控与可靠性门控延迟预测风险的对立尾部。 单侧门控延迟了预测风险最低的患者（中位p为0.008、<0.001和0.008），这些患者几乎无事件发生（延迟患病率0.7%、0.4%和1.1%）。复合评分延迟的患者处于分布较高位置（中位p为0.44、0.33和0.12），与对称门控相似。Jaccard指数接近零是切割位置的几何后果，而非捕获不同类型不可靠性的证据。风险–覆盖率曲线显示，覆盖率从100%降至50%时，单侧门控的保留Brier评分上升（脓毒症0.094至0.166），保留患病率随之上升，符合方程（2）的预测：该规则移除了期望平方误差接近零的患者。

对称置信度规则匹配或超越复合评分。 相对于对称门控，复合评分在12对中无任何优势。7对中保留Brier评分无显著差异，5对中对称门控更优（MIMIC-IV脓毒症、MIMIC-III脓毒症、MIMIC-III升压药、eICU升压药和eICU-H升压药）。两门控延迟了大致相同的患者（Jaccard中位0.76），而对称与单侧门控完全不相交。复合评分的保留AUROC在11对中更高，但这反映的是保留人群的患病率差异而非更好的延迟。

复合评分所学内容。 误差模型主要依赖置信度：D1占12对中模型分裂增益的44–85%，D2–D5各占3–15%。复合评分与p的Spearman相关系数为?0.64至?0.96。完全移除D2–D5后，9对中保留Brier评分均更低。复合评分偏离对称门控之处，偏离损害了准确性：仅由复合评分延迟的患者比仅由对称门控延迟的患者携带更少的误差。

匹配风险下，无评分显示超出置信度的可检测延迟改善。 风险匹配检验中，oracle评分相对于随机延迟获得27.9–54.4×10?3的增益。阳性对照在全部15个设置–任务组合中被检测到。对称门控本身相对于随机延迟获得0.7–4.8×10?3。75项计划检验（54项确证性）中，无评分在Holm校正后显示正的调整增益Δadj；20个点估计为正但置信区间均跨零。给定完整患者记录的学习误差模型L增益为?1.9至+1.1×10?3，14个组合的置信区间跨零。向L添加维度无帮助。缺失感知维度D3?和D5?在多个设置中低于对称门控。滴定对照显示测试可靠检测约4–7×10?3的增益；植入特征恢复实验显示L几乎完全恢复误差信号；似然比检验在60个评分–设置组合的6个中发现超出p的灵活函数的结果信息，但延迟增益太小。

站点和数据库偏移下。 在留出的eICU医院，校准保持（M-ECE 0.5–0.9%），L增益跨零。MIMIC-IV至eICU迁移严重恶化死亡率校准（M-ECE 19.7%），但L增益仍跨零。迁移后无风险匹配时，C?在死亡率上保留更低Brier评分（0.0965 vs. 0.0998），但匹配风险下无优势。迁移差异主要来自数据库记录方式而非患者群体：eICU生命体征记录频率约为十倍，缺乏华氏温度信号，乳酸测量频率较低。目标站点重校准将死亡率M-ECE从19.7%降至0.5%，保留Brier评分从0.0998降至0.0494，远大于C?的改善。特征协调（移除观测计数和温度）将校准误差降至5.0%。

保留子集指标取决于各门控保留的对象。 保留Brier技能评分上，单侧门控在11对中排名高于对称门控，因为其保留更高患病率人群。净收益同样显示依赖关系：单侧门控的净收益等于无延迟净收益除以0.8，因其延迟的患者低于所有阈值。决策损失分析中，复合评分在8–11对中高于阈值特异性门控。

替代方法、基础模型、标签和压力测试。 近似距离0.5的评分达到最低保留Brier评分：对称置信度、温度缩放熵和复合评分。蒙特卡洛dropout方差和贝叶斯逻辑回归方差更差。MLP基础模型下对称门控再次匹配或超越复合评分。Sepsis-3标签下对称门控略优于复合评分。压力测试下对称门控的保留Brier评分在每个幅度均等于或低于复合评分。

临床操作和亚组。 80%覆盖率下，模型误分类对称门控延迟患者的38%、31%和14%（脓毒症、死亡率、升压药），审查准确率需超过62%、69%和86%才能增加价值。对称门控的保留集特异性更高、敏感性更低。亚组分析显示年龄和种族/族裔组的延迟率差异最大。

讨论与结论

研究发现，多维可靠性评分的优势完全来自与单侧规则的比较。方程（1）解释了整体和风险匹配结果：校准模型的期望平方误差通过p(1?p)依赖预测风险，相同p的患者中仅随真实风险η(x)变化。可靠性评分只有在知道风险模型未使用的信息时才能超越置信度，而从模型已使用的记录计算时，这些信息大多已被利用。缺失是明显例证：XGBoost模型以缺失值原位训练，缺失测量的信息量直接进入p。迁移场景中，偏移主要来自记录方式差异，影响所有患者，逐患者排序无法发现所有给定风险患者共有的误差。重校准而非延迟是偏移的首要补救措施。预印本比较误导的三个特征：单侧比较器、保留患者指标和误差预测训练目标。研究建议：以对称置信度规则为基准；在匹配预测风险下以分级阳性对照检验候选信号；明确延迟目的并选择相应指标；将重叠统计视为描述性。可靠性信号仍可能在模型输入之外的信息（如文档延迟、设备伪影）、审查者建模和解释功能中发挥作用。局限性包括：所有数据库来自美国、两库来自单一机构、无时间划分、脓毒症标签来自出院编码、负结果有界而非绝对、重校准使用目标站点标签、无临床医生参与评估。结论：可靠性复合评分的优势来自与延迟最低预测风险的单侧规则的比较；相对于对称置信度规则无优势；匹配风险下无可靠性信号显示可检测的延迟改善；数据库间迁移后重校准远优于任何可靠性评分。研究建议，在将选择性预测增益归因于更丰富的信号之前，应针对匹配预测风险下的距离0.5进行比较并报告各规则保留的对象；偏移下重校正是首要补救措施。