时序感知的预测触发临床警报评估分析框架

《Healthcare Analytics》：An analytics framework for timing-aware evaluation of prediction-triggered clinical alerts

　　

研究人员提出了一种用于预测触发临床警报的时序感知评估框架。该框架区分了可行动警报与延迟的真阳性警报，量化了在现实响应时间约束下的临床效用，并使用决策分析和患者安全指标评估警报策略。该研究支持在部署前使用时序感知分析对临床警报系统进行评估。

论文解读文章

研究背景与现存问题

临床预测模型越来越多地被用于支持有时间约束的决策，包括监测、升级、预防和针对性临床关注。然而，其临床价值不仅取决于统计准确性。当一个模型被用于触发警报时，该预测便成为工作系统的一部分，工作人员必须注意到警告、解释其含义、判断是否应采取行动，并在不良事件发生前完成响应。因此，在回顾性分类意义上正确的警告，如果在太晚的时间才到达临床医生手中而无法支持预防或缓解措施，其实际价值可能非常有限。

大多数临床预测模型的评估强调区分度（discrimination）、校准度（calibration）和整体概率准确性。但这些指标均无法确定预测触发的警报是否创造了可用的行动机会。决策曲线分析（decision curve analysis，DCA）通过估计跨阈值概率的净获益（net benefit，NB）将模型评估与临床决策更直接地联系起来，但对于时间敏感的警报，一个提前数小时送达的真阳性警告和一个在事件发生前不久送达的警告，对标准净获益的贡献相同，尽管临床响应机会差异显著。

现有方法存在的四个未解决局限性包括：第一，预测性能不能建立临床有用性；第二，标准净获益不区分早期与晚期真阳性；第三，时序在现有评估方法中的代表性不足；第四，警报容量、效用偏好和可实施政策规范的分离不够清晰。因此，本研究旨在提出一种时序感知的扩展方案来解决这些局限性。

研究内容与结论

本研究提出了可行动净获益（Actionable Net Benefit，ANB）作为净获益的时序感知扩展。ANB保留了假阳性警报的偏好加权惩罚，但在获益项中只计入满足预设最小前置时间（minimum lead-time）要求的真阳性警报。延迟的真阳性仍然作为预测正确的结果可见，但不被视为可行动的获益。修订后的框架还分离了不应混淆的四个政策要素：预测风险对患者进行排序，运营容量决定每个警报周期内可审查的患者数量，阈值概率代表假阳性与可行动真阳性警报的相对后果，最小前置时间决定真阳性警报是否可行动。

研究使用来自阿布扎比一家三级学术医院的电子健康记录（electronic health record，EHR）数据，包含2016年11月至2020年8月的住院记录。分析单元从入院级预测转变为患者日警报机会，主要警报场景假设每天上午7:00有一次警报周期，预测窗口为24小时。使用岭惩罚逻辑回归模型提供概率和排序，并通过嵌套五折遭遇层面留一折验证生成主要验证预测。

研究得出了以下重要结论：ANB能够区分早期和晚期真阳性警报，从而更准确地反映临床实用性；在容量约束下，基于排名的政策比基于阈值的政策更能控制警报负担；最小前置时间的引入显著改变了最优政策的选择，尤其是在罕见事件场景下。

关键技术方法

研究人员使用了以下主要技术方法：（1）可行动净获益（ANB），将最小前置时间条件直接纳入获益定义；（2）每周期容量选择，在每个警报周期内按预测风险排名选择固定数量的患者进行审查；（3）遭遇层面嵌套交叉验证，使用五折外验证生成无偏的预测概率；（4）调度特定重新校准，当预测窗口改变时调整概率尺度；（5）敏感性分析，包括不同前置时间假设、不同调度频率和最低人口普查情景。数据来源于阿布扎比一家三级学术医院的EHR系统。

研究结果

3.1 分析框架

研究人员将预测触发的警报定义为时间敏感的决策政策而非静态分类。每个警报机会由患者状态、警报时间、预测窗口、可能的事件时间和决定是否选择该患者进行审查的运营政策组成。三个证据级别被区分：回顾性框架评估、模拟政策评估和前瞻性验证。

3.2 研究设计、源数据和患者日队列

回顾性研究使用常规收集的EHR数据。主要警报场景假设每天7:00 AM一次警报周期和24小时预测窗口。主要结果是该窗口内首次记录的住院跌倒。前置时间计算为警报生成与首次跌倒之间的小时间隔。队列还需要出院感知的结果可观察性，排除在模拟警报发生时已出院或出院后无法观察到完整24小时窗口的警报机会。

3.3 预测因子审计和预处理

预测因子限制在模拟警报前可获取的信息。最终模型保留了18个源预测因子，包括年龄、住院天数、清洁后的Hester-Davis评分、格拉斯哥昏迷评分等数值变量，以及步态、意识水平、跌倒教育等分类变量。两个候选预测因子因质量问题被排除。所有预处理都包含在模型管道内，并在每个训练分区中分别拟合。

3.4 预测模型和遭遇层面验证

岭惩罚逻辑回归模型提供了概率和排序。逆正则化参数通过五层遭遇分层内部折叠的平均验证对数损失选择。主要验证预测通过嵌套五层遭遇层面留一折验证生成。单独的遭遇层面自助法使用1000次重采样估计AUROC、AUPRC和Brier评分的乐观度。

3.5 评估指标

AUROC表征整体排序区分度，AUPRC强调罕见事件下的正类性能，Brier评分总结均方概率误差。运营指标包括正类窗口捕获率、可行动正类窗口捕获率和每个真阳性的假警报数及其可行动版本。

3.6 标准和可行动净获益

标准净获益公式为NB(p_t) = TP/n - FP/n × [p_t/(1-p_t)]。设L为最小可行动前置时间，真阳性警报被分为前置时间≥L的可行动真阳性和前置时间<L的延迟真阳性。ANB定义为ANB(p_t, L) = ATP/n - FP/n × [p_t/(1-p_t)]，其中ATP表示可行动真阳性。

讨论与结论

讨论部分指出，ANB提供了一个将时序维度直接整合到临床效用评估中的框架，弥补了传统净获益无法区分早期和晚期真阳性的缺陷。该框架使预测正确性、运营可行性、偏好权重和及时可行动性可以作为相关但不同的警报政策属性进行评估。通过分离容量约束、效用偏好和最小前置时间，ANB有助于在部署前识别那些可能在统计上表现良好但在实践中效果有限的警报策略。

研究结论部分总结：本研究提出了可行动净获益（ANB）作为净获益的时序感知扩展，通过将最小前置时间条件纳入获益定义，区分了可行动与不可行动的真阳性警报。该框架支持在部署前评估预测触发的临床警报系统，考虑了现实响应时间约束下的临床效用。