综述：在预测性人工智能模型中评估性能指标以支持医疗决策：概述与指导

《The Lancet Digital Health》：Evaluation of performance measures in predictive artificial intelligence models to support medical decisions: overview and guidance

本文系统评估了32个预测AI模型性能指标，提出应基于严格性和临床决策导向的五大性能领域（歧视性、校准、整体性能、分类、临床效用）。推荐核心指标包括AUROC、校准图、净收益（决策曲线分析）和风险分布图，强调需避免使用F1等混合统计与决策分析的指标。

　　
本文由比利时鲁汶大学的研究团队提出，旨在解决医疗人工智能模型评估中的关键问题。研究背景是当前存在大量评估模型性能的指标，但缺乏系统化的指导原则，导致临床实践中可能出现误导性结论。研究团队通过分析32个经典和新型指标，提出了医疗场景下评估AI模型的五维框架和核心推荐措施。

一、研究框架与核心发现
研究将模型性能评估划分为五个领域：歧视能力（区分高低风险的能力）、校准精度（概率估计与实际结果的匹配度）、整体性能（综合统计表现）、分类效果（二分类结果）和临床效用（决策支持价值）。特别强调临床效用作为决策分析的核心，需结合误分类成本进行评估。

二、关键性能指标分析
1. **歧视能力评估**：
- 主要指标：AUROC（受试者工作特征曲线下面积）
- 替代方案：AUPRC（精确-召回曲线下面积）和pAUROC（部分AUROC）
- 发现：AUROC是唯一推荐指标，因其能稳定反映模型的区分能力。其他指标存在临床适用性问题。

2. **校准精度验证**：
- 核心方法：校准曲线（可靠性图）
- 摘要指标：O:E比率（观察值/期望值）、校准斜率、ECI（估计校准指数）
- 实证结果：ADNEX模型原始数据O:E比率为1.23，经校准后降至1.00，显示校准改善有效

3. **整体性能评估**：
- 推荐指标：Brier分数、对数似然、McFadden R2
- 不推荐指标：歧视斜率、MAPE（平均绝对预测误差）
- 特殊案例：Nagelkerke R2在样本量大的情况下表现更稳定

三、分类效果与临床效用
1. **分类指标局限性**：
- 准确率、F1分数等存在以下问题：
- 依赖特定阈值设定（如0.5阈值）
- 忽略假阴性/假阳性的实际临床成本
- F1分数存在方向性偏差（当结果标签反转时数值变化）

2. **临床效用核心指标**：
- 净收益（Net Benefit）：量化干预收益与误诊成本比值
- 标准化净收益：消除样本量影响
- 预期成本：动态评估不同阈值下的成本结构

四、ADNEX模型案例研究
1. **原始模型表现**：
- AUROC 0.911（95%CI 0.894-0.927）
- 校准曲线显示系统性低估（O:E=1.23）
- 临床效用指标：净收益0.443，预期成本0.355

2. **校准后改进**：
- AUROC保持0.911不变（因基于排名）
- 校准曲线与45度线更接近（O:E=1.00）
- 净收益提升至0.444（标准化后0.915）
- 预期成本曲线显示更优决策阈值（0.06 vs 0.1）

五、推荐评估体系
1. **核心指标组合**：
- 统计性能：AUROC + 校准曲线（分组10+）
- 决策支持：净收益曲线（0.05-0.4阈值范围）
- 概率分布图：区分良/恶性肿瘤的预测概率分布

2. **最佳实践建议**：
- 外部验证必须包含校准曲线
- 内部验证可用校准斜率替代完整曲线
- 避免使用F1、AUPRC等混合统计与决策指标
- 报告置信区间时注意临床效用指标的特殊性

3. **实施要点**：
- 决策阈值需临床专家确定（如卵巢肿瘤手术的10%阈值）
- 误分类成本比需根据具体医疗场景设定（如本研究采用9:1的假阳性/假阴性成本比）
- 数据共享建议：公开代码和基础数据，共享处理后的风险估计值

六、行业影响与未来方向
本研究为医疗AI模型评估提供了标准化框架，特别强调：
1. 混合指标（如F1）的误导性风险
2. 校准问题在外部验证中的重要性
3. 决策分析工具的临床转化路径

后续研究方向建议：
- 开发动态校准方法（如自适应Platt缩放）
- 建立多中心验证的标准化流程
- 探索成本敏感型指标（如预期净收益）
- 发展可解释性校准评估工具

该研究对医疗AI的规范化评估具有里程碑意义，其提出的五维评估框架已被纳入《TRIPOD+AI》标准指南的修订讨论。通过ADNEX案例的实证分析，证实了校准优化对临床决策支持的价值，为后续模型开发提供了重要参考依据。