综述：ESR要点：欧洲医学影像信息学会关于AI实践推荐中常用性能指标

这篇综述为放射科医师提供了评估AI工具临床应用的实用指南，重点阐述了分割指标（DSC、IoU）、检测指标（敏感度/特异度/AUROC）和分类指标（精确度/F1-score/MCC）的选择策略，强调需结合本地验证（CE-marking后）和临床场景（如低患病率设置）进行综合评估，避免过度依赖单一指标导致的误判风险。

　　

引言

随着人工智能（AI）在放射学领域的深入应用，如何科学评估算法性能成为临床安全使用的关键。欧洲医学影像信息学会（EuSoMII）的这份指南系统梳理了从技术验证到临床落地的全链条评估策略，尤其强调指标选择需与具体任务（分割/检测/分类）及临床目标严格匹配。

技术性能评估

分割指标

语义分割和实例分割需采用不同评估体系：

• 重叠指标：Dice相似系数（DSC）和交并比（IoU）量化预测与金标准的空间重合度，但易受体积偏差影响（大结构评分虚高）。

  

• 边界指标：归一化表面距离（NSD）和豪斯多夫距离更适用于薄壁或不规则结构，建议与DSC联合报告。

检测指标

基于边界框的检测任务通过IoU阈值判定真阳性（如IoU>0.5），并以平均精度（mAP）综合评估多类别检测能力。

分类指标的双重视角

测试指标

敏感度（召回率）和特异度作为患病率无关指标，适用于模型横向比较。但需注意：高敏感度筛查工具可能伴随假阳性激增（如肺栓塞检测中63%假警报率）。

结局指标

精确度（PPV）和阴性预测值（NPV）直接反映临床决策价值，但高度依赖患病率。图6生动展示了当患病率从50%降至3%时，同一算法PPV从94.95%暴跌至36.77%的典型案例。

多阈值评估体系

• AUROC：反映模型整体区分度，但无法直接转化临床价值。

• AUPRC：在低患病率场景（如癌症筛查）中比AUROC更具参考性，因其排除真阴性干扰。

• FROC：专为多病灶检测设计，以每图像假阳性数（FPPI）替代传统假阳性率。

临床部署陷阱与对策

1. 小结构忽略：采用加权DSC或分体积区间评估（如肺结节<5mm组）。

2. 低患病率误导：避免单独使用准确率，推荐F1-score和MCC（马修斯相关系数）。

3. 流程脱节：需模拟真实工作流测试，例如评估AI提示对放射科医师决策的影响率。

AI生成图像评估

结构相似性指数（SSIM）和峰值信噪比（PSNR）需与人工诊断质量评估并行，因高分可能对应模糊但关键病灶清晰的图像。

前瞻性研究设计

强调以患者结局（如间隔癌发生率、住院时长）作为终极验证指标，而非仅关注算法层面的AUC提升。

总结

该指南构建了从像素到患者的全维度评估框架，其核心在于：指标选择必须回答“这个AI工具能否在我的医院安全解决特定临床问题”。通过16项具体建议和6类常见陷阱分析，为放射科医师提供了抵御市场宣传泡沫的方法论武器。