《Medical Image Analysis》：Performance uncertainty in medical image analysis: A large-scale investigation of confidence intervals
编辑推荐：
医学图像分析中机器学习(ML)模型的性能估计来自有限测试集，因此固有地受抽样变异影响。置信区间(CI)是报告性能估计不确定性的最常见方法，美国食品药品监督管理局(FDA)要求提交人工智能(AI)医疗器械时报告CI。然而，不同CI方法的可靠性和精确性不同，选择不
医学图像分析中机器学习(ML)模型的性能估计来自有限测试集，因此固有地受抽样变异影响。置信区间(CI)是报告性能估计不确定性的最常见方法，美国食品药品监督管理局(FDA)要求提交人工智能(AI)医疗器械时报告CI。然而，不同CI方法的可靠性和精确性不同，选择不当可能导致对模型性能的过度自信或信心不足。医学影像AI具有任务和应用特定性能指标以及小到中等样本量等特征。研究人员开展了大规模研究，考察ML问题(分类、分割)、样本量、性能指标和聚合方法等研究特征如何影响CI方法的可靠性和精确性。研究覆盖分割和分类各12个任务、各19个模型，共456个基准实例，评估参数与非参数CI方法在不同性能指标、汇总统计量和样本量下的覆盖率(coverage)和宽度(width)。结果表明，根据研究特征，样本量需求从数十到数千不等；不同CI方法并非同等可靠和精确；指标选择影响估计噪声量化的难度；分类需要比分割更多观察；宏平均比微平均收敛更慢；距离型指标比重叠型指标收敛更慢；分割失败多与离群值有关，分类失败多与类别不平衡有关。研究结果对研究实践具有直接影响，并以决策树形式总结启示。
论文解读文章
研究背景：过去十年，医学影像机器学习(ML)论文数量指数增长，但文献向常规临床实践的转化仍然很少。阻碍转化的问题之一是研究论文缺乏对性能估计的不确定性量化。性能估计由有限大小的测试集计算得到，因此固有地受抽样变异影响，应结合不确定性度量进行解读。置信区间(CI)是报告性能估计不确定性的最常见方法，FDA也要求提交AI医疗器械时报告CI。然而，CI估计并不简单，不同CI方法可能导致对模型性能的过度自信或信心不足。好的CI方法应兼顾可靠性(可靠地包含真实值)和精确性(区间宽度尽可能小)。医学影像AI存在领域特性：需要大量任务和应用特定性能指标，且研究常使用小到中等样本量。现有CI研究很少，范围狭窄，多依赖参数模拟或特定统计情形。因此，研究人员在《Medical Image Analysis》发表论文，开展医学影像中CI方法的大规模研究，核心问题是研究特征包括ML问题(分类、分割)、样本量、性能指标和聚合方法如何影响CI方法的可靠性和精确性。
关键技术方法：研究使用Medical Segmentation Decathlon (MSD)的12个分割任务，包括3个脑肿瘤磁共振成像(MRI)任务、2个海马MRI任务、2个肝脏计算机断层扫描(CT)任务、2个胰腺CT任务、1个结肠CT任务和2个肝血管CT任务；分类任务基于Godau et al. (2024)，涵盖眼底摄影、共聚焦激光显微内镜、CT、皮肤镜、胃镜、结肠镜、超声和X线等12个任务。每类问题使用19个ML模型，共456个基准实例。对每个实例拟合核密度估计(KDE)，连续指标使用自适应Epanechnikov核，离散指标使用经验概率质量函数抽样。从真实分布抽取10,000个样本，计算CI并评估覆盖率和平均宽度。比较参数t、z，percentile、basic、BCa bootstrap，Hoeffding、Empirical Bernstein，以及Wilson、Agresti–Coull、Wald、Clopper–Pearson等方法。样本量n=10,25,50,75,100,125,150,200,250，分类部分额外n=500,1000,5000。统计检验使用置换检验和错误发现率(FDR)校正，计算在Jean Zay超算完成。
研究结果：
4.1 不同CI方法的行为(Behavior of different CI methods)：通过比较各方法覆盖率与宽度发现，basic在绝大多数情况下表现最差；BCa在许多情况下表现良好，但对中位数灾难性失败，覆盖率随n增大而下降；percentile在广泛设定中稳健，渐近行为良好。参数方法在极小样本优于bootstrap，例如均值DSC在n=10时参数t覆盖率92.5%，而bootstrap为88%–89%；准确率中Wilson在n≤25时优于bootstrap，但优势迅速消失。Wald表现差，Clopper–Pearson产生系统性过度覆盖。浓度不等式产生非常宽的CI，Hoeffding宽度通常超过参数t或percentile bootstrap的3倍以上。
4.2 分类比分割需要更多观察(Classification requires much more observations than segmentation)：通过比较覆盖率和宽度发现，分类宏平均的覆盖率收敛比分割慢，分类CI更宽；达到宽度0.1通常分割约需50个观察，分类约需250个观察。
4.3 指标选择的后果(The consequences of metric choice)：通过分析不同指标发现，ASSD和MASD覆盖率收敛最慢，且这些距离型指标偏度最大；线性混合效应模型显示偏度解释约48%的收敛速度方差，R=0.69 (CI: [0.58,0.78])。宏平均AP出现异常，basic优于percentile和BCa。
4.4 指标聚合方法影响CI覆盖率(The metric aggregation method impacts the coverage of CIs)：通过比较微平均和宏平均发现，分类宏平均比微平均收敛慢，例如accuracy(微平均召回)约50个观察达约94%覆盖率，balanced accuracy(宏平均召回)需约3倍观察；集中趋势比离散度收敛更快。
4.5 样本量需求随研究特征和CI方法变化(Sample size needs vary depending on study characteristics and the CI method)：通过108个覆盖率和宽度图发现，达到宽度0.05时，均值DSC中位场景约需n≈250，balanced accuracy约需n≈1000，AUC在n=1000仍未达到；达到至少92.5%覆盖率时，均值DSC和AUC约需n≈25，balanced accuracy约需n≈50，ASSD约需n≈75；跨实例差异很大。
4.6 失败案例(Fail cases)：通过定义覆盖率失败案例发现，分割失败常与经验指标分布中的离群值有关，中位数和截尾均值使用percentile bootstrap时覆盖良好；分类失败主要与不平衡测试集有关，准确率失败均出现在不平衡数据集，balanced accuracy失败中78%(18/23)对应不平衡数据集。
4.7 对KDE设置的稳健性(Robustness with respect to KDE settings)：通过改变KDE核、带宽和边界校正进行消融研究发现，覆盖率和宽度结果稳定，统计检验与主结果一致。
4.8 计算时间(Computation times)：通过分解计算成本发现，总计算约250,000小时，预测上限265,106小时，实际243,614小时；单个bootstrap通常约1秒，最坏约20秒；一次覆盖率计算通常几小时，最坏50小时。
讨论部分总结：研究人员指出，这是医学影像中CI方法的首个大规模研究。可靠且精确的CI所需样本量可从数十到数千，受ML问题、任务、指标、聚合方法和CI方法影响。percentile bootstrap最稳健，basic最不可靠，BCa具有二阶精度但可灾难性失败，尤其是中位数等统计量；参数方法在极小样本有优势但迅速消失；浓度不等式区间过宽。分类因每个个体仅提供一比特信息，比分割需要更大样本；距离型指标因右端无界更偏斜，收敛更慢；微平均因有效样本量更大，比宏平均需要更少样本；分割失败与离群值有关，分类失败与类别不平衡有关。bootstrap计算成本低。局限包括KDE选择、以模型代理真实总体、未处理非独立数据、仅研究分类和分割。启示以决策树形式提供，鼓励社区仔细评估CI方法，而非盲目依赖默认BCa或basic。
研究结论翻译：综上所述，本文是医学影像中性能不确定性的置信区间的首个大规模研究。因此，它弥合了文献中的重要空白。研究结果对研究人员具有直接且即刻的意义，并有助于防止社区陷入一些主要陷阱。这些结果为未来医学影像AI中性能不确定性报告的指南构成了重要基石。
