《Statistics in Medicine》：Calibrating Machine Learning Approaches for Probability Estimation Without Calibration Data
编辑推荐：
针对二分类结局（binary outcomes）的统计预测模型日益流行。一个重大挑战是校准这些模型，以适用于与原始人群在结构上不同的目标人群（target population）的特征。当无法获得来自目标人群的训练数据时，校准尤其困难。为解决该问题，研究人员提
针对二分类结局（binary outcomes）的统计预测模型日益流行。一个重大挑战是校准这些模型，以适用于与原始人群在结构上不同的目标人群（target population）的特征。当无法获得来自目标人群的训练数据时，校准尤其困难。为解决该问题，研究人员提出了一种新的校准方法——SimCal，该方法使用由模型开发数据生成的合成数据，并结合校准队列（calibration cohort）的边际统计量（marginal statistics）。研究人员表明，如果可获得来自目标人群的横断面数据（cross-sectional data），其中包括专家对潜在结局和协变量的判断，则专家判断建模（expert judgment modeling, EJM）可用于校准。研究人员描述了当缺乏校准数据时的三种替代校准方法：相似性分箱平均（similarity-binning averaging, SBA）、预测自适应校准（adaptive calibration of predictions, ACP）和Elkan校准。在一项模拟研究中，研究人员比较了SBA、ACP、Elkan校准和SimCal。通过重新分析冠状动脉疾病（coronary artery disease）数据，提供了应用这些方法的R代码。研究人员使用一个真实数据集说明所有5种校准方法，用于预测卒中后功能结局（functional outcome），并在克利夫兰诊所（Cleveland Clinic）数据的再分析中说明除EJM外的所有方法。没有一种方法在所有情况下均表现令人信服地好。当模型参数被正确指定时，SimCal表现良好。EJM在卒中数据上失败。在缺乏校准数据时，迫切需要进一步研究校准。
研究人员关注二分类结局（binary outcomes）统计预测模型在生命科学中的概率估计。此类模型可用logistic回归（LogReg）等经典统计方法，也可用概率机器（probability machines）等机器学习方法。模型从一个中心或人群开发后，应用于结构不同的新人群时通常需要校准（calibration），使预测概率反映目标人群（target population）的真实结局概率。标准校准算法依赖验证数据或校准数据。若无目标人群训练数据，校准尤其困难。已有如Platt提出的交叉验证或留出法仅使用源人群数据，可能不反映目标人群分布。为此，研究人员开展本研究，提出SimCal，展示专家判断建模（expert judgment modeling, EJM）用于校准，并比较无校准数据时的相似性分箱平均（similarity-binning averaging, SBA）、预测自适应校准（adaptive calibration of predictions, ACP）和Elkan校准。研究意义在于系统评估无校准数据情况下的校准策略，提供R代码，并指出尚无方法在所有情形下表现令人信服，需进一步研究。
研究人员采用模拟研究与两个真实数据分析。模拟设计基于Ojeda等，用LogReg生成两个患病率不同人群；模型开发、校准训练、校准测试样本量多为1000，场景14校准训练为100，每场景100次重复。比较无校准（NoCal）、logistic校准、SBA-10、ACP、Elkan和SimCal；SimCal以modgo等估计参数、模拟大样本并转移至目标边际统计量后估计校准模型，EJM以专家判断为结局。真实数据来自德国卒中研究协作组（German Stroke Study Collaboration）：训练1079、时间验证976、外部验证1156；Cleveland Clinic数据303，外部验证617来自VA、Hungarian、Swiss。学习机器为LogReg、梯度提升（gradient boosting, GB）、概率森林（random forests for probability estimation, RF）；性能评价包括平均平方误差（MSE）、Brier评分（BS）、对数损失（LogLoss）、校准图和临界差（CD）图。
4.1 模拟研究1：SimCal与已发表替代方法的性能比较。研究人员在8个模拟场景中比较。需要校准数据的logistic校准通常优于NoCal和无校准数据方法；SimCal在无校准数据方法中最佳；ACP意外差于NoCal；场景14校准训练集小，SimCal和Elkan优于logistic校准，但差异不显著；场景19协变量分布不同，Elkan校准违反假设，差于NoCal；场景20中SBA-10显著差于NoCal；场景21回归系数符号从风险因素变为保护因素，仅logistic校准能捕捉，所有无校准数据方法表现差。校准图与CD图结果一致。
4.2 模拟研究2：均值指定错误时SimCal的性能。基于场景16，特征真实分布为N(1,1)，假设均值从1.0到2.0变化。LogLoss随均值误指定增加呈近乎线性增加。
4.3 模拟研究3：结局概率指定错误时SimCal的性能。真实患病率为0.84，假设结局概率从0.76到0.92变化。性能随误指定增加而恶化，且影响非对称，靠近概率分布尾部时更严重。
4.4 模拟研究4：均值和结局概率同时指定错误时SimCal的性能。当均值和结局概率误指定方向相反时，性能快速恶化；当二者同向误指定时出现补偿效应，LogLoss可低至无误指定水平。原文指出LogLoss在估计概率与真实概率一致时最小，但未明确二者误指定导致LogLoss最小的具体函数关系。
4.5 应用1：卒中后功能结局预测——德国卒中研究协作组数据。研究人员使用完全恢复模型（complete restitution model, CRM）和死亡率模型（mortality model, MM），在时间验证和外部验证中分析。EJM表现最差，refit最好。Elkan校准在完全恢复模型中表现好；SimCal在死亡率模型中为无需校准数据方法中最好；SBA-10在不平衡数据中表现差，但对GB较好；ACP在完全恢复模型中LogLoss低，在死亡率模型中较差。EJM因专家极少预测死亡，置信区间形状异常；死亡率结局不平衡约1:9，校准困难。NoCal在死亡率LogReg中排名好，但与refit的LogLoss差异可忽略。Elkan和SBA-10在完全恢复数据尤其是LogReg中偏离对角线大，SimCal接近对角线；机器间差异大于校准方法间差异。
4.6 应用2：冠状动脉疾病诊断——克利夫兰诊所数据。Refit总体最好，logistic校准次之；SimCal在无校准数据方法中最好，但不显著优于NoCal或Elkan；SBA-10最差；ACP在LogReg中最好。各机器结果异质，Elkan校准对RF略好于SimCal，对GB差于SimCal。
讨论部分，研究人员总结：即使无校准数据，概率估计校准仍可行。logistic校准需要校准数据，通常最好；但小校准集时SimCal和Elkan可优于logistic校准。SimCal总体好于Elkan校准，尤其协变量分布不同场景，Elkan校准假设违反时甚至差于NoCal。ACP和SBA-10依赖源人群训练数据，结构差异导致偏倚；ACP限于LogReg。SimCal对中等误指定稳健，但均值和结局概率反向误指定时快速恶化，同向误指定有补偿。限制包括未系统评价协方差误指定，modgo无法建模非线性或异方差，SBA未充分探索，EJM无法模拟，真实数据异质，学习机器性能影响大，在线校准受法律框架限制。结论翻译如下：概率估计的机器学习模型即使没有校准数据集也可校准。SimCal和Elkan在模拟研究和真实数据应用中总体表现良好。若研究人群间存在结构差异，ACP和SBA-10在概念上似乎不合理。EJM在真实数据中表现差。当模型参数正确指定时SimCal表现好。研究人员强调，没有任何方法在所有情况下表现令人信服地好。在缺乏校准数据时，迫切需要进一步研究以改善校准。
