从准确性到安全性：临床糖尿病风险预测模型的多维度预测安全审计

《Scientific Reports》：A comprehensive study on multi-dimensional predictive safety analysis of machine learning models in diabetes detection

　　

摘要

在临床机器学习（ML）中，高判别性能通常被视为模型可靠性的证据。然而，强大的预测准确性并不能保证安全的决策行为。在医疗等安全关键领域，尽管曲线下面积指标很高，但概率校准不当、不确定性估计无效以及过度自信的错误都可能导致有害的决策。本研究提出了一项全面的多维度预测安全分析，表明具有可比判别性能的模型可能表现出截然不同的可靠性和风险特征。我们在两个异质性的糖尿病风险数据集上进行了严格的基准评估，包括一个大规模人群级 BRFSS 队列和一个早期临床小样本数据集。在严格的无泄漏交叉验证协议和专用的校准划分下，评估了多样化的经典、集成和深度表格模型。除了传统的判别指标（PR-AUC、ROC-AUC）外，我们还评估了概率校准（ECE、Brier 分数、NLL）、基于统一自助法框架的认知不确定性、不确定性与错误的相关性、选择性预测安全性、高置信度错误率、跨年龄和性别的子组公平性，以及在标准可交换性假设下具有有限样本边际覆盖率保证的共形预测。我们的结果揭示了一个一致的准确性 - 安全差距，即达到近乎相同 PR-AUC 的模型显示出明显不同的校准质量、不确定性有效性、子组可靠性和过度自信行为。在早期临床数据集上，观察到各模型均具有接近上限的判别性能，但由于样本量有限，这些结果应谨慎解释，因为折间变异性可能会影响模型间比较性能的稳定性。研究结果表明，仅凭判别指标不足以表征可靠的临床决策。对于医疗保健机器学习的可信部署前评估，纳入校准、不确定性质量、子组公平性和正式覆盖率保证的综合评估是至关重要的。与其引入一种新的预测算法，本研究贡献了一项统一的安全相关模型行为的实证审计，解决了传统糖尿病预测基准中通常单独评估或忽略的可靠性维度。