在宫颈癌异型细胞分类中，共形预测方法的验证

《Scientific Reports》：Validation of conformal prediction in cervical atypia classification

　　

摘要

基于深度学习的宫颈癌分类方法有可能提高资源匮乏地区的筛查覆盖率。然而，深度学习模型往往过度自信，无法可靠地反映诊断中的不确定性。此外，这些模型通常被优化为生成最大似然预测结果，从而无法体现结果的不确定性或模糊性。这些问题可以通过使用“一致性预测”（conformal prediction）来解决，这是一种与特定模型无关的框架，用于生成包含训练有素深度学习模型可能预测类别的预测集。这些预测集的大小反映了模型的不确定性：模型置信度越高，预测集的范围就越小。然而，现有的对一致性预测的验证主要集中在预测集是否包含或覆盖了真实类别上，往往忽略了额外类别的存在。我们认为，预测集应该对最终用户具有实质性和价值，确保列出的可能类别符合人类的预期，而不是过于宽松，从而包含误报或不太可能的类别。在本研究中，我们使用了来自多名注释者的专家注释集对一致性预测集进行了全面验证。我们评估了三种应用于宫颈癌异常分类的深度学习模型的一致性预测方法。基于专家注释的分析表明，传统的基于覆盖率的验证方法高估了模型的性能，而且当前的一致性预测方法产生的预测集往往与人类标签不符。此外，我们还探讨了这些一致性预测方法在识别模糊数据和离群数据方面的能力。