编辑推荐:
在医学图像分析中,图像分割至关重要,但现有分割模型在临床应用中存在缺乏可靠性指标、评估依赖标注数据等问题。研究人员开展不确定性感知的分割质量预测研究,提出新框架。结果显示该框架在相关数据集表现优异,能有效评估分割质量,为临床应用提供支持。
在医学图像分析的领域中,图像分割是极为关键的一环,它就像一把精准的手术刀,能够在各种医学影像,如磁共振成像(MRI)、计算机断层扫描(CT)和超声图像中,准确地找到器官、肿瘤和病变的位置。然而,当前的深度学习分割模型在临床应用上却遭遇了重重阻碍。一方面,大多数先进的分割模型在给出预测结果时,无法提供预测的可信度衡量指标,这使得医生们在面对复杂的病例时,难以判断分割结果的可靠性。另一方面,传统的评估分割质量的方法,像基于边界、区域和混合的度量指标,严重依赖于标注的真实数据,可在实际临床场景中,获取大量准确的标注数据既昂贵又耗时,这大大限制了这些方法的应用。为了解决这些问题,来自国外的研究人员开展了一项关于不确定性感知的分割质量预测的研究,相关成果发表在《Computerized Medical Imaging and Graphics》上。
研究人员为了实现这一目标,采用了多种关键技术方法。首先,他们构建了两个基准语义分割模型 ——SwinUNet 和带有 ResNet50 的特征金字塔网络(FPN)的贝叶斯版本,利用蒙特卡洛随机失活(MCD)、集成模型和测试时增强(TTA)这三种贝叶斯建模方法来量化不确定性。其次,他们提出了两种预测架构,一种是处理分割和不确定性图的两分支模型,另一种是整合原始图像、分割图和不确定性图的三分支模型。此外,研究人员使用了置信图、熵、互信息和预期成对 KL 散度(EPKL)这四种不确定性估计方法,并通过梯度加权类激活映射(Grad-CAM)和统一流形近似与投影(UMAP)等技术对模型进行解释和分析。在数据集方面,使用了 HAM10000 皮肤病变数据集和肝脏数据集。
在研究结果部分,研究人员进行了多方面的分析。
- 基于 R2分数和皮尔逊相关系数(PCC)的定量分析:在双向输入场景下,置信图在所有不确定性模型(UMs)中表现出色,与分割质量指标的相关性更强。例如,在 HAM10000 数据集上,MCD 与置信图结合时,R2分数达到 93.25,PCC 为 96.58;集成模型与置信图结合时,在肝脏数据集上 R2分数为 72.94,PCC 为 85.88 。在三向输入场景下,熵图与所有 UMs 结合时显示出更好的相关性。如在 HAM10000 数据集上,集成模型与熵结合时,R2分数为 86.49,PCC 为 93.2;MCD 与熵结合时,R2分数为 93.99,PCC 为 97.01 。总体而言,三输入设置的性能优于两输入设置。
- 与专家注释和最先进模型的验证和比较:将模型与专家生成的手动分割掩码进行比较,发现预测的 Dice 分数与专家评估结果紧密对齐。在与最先进模型的比较中,基于不确定性的方法,如 Ensemble-Confidence,在皮肤癌分割数据集上表现出色,均方根误差(RMSE)最低为 0.132 ± 0.039 ,突出了不确定性感知方法的优势。
- Grad-CAMs 和 UMAPs 的可视化和解释:通过 Grad-CAM 可视化发现,在双向设置中,置信图能帮助模型在预测时聚焦于前景和边缘,提高分割精度;在三向设置中,熵图结合原始图像、不确定性图和分割图,增强了特征提取和预测准确性。UMAP 嵌入分析表明,三向 CNN 的特征分离度最高,能更好地区分不同质量的分割。
- 基于聚合不确定性分数的定量结果:研究人员计算了聚合不确定性分数,发现其能有效识别具有模糊或噪声标签的图像,如在肝脏数据集的测试集中,该分数成功标记出了存在潜在标签不准确问题的图像,有助于提高数据集的质量。
在结论和讨论部分,这项研究具有重要意义。研究人员提出的不确定性感知框架,无需依赖地面真实数据就能预测分割质量,为医学图像分割领域带来了新的突破。通过对多种不确定性模型和估计机制的深入研究,明确了置信图在提高分割质量预测方面的重要作用,同时聚合不确定性分数的应用也为优化数据集质量提供了有效手段。这一研究成果不仅有助于提高医学图像分割模型的可靠性和准确性,还为临床医生提供了更可靠的决策依据,有望推动医学影像分析在临床实践中的广泛应用。未来,研究人员可进一步优化方法,并探索其在更多成像模态中的应用,为生命科学和健康医学领域的发展注入新的活力。