融合CT影像、患者元数据与临床发现的多模态模型FusionSwinUNETR用于儿童实体瘤分割

《Scientific Reports》：FusionSwinUNETR: A multimodal deep learning model for abdominal mass segmentation in pediatric CT

　　

摘要

儿童实体瘤计算方法的研究受到数据稀缺、侧重于单一肿瘤类型以及仅靠影像学的局限性的制约。我们提出了 FusionSwinUNETR，这是一种多模态分割模型。该模型结合 CT 图像、患者元数据及临床医生撰写的发现，对 SwinUNETRv2 骨干网络进行条件化输入。我们在一个包含 750 名儿科患者、涵盖 12 种肿块类型的多中心配对数据集上对其进行了评估，其诊断范围比以往的单一肿瘤研究广泛得多。与在同一 60 名留出患者上评估的仅基于图像的基线模型相比，融合模型在所有指标上均有所提升：DSC 为 0.900 ± 0.044，而基线为 0.882 ± 0.064；精确率为 0.928 ± 0.051，而基线为 0.913 ± 0.062；召回率为 0.880 ± 0.081，而基线为 0.866 ± 0.110；HD95 为 4.79 ± 3.31 mm，而基线为 8.93 ± 6.22 mm，边界误差降低了 46%。经过多重比较校正的患者内配对测试证实了这些提升：所有三种多模态配置的 HD95 均显著改善，而融合模型是唯一其 DSC 提升在校正后仍然显著的配置（Hodges–Lehmann + 0.012，q = 5.6 × 10?⁴），也是唯一同时改善精确率和召回率的配置，这表明元数据和临床发现提供的是互补而非冗余的信息。因此，融入在图像解读时已经可用的临床信息，可以更准确、更可靠地分割各种儿童腹部肿块。