《Engineering Applications of Artificial Intelligence》:Multimodal exponential moving average-guided representation for integrated tumor-segmentation and survival prediction
【字体:
大中小
】
时间:2026年01月18日来源:Engineering Applications of Artificial Intelligence 8
信息技术系,锡金马尼帕尔理工学院(Sikkim Manipal Institute of Technology),锡金马尼帕尔大学(Sikkim Manipal University),马吉塔尔(Majitar),兰波(Rangpo),737136,锡金(Sikkim),印度
摘要
胶质母细胞瘤生存预测是脑肿瘤研究中的一个重要挑战,然而大多数现有方法仍然使用分离的或分阶段的流程,这些流程将肿瘤分割、特征设计和生存预测分开处理。这些分阶段的设置常常会从一个步骤传递错误到下一个步骤,导致错误累积,依赖耗时的手工特征,并且无法将早期输出直接与患者生存情况联系起来。为了解决这些问题,我们引入了一个师生框架,通过知识蒸馏结合了体积肿瘤分割和生存预测。我们提出了一个基于Shifted Windows UNet Transformer(Swin-UNETR)骨干网络的分割框架,并加入了注意力模块和多尺度池化技术,以从磁共振成像(MRI)扫描中分割出详细的肿瘤结构。然后,我们使用多模态Transformer将这些成像特征与分割图以及患者数据(如年龄和手术切除情况)合并。通过将指数移动平均(EMA)作为多模态Transformer的“教师”,我们的方法在学习与临床结果相关的图像模式的同时传递了一个稳定的风险信号。这种师生训练消除了对手工放射组学数据的需求,并避免了分阶段流程中出现的各种问题。总体而言,我们的师生设计将生存预测视为一个知识蒸馏问题,提供了从原始扫描到患者生存预测的更直接和有意义的路径。我们工作的代码可在此处获取:这里。
为了解决这些问题,与通常处理原始图像、手工放射组学或二进制肿瘤掩码的多模态Transformer不同,我们引入了一个统一的架构,其中生存分支接收来自分割骨干的软概率图,该分割骨干使用了SwinPAC-UNETR(增强了注意力门和金字塔池化的Shifted Windows UNet Transformer),从多模态MRI中提取整个肿瘤的分割图,使模型能够利用更丰富的形状和置信度线索,同时将分割模块视为一个完整的特征提取组件。这些图与临床数据一起,然后由多模态Transformer通过基于掩码的条件全局平均池化(MGAP)进行生存预测,该算法将区域感知的体积线索聚合成紧凑的全局表示。师生框架仅在我们的多模态Transformer上运行,其中当前的多模态Transformer充当“学生”,其指数移动平均(EMA)版本充当“教师”。与之前专注于视觉特征一致性的EMA蒸馏方法不同,我们的框架将EMA蒸馏专门应用于与生存相关的表示。这一设计在医学成像研究中验证了三个关键优势。首先,EMA教师(多模态Transformer的平均权重)通过时间平均提供了更高的稳定性,减少了噪声并提高了泛化能力,因为研究表明EMA模型在早期阶段的表现更好,且所需的学习率衰减比标准SGD更少(Sanyal等人,2024年)。其次,使用预训练的分割模型消除了联合分割训练的需要,使我们能够将计算资源集中在学习肿瘤特征与生存结果之间的复杂关系上(Isensee等人,2021a;Milletari等人,2016年)。第三,师生多模态Transformer之间的知识蒸馏确保了生存模式的稳定学习,教师提供了一致的监督,防止过拟合,同时学生探索特征空间。医学成像研究表明,这种方法在提高训练稳定性的同时保持了性能(Asif等人,2022年)。我们的主要贡献包括: