编辑推荐:
在临床中,多模态 MRI 脑肿瘤分割方法因模态缺失常失效。研究人员开展 IMD-TumorSeg 框架研究,该框架含生成模块、自适应条件集成机制等。实验表明其性能优于现有方法,为解决模态缺失问题提供新方案。
脑肿瘤作为严重威胁人类生命的疾病,其精准分割在临床诊疗中至关重要。多模态磁共振成像(MRI)凭借 Flair、T1ce、T1、T2 等不同序列提供的互补信息,成为脑肿瘤诊断的重要手段。然而在实际临床场景中,患者运动导致的伪影、成像环境干扰、对比剂过敏等因素,常造成一种或多种模态数据缺失,使得依赖完整多模态信息的深度学习分割方法性能大幅下降。尽管已有通用模型试图适应 15 种随机缺失模态组合,但面对复杂多变的缺失场景,单一模型难以动态调整处理策略,导致分割精度不足。
为攻克这一难题,国内研究人员开展了相关研究,提出了端到端的不完全多模态扩散脑肿瘤分割(IMD-TumorSeg)框架,相关成果发表在《Biomedical Signal Processing and Control》。该研究旨在解决多模态 MRI 脑肿瘤分割中随机模态缺失导致的性能退化问题,通过创新的模型设计实现对缺失模态的有效补偿,提升分割精度。
研究人员采用的主要关键技术方法包括:
- 为每个模态设计独立的生成模块,基于分数扩散模型,通过随机微分方程(SDE)将高斯噪声映射到目标模态分布,生成缺失模态图像。
- 引入自适应条件集成机制,在去噪过程中嵌入可用模态信息作为条件,引导生成过程,缩小生成图像与真实图像的语义差距。
- 提出注意力驱动扩散策略,将生成过程中产生的注意力图作为补充信息输入分割网络,促进生成模块与分割模块的协同学习。
- 集成图像估计器,实时评估生成图像与真实图像的相似度,优化生成过程,确保视觉和语义一致性。
研究使用 BraTS 2018 和 BraTS 2020 数据集(包含 Flair、T1ce、T1、T2 模态及肿瘤区域标注)进行实验验证。
研究结果
生成模块有效性验证
通过在 BraTS 2018 数据集上评估缺失模态生成质量,结果表明,基于自适应条件集成的扩散模型生成的图像在视觉和语义层面均接近真实图像,有效补偿了缺失模态信息,为后续分割提供了可靠数据基础。
分割性能对比
在 BraTS 2018 和 BraTS 2020 数据集的多种模态缺失场景下,IMD-TumorSeg 框架的分割性能显著优于现有先进方法。实验数据显示,其在整个肿瘤区域(包含坏死和非增强肿瘤 NCR/NET、增强肿瘤 ET、水肿 ED 等)分割的关键指标上均实现提升,证明了框架在处理模态缺失问题时的有效性和鲁棒性。
模块协同作用分析
注意力驱动扩散策略的引入,使得生成模块与分割模块之间实现了有效的信息共享。生成过程中产生的注意力图能够引导分割网络更聚焦于肿瘤关键区域,结合自适应条件集成机制对生成质量的优化,进一步提升了分割精度,验证了模块间协同设计的合理性。
研究结论与意义
IMD-TumorSeg 框架通过整合扩散模型、自适应条件集成、注意力驱动协同学习等创新设计,构建了首个能有效处理多模态 MRI 随机缺失场景的端到端脑肿瘤分割方案。其核心贡献在于:
- 突破传统方法对完整模态的依赖,为临床模态缺失场景提供了通用解决方案。
- 自适应条件集成与注意力驱动机制的结合,实现了生成模块与分割模块的深度协同,提升了模型对复杂缺失模式的动态适应能力。
- 在公开数据集上的优异表现,为多模态医学影像分析中模态缺失问题的研究提供了新基准,有望推动脑肿瘤精准诊疗技术在临床中的实际应用,为基于不完整影像数据的自动化诊断提供重要技术支撑,具有显著的临床转化价值和学术意义。