基于提示学习的多模态脑肿瘤分割新方法:低秩模态特异性提示与协同提示的融合策略

【字体: 时间:2025年07月26日 来源:Expert Systems with Applications 7.5

编辑推荐:

  针对多模态MRI成像中因患者移动或技术故障导致的数据缺失问题,研究人员创新性地提出结合低秩模态特异性提示(Low-rank modality-specific prompt)和协同提示(Synergy prompt)的提示学习框架,在BraTS 2018/2020数据集上实现了优于mmFormer、MAVP等方法的肿瘤分割性能,为临床不完整影像数据的处理提供了轻量化解决方案。

  

在神经影像领域,胶质瘤的精准分割始终是临床诊断和治疗规划的核心挑战。尽管T1、T2、T1ce和FLAIR等多模态MRI能提供互补的肿瘤形态学信息,但现实中约30%的病例会因患者移动或设备故障导致关键模态缺失,传统分割算法性能可能骤降50%以上。现有方法如mmFormer虽采用Transformer架构处理缺失模态,但需要全模型微调,计算成本高昂;而MAVP依赖模态状态分类器,适应性有限。

某研究机构的研究人员创新性地将自然语言处理中的提示学习(Prompt learning)引入医学影像领域,提出双提示框架:低秩模态特异性提示通过矩阵分解捕获T1/T2等单模态的关键特征,在数据缺失时提供补偿信息;协同提示则建立跨模态对话机制,增强T1ce与FLAIR等模态间的关联性。该方法在BraTS数据集上实现WT(Whole Tumor)分割Dice系数0.91,较基线模型提升12%,相关成果发表于《Expert Systems with Applications》。

关键技术包括:1) 构建低秩模态嵌入空间,提取T1/T1ce等模态的本质特征;2) 设计可学习的协同提示令牌,优化跨模态注意力机制;3) 采用非对称训练策略,模拟15种缺失模态组合。

【Multimodal Brain Tumor Segmentation】
通过对比UNet、Transformer等架构,验证提示学习在参数效率上的优势,仅需微调0.1%参数即可适应不同缺失场景。

【Preliminaries】
数学建模表明,当输入x=(xmt1,xt2,xmt1ce,xflair)时(缺失T1/T1ce),低秩提示能保持特征空间完整性。

【Datasets and Evaluation Metrics】
在BraTS 2020的369例数据中,对WT/TC/ET三个子区域的分割均达到p<0.01显著性提升。

【Limitations】
当前框架暂未扩展至CT/PET等非MRI模态,且对极端运动伪影的鲁棒性有待验证。

【Conclusion】
该研究开创性地将提示学习应用于医学影像分析,其低秩提示与协同提示的协同机制,为资源受限的医疗场景提供了即插即用的解决方案。未来通过引入动态提示权重机制,有望进一步突破跨模态医学图像分析的瓶颈。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号