
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于提示学习的多模态脑肿瘤分割新方法:低秩模态特异性提示与协同提示的融合策略
【字体: 大 中 小 】 时间:2025年07月26日 来源:Expert Systems with Applications 7.5
编辑推荐:
针对多模态MRI成像中因患者移动或技术故障导致的数据缺失问题,研究人员创新性地提出结合低秩模态特异性提示(Low-rank modality-specific prompt)和协同提示(Synergy prompt)的提示学习框架,在BraTS 2018/2020数据集上实现了优于mmFormer、MAVP等方法的肿瘤分割性能,为临床不完整影像数据的处理提供了轻量化解决方案。
在神经影像领域,胶质瘤的精准分割始终是临床诊断和治疗规划的核心挑战。尽管T1、T2、T1ce和FLAIR等多模态MRI能提供互补的肿瘤形态学信息,但现实中约30%的病例会因患者移动或设备故障导致关键模态缺失,传统分割算法性能可能骤降50%以上。现有方法如mmFormer虽采用Transformer架构处理缺失模态,但需要全模型微调,计算成本高昂;而MAVP依赖模态状态分类器,适应性有限。
某研究机构的研究人员创新性地将自然语言处理中的提示学习(Prompt learning)引入医学影像领域,提出双提示框架:低秩模态特异性提示通过矩阵分解捕获T1/T2等单模态的关键特征,在数据缺失时提供补偿信息;协同提示则建立跨模态对话机制,增强T1ce与FLAIR等模态间的关联性。该方法在BraTS数据集上实现WT(Whole Tumor)分割Dice系数0.91,较基线模型提升12%,相关成果发表于《Expert Systems with Applications》。
关键技术包括:1) 构建低秩模态嵌入空间,提取T1/T1ce等模态的本质特征;2) 设计可学习的协同提示令牌,优化跨模态注意力机制;3) 采用非对称训练策略,模拟15种缺失模态组合。
【Multimodal Brain Tumor Segmentation】
通过对比UNet、Transformer等架构,验证提示学习在参数效率上的优势,仅需微调0.1%参数即可适应不同缺失场景。
【Preliminaries】
数学建模表明,当输入x=(xmt1,xt2,xmt1ce,xflair)时(缺失T1/T1ce),低秩提示能保持特征空间完整性。
【Datasets and Evaluation Metrics】
在BraTS 2020的369例数据中,对WT/TC/ET三个子区域的分割均达到p<0.01显著性提升。
【Limitations】
当前框架暂未扩展至CT/PET等非MRI模态,且对极端运动伪影的鲁棒性有待验证。
【Conclusion】
该研究开创性地将提示学习应用于医学影像分析,其低秩提示与协同提示的协同机制,为资源受限的医疗场景提供了即插即用的解决方案。未来通过引入动态提示权重机制,有望进一步突破跨模态医学图像分析的瓶颈。
生物通微信公众号
知名企业招聘