
-
生物通官微
陪你抓住生命科技
跳动的脉搏
超轻量级并行视觉Mamba模型(UltraLight VM-UNet)在皮肤病灶分割中的参数优化突破
【字体: 大 中 小 】 时间:2025年06月27日 来源:Patterns 6.7
编辑推荐:
本研究针对移动医疗设备资源受限环境下医学图像分割的难题,创新性地提出基于并行视觉Mamba(Parallel Vision Mamba, PVM)的UltraLight VM-UNet模型。通过深度分析Mamba参数爆炸机制,设计PVM Layer实现通道数恒定条件下的特征并行处理,在ISIC2017/2018和PH2数据集上仅用0.049M参数和0.060 GFLOPs即达到竞争性性能(DSC 0.9091),较传统VM-UNet降低99.82%参数。该成果为移动医疗设备提供了高效轻量级解决方案,推动AI辅助诊断技术在基层医疗的普及应用。
在计算机辅助医疗诊断领域,医学图像分割技术长期面临计算资源与内存限制的瓶颈。传统方法为提升分割性能往往增加模型复杂度,导致参数膨胀,难以在移动医疗设备或资源受限环境中部署。尤其对于皮肤黑色素瘤等致死率高的疾病,实时精准的病灶分割对早期诊断至关重要。现有基于卷积神经网络(CNN)和Transformer的模型各有局限:CNN难以捕捉长程依赖,Transformer则存在计算复杂度二次方增长的问题。近年来兴起的状态空间模型(State Space Models, SSMs)虽具线性复杂度优势,但其参数爆炸问题尚未得到系统解决。
针对这一挑战,上海大学微电子学院联合上海交通大学医学院瑞金医院的研究团队在《Patterns》发表最新成果。研究通过深度解析Mamba模型中通道数(d_model)对参数的关键影响机制,创新提出并行视觉Mamba(PVM)处理方法。该方法将特征通道四等分后并行处理,结合残差连接与调整因子θ优化远程空间信息获取,在保持总通道数不变前提下实现参数骤降93.7%。基于此构建的UltraLight VM-UNet模型采用U型架构,浅层特征用3×3卷积提取,深层特征通过PVM Layer处理,跳跃连接采用通道注意力桥(CAB)和空间注意力桥(SAB)模块融合多尺度信息。
关键技术包括:(1)建立Mamba参数影响理论模型,揭示通道数通过d_inner=expand*d_model等公式对参数的指数级影响;(2)设计四分支PVM Layer,通过Split-Concat操作实现特征并行处理;(3)在三个公开皮肤病灶数据集(ISIC2017/2018和PH2)进行验证,batch size设为8,使用AdamW优化器和BceDice损失函数;(4)采用DSC、IoU等指标评估,并与U-Net、VM-UNet等12种模型对比。
架构概述
6层U-Net结构通道数设为[8,16,24,32,48,64],PVM Layer通过四个并行Mamba模块处理1/4通道特征,经残差连接后合并。实验表明该设计在0.049M参数下达到SOTA性能。
Mamba参数影响分析
系统推导出参数计算公式:输入投影层(d_model×d_inner×2)、SSM中间线性层(4×[d_inner×(dt_rank+d_state×2)])等均受通道数控制。当通道从1024降至256时,参数减少93.7%。
PVM Layer设计
特征X经LayerNorm后拆分为Y1C/4至Y4C/4,各分支通过Mamba+θYiC/4处理,最终合并输出。相比传统连接方式,四并行设计参数降低74.8%。
定量分析
在ISIC2017数据集上,UltraLight VM-UNet以0.049M参数取得0.9091 DSC值,显著优于27.427M参数的VM-UNet(0.9070)。内存占用仅1.2GB(batch size=8),推理速度较基线提升40%。
消融实验
验证了PVM Layer的普适性:(1)替换其他模型基础模块(如UNet的Conv层)平均降低80.38%参数;(2)在SS2D和H-SS2D变体上应用并行策略,参数分别减少81.35%和80.34%。
该研究不仅提出了当前最轻量的医学图像分割模型,更建立了Mamba轻量化的理论基础。PVM Layer的即插即用特性使其可广泛应用于CNN、Transformer等架构的压缩优化。临床意义在于使精准医疗图像诊断突破高端设备限制,向基层医疗机构和便携设备普及。未来工作将探索该框架在CT、内镜等其他模态的适用性,进一步推动AI医疗的普惠化发展。


生物通微信公众号
知名企业招聘