Hetero-MedSAM：基于异构专家混合模型与进化剪枝的轻量级医学图像分割

《Pattern Recognition Letters》：Hetero-MedSAM: Lightweight Medical Image Segmentation via Heterogeneous Mixture of Experts and Evolutionary Pruning

　　

• •
  提出了 Hetero-MedSAM，用于医学基础模型的轻量化适配。
• •
  异构专家库补充了几何拓扑与模态偏差。
• •
  进化式剪枝机制可在线动态去除冗余专家模块。
• •
  该方法仅使用 4.40M 可训练参数，即可取得有竞争力的 DSC 与 HD95 指标。
• •
  该框架在边缘终端上平衡了分割精度与部署效率。

引言

医学图像分割在计算机辅助临床诊断中发挥着重要作用 [1]。包括 SAM [2]、MedSAM [3] 和 SAM-Med3D [4] 在内的大型视觉基础模型在医学图像上展现了强大的分割性能，但沉重的计算量限制了其在真实临床场景中的部署。轻量化优化遵循架构压缩与参数高效微调（PEFT）两条互补范式。两种方法均可降低训练与推理成本，代表性压缩方法在有限资源下已取得有竞争力的性能 [5]。

尽管如此，传统 PEFT 仍受制于医学任务的异质性；共享参数可能在多模态数据上引发任务干扰 [6]。将 MoE 与 PEFT 相结合可提升医学基础模型的多任务泛化能力，如 MedSegX [7] 所示；而体素 MoE 设计进一步展示了专家模块在轻量化分割中的潜力 [8]。

即便如此，现有轻量化 MoE-PEFT 方法采用同质化适配器专家，对于医学图像的多尺度、复杂性与跨模态特性缺乏足够的特征补偿能力，从而在轻量化约束下出现明显的性能退化。

我们没有构建全新的基础模型，而是选择 MedSAM 作为骨干网络，借助其强大的预训练跨模态医学表征与稳健的分割性能，旨在探索轻量化、可部署的适配方案，以挖掘其内蕴的表征能力。借鉴 MoE-PEFT 的条件计算原则，我们提出配备异构专家与进化式剪枝的 Hetero-MedSAM 框架。我们将多种功能差异化且互补的异构专家嵌入基础模型的图像编码器中，从而针对多样的临床特征实现定向的特征增强与参数补偿。具体而言，尺度感知专家采用不同膨胀率的膨胀卷积，以平衡局部细节与全局组织轮廓；各向异性边缘专家通过方向性条带卷积 [9] 捕捉低层拓扑边界特征；上下文调制专家利用双重池化自适应地建模通道级长程依赖 [10]；自适应模态专家则应用显式路由以消除跨模态分布差异，并提供模态特定的参数补偿。互补的异构专家使 Hetero-MedSAM 在轻量化约束下能够适应医学图像的多维异质性。

此外，我们设计了动态专家进化与剪枝机制，以优化推理效率并降低模型冗余。该机制在训练过程中跟踪每个专家的平均贡献，并在在线阶段动态移除低贡献的冗余专家。从静态并行结构到动态进化式剪枝的转变，使计算资源能够集中于特定模态的高贡献专家，从而在保持可训练参数与推理开销较低的同时，有效提升了多模态医学任务的适应能力。

综上所述，本工作做出了三项关键贡献。我们引入了 Hetero-MedSAM，一种面向医学基础模型的轻量化适配框架，它借助异构专家与动态进化式剪枝，保留了 MedSAM 的表征能力并平衡了分割性能与部署效率。我们构建了互补的异构专家库，以应对同质化轻量化结构在面对医学图像多维异质性时的表征瓶颈。我们进一步开发了基于滑动平均贡献评估的专家剪枝策略，将静态并行架构转化为紧凑的推理结构并优化计算资源配置。多模态医学数据集上的实验验证了，在有限计算量下，我们的方法能够提升复杂边界的分割效果，在分割精度与推理成本之间取得了良好平衡。

章节摘要

相关工作

轻量化医学基础模型优化涵盖架构压缩与 PEFT 两大方向。面向架构的方法通过重新设计骨干网络来提升速度。全分辨率网络可保留精细的组织轮廓 [11]，重参数化方法可降低推理延迟 [12]。这些方法需要完整重新训练，无法复用基础模型的预训练权重。因此，本工作在冻结的 MedSAM 上采用 PEFT，以保留其预学到的泛化能力。

PEFT 冻结骨干网络，仅更新轻量级模块以减少

整体架构

Hetero-MedSAM 框架旨在解决医学图像分割中因解剖变异与模态异质性所导致的泛化困难问题。该框架基于预训练 SAM 基础模型，构成了一个参数高效的轻量化微调流水线，如图 1 所示。在微调过程中，SAM 的图像编码器与提示编码器保持冻结，以保留从大规模预训练中习得的一般空间表征。图像编码器接收 3 × 256 × 256 的输入张量，并

数据集

为解决公开数据源之间标准不一致的问题，我们通过整合与重组涵盖 8 种成像模态的医学图像分割数据，构建了 HeteroMedSeg 数据集。该数据集包含 29 个模态-器官子集中的 19,161 个图像-掩膜对，覆盖 24 种解剖结构与病变目标。各模态的样本数量如下：3,051（CT）、827（结肠镜）、3,168（皮肤镜）、1,303（内镜）、2,818（眼底）、2,388（MRI）、1,750（超声）以及 3,856（X 光）。

所有数据均

异构专家的部署策略优化

我们首先评估了异构专家的全层部署方案，其 DSC 为 0.8428，性能不及同质化专家基线，也不及我们优化的逐层方案。这种性能下降源于多分支异构专家所引起的更强特征扰动：将其注入所有层会破坏预训练特征空间，并在训练早期引发严重的梯度冲突，使模型陷入局部最优。

进一步的观察表明

结论

本文提出了 Hetero-MedSAM，一种面向医学基础模型在资源受限临床环境下轻量化部署的参数高效分割框架。大多数现有 PEFT 分割方法使用同质化适配器，难以应对多尺度病灶、复杂组织边界与跨模态分布偏移。Hetero-MedSAM 构建了包含尺度感知、各向异性边缘、上下文调制与模态补偿模块的异构专家库，

CRediT 作者贡献声明

Lieqiang Liu：写作—审稿与编辑，写作—初稿，可视化，指导，软件，方法学，概念化。Chengping Zhao：写作—审稿与编辑，指导，资源，概念化。

利益冲突声明

作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

Lieqiang Liu|Chengping Zhao