基于SAM的提示学习方法在多发性硬化症病变分割中的应用

《Pattern Recognition Letters》：SAM-guided prompt learning for Multiple Sclerosis lesion segmentation

提出基于Segment Anything Model（SAM）的医学图像分割框架，通过训练阶段利用SAM指导提示编码器学习，推理阶段替换为轻量级聚合器，实现MS病灶分割的高精度与高效计算。在MSLesSeg、胰腺和前列腺数据集上验证，准确率显著优于CNN、Transformer及扩散模型，且参数量和计算量减少一个数量级，适用于临床实时应用。

　　多重硬化症（Multiple Sclerosis, MS）是一种影响中枢神经系统的慢性自身免疫疾病，其特征是大脑和脊髓中出现散在的病灶。这些病灶通常体积较小、形状不规则且分布稀疏，给其在脑部磁共振成像（MRI）中的自动分割带来了极大的挑战。尽管FLAIR成像能够提供较高的病灶对比度，但临床实践中仍主要依赖手动标注，这种方式不仅耗时，而且由于不同医生之间存在主观差异，导致结果的可重复性较低。在高通量的临床环境中，这种依赖性限制了其应用的广泛性。因此，开发一种具有强大泛化能力且能够高效运行的计算机辅助分割工具成为当前研究的重要方向。

随着深度学习技术的发展，卷积神经网络（CNN）已经成为MS病灶分割的标准方法之一。特别是U-Net及其变体，通过其编码-解码结构和跳跃连接机制，显著提高了分割的精度。近年来，基于Transformer的模型如UNETR、SwinUNETR和TransBTS被引入，这些模型利用自注意力机制捕捉图像中的全局上下文信息，从而在分割任务中取得了更好的效果。然而，这些模型往往需要大量的标注数据，并且在推理阶段计算成本较高，难以在资源有限的临床环境中推广使用。

与此同时，视觉基础模型如Segment Anything Model（SAM）和MedSAM因其强大的零样本分割能力而受到关注。SAM通过大规模预训练，能够在没有特定任务标注的情况下对多种图像进行分割。然而，其在医学影像中的直接应用仍然存在诸多挑战，主要体现在对提示信息的依赖和推理时的高计算需求。为了克服这些问题，研究者们提出了基于提示学习的方法，如One-Prompt Segmentation，该方法使用单一标注示例作为提示来引导模型进行分割，但仍然无法完全摆脱对基础模型的依赖。

在此背景下，本文提出了一种新的分割框架，该框架在训练阶段使用冻结的SAM模型来指导提示学习，而在推理阶段则通过一个轻量级的卷积模块来完成分割任务。这种方法的核心在于，通过SAM训练阶段生成的提示嵌入，能够保留足够的空间和上下文信息，使得在推理时无需依赖SAM本身即可实现高精度的分割。这种设计不仅降低了推理时的计算复杂度，还提高了模型的实用性，使其能够在资源受限的环境中部署。

具体而言，该框架分为两个训练阶段。第一阶段是提示学习阶段，其中使用SAM模型对输入图像进行监督，训练一个密集提示学习器（Dense Prompt Learner）。这个学习器能够在不依赖人工提示的情况下，自动发现适合任务的提示嵌入。第二阶段是知识蒸馏阶段，此时将SAM替换为一个轻量级的卷积模块（Aggregator），该模块负责将学习到的提示嵌入直接映射为分割掩码。通过这一过程，模型能够在保持高分割精度的同时，显著减少计算资源的消耗。

在MS病灶分割任务中，该方法在公开的MSLesSeg数据集上取得了显著的性能提升。与现有的基于CNN、Transformer和扩散模型的方法相比，本文提出的框架在Dice相似度系数、真阳性率（TPR）、阳性预测值（PPV）以及边界误差（如平均表面距离ASSD和95%百分位Hausdorff距离HD95）等多个指标上均表现出色。例如，在Dice相似度系数上，该方法达到了81.37%，显著优于其他方法，如UNETR（64.21%）、SwinUNETR（67.86%）和MSSegDiff（68.51%）。此外，该方法在边界误差方面也表现优异，表明其在病灶边缘的精确分割能力。

为了验证该方法在不同医学影像任务中的泛化能力，研究团队还将其应用于胰腺和前列腺的分割任务。在胰腺分割方面，该方法在T2加权MRI图像上取得了86.23%的Dice相似度系数，与当前最先进的方法如PanSegNet（86.01%）和SynergyNet（86.51%）相比，其性能相当甚至更优。在前列腺分割任务中，该方法同样表现出色，达到了92.15%的Dice相似度系数，优于SwinUNETR（88.35%）、nnU-Net（91.25%）以及MA-SAM（94.00%）等方法。这些结果表明，该框架不仅适用于MS病灶分割，还能够在其他医学影像分割任务中展现出良好的泛化能力。

除了分割精度，该方法在计算效率方面也具有明显优势。与依赖SAM的其他方法相比，如AutoSAM（26.00 TFlops）和MA-SAM（57.70 TFlops），本文提出的框架仅需3.83 TFlops的计算量，这使其在资源受限的临床环境中具有更高的可行性。此外，该方法的参数数量仅为21.82百万，远低于其他方法（如SAMed_h需要637.63百万参数）。这种轻量化设计使得模型能够在移动设备或边缘计算平台上高效运行，满足实际临床需求。

从技术实现的角度来看，该框架的设计理念在于将基础模型的表示能力与轻量级模型的高效推理能力相结合。在训练阶段，通过SAM的监督，提示学习器能够学习到与病灶相关的特征，从而生成有效的提示嵌入。这些嵌入在推理阶段被轻量级的卷积模块所利用，使得模型能够在不依赖SAM的情况下实现高质量的分割。这种设计不仅减少了推理时的计算负担，还避免了对人工提示的依赖，提高了模型的自动化程度。

此外，该方法还具有良好的跨领域适应性。通过在不同医学影像任务上的测试，研究团队发现该框架能够在胰腺和前列腺等不同器官的分割任务中保持较高的性能。这种跨领域的泛化能力使得该方法不仅仅局限于MS病灶分割，而是可以广泛应用于其他医学影像分割任务。同时，该方法的轻量化设计也使其更适合在实际临床环境中部署，特别是在计算资源有限的医疗设施中。

在实际应用中，该方法的两个主要优势在于其高效性和准确性。首先，其轻量级的推理模块使得模型能够在有限的硬件资源下快速运行，这对于需要实时处理的临床任务尤为重要。其次，通过SAM在训练阶段的指导，模型能够学习到更丰富的上下文信息，从而在分割过程中更准确地捕捉病灶的边界特征。这种结合基础模型与轻量级模型的方法，为医学影像分割提供了一种新的思路，即在训练阶段利用强大的基础模型，而在推理阶段通过轻量级模型实现高效、准确的分割。

该方法的另一个重要贡献在于其对传统分割方法的改进。相比于依赖手动标注的临床实践，该方法通过自动化的提示学习机制，减少了对人工干预的依赖，提高了分割的一致性和可重复性。同时，相比于传统的CNN模型，该方法在保持较高分割精度的同时，显著降低了计算复杂度，使其更适合在资源受限的环境中使用。此外，相比于基于Transformer的模型，该方法避免了推理阶段的高计算成本，使得模型能够在实际应用中更加灵活和高效。

总体而言，本文提出的框架为医学影像分割提供了一种新的解决方案。它不仅在MS病灶分割任务中取得了优异的性能，还在胰腺和前列腺等其他医学影像任务中展现了良好的泛化能力。同时，该方法在计算效率方面也具有显著优势，使其能够在实际临床环境中得到广泛应用。未来的研究可以进一步探索该方法在三维医学影像分割中的应用，以及如何整合多模态MRI数据以提高模型的上下文表示能力和分割精度。