用于医学图像分割的 Segment Anything 模型:从原生能力到临床需求

《Computerized Medical Imaging and Graphics》:Segment Anything Models for medical image segmentation: From native capabilities to clinical requirements

【字体: 大 中 小 】 时间:2026年10月15日 来源:Computerized Medical Imaging and Graphics 5.5

编辑推荐:

   •界定了SAM在医学分割中的原生能力边界。•将医学基础模型与SAM适配策略加以区分。•分析了医学SAM适配中的知识引导机制。•识别了临床使用中的部署约束与失效边界。引言医学图像分割旨在从CT、MRI和超声等医学图像中准确地勾画出具有临床意义的解剖结构、病变区域或功能区域。它是

  
  • •
    界定了SAM在医学分割中的原生能力边界。
  • •
    将医学基础模型与SAM适配策略加以区分。
  • •
    分析了医学SAM适配中的知识引导机制。
  • •
    识别了临床使用中的部署约束与失效边界。

引言

医学图像分割旨在从CT、MRI和超声等医学图像中准确地勾画出具有临床意义的解剖结构、病变区域或功能区域。它是计算机辅助诊断、疾病分级和治疗规划的基本组成部分(Frisina,2025,Khalal等,2025)。以U-Net(Ronneberger和Fischer,2015)为代表的监督学习方法极大地推动了该领域的发展,但许多特定任务模型仍然依赖于大规模、高质量的像素级或体素级标注(Xia等,2025),并且容易受到因成像模态、扫描仪、采集协议、临床中心和患者群体差异所导致的分布偏移的影响(Wang等,2025)。因此,高昂的标注成本和跨域性能不稳定仍然是阻碍其在真实临床环境中广泛部署的主要障碍。
近年来,超越特定任务模型的通用分割范式快速发展,强调跨任务迁移能力。不同的方法通过各种形式的信息来构建分割任务,包括支持样本、上下文示例、预定义语义或生成式采样。UniverSeg(Butoi等,2023)利用成对的支持样本进行少样本分割,SegGPT(Wang等,2023)通过上下文演示实现基于示例的分割迁移,CLIP驱动的通用模型(Liu等,2023)利用预定义的语义类别提示引导分割,而MedSegDiff-V2(Wu等,2024)则通过生成式扩散采样来构建分割任务。然而,这些方法中的任务迁移仍然依赖于特定形式的支持信息、语义条件或推理过程,导致对任务特定目标指定策略的强依赖性。相比之下,SAM(Kirillov等,2023)主要通过点、边界框和掩码等空间提示来指定分割目标,旨在实现对新图像分布和分割任务的零样本迁移。这种与类别无关的目标指定策略消除了为每个新任务重构完整的特定任务框架或提供成对支持样本的需要。同时,其模块化架构便于通过微调、参数高效适配、结构扩展和外部知识引导来适应医学场景。因此,与其他通用分割范式相比,SAM不仅仅是一个通用分割模型,还提供了一个统一的分割接口,便于进一步适配和功能扩展。然而,SAM依赖通用视觉表示和空间提示来指定目标,并未在模型中显式编码器官与病变之间的医学语义关系、解剖拓扑或其他任务特定知识。其在医学场景中的应用仍然需要后续适配来解决领域知识不足、成像分布偏移和预测可靠性等问题。随着SAM在医学影像中的局限性日益明显,相关研究迅速从直接迁移转向专门的医学适配。MedSAM(Ma等,2024)利用大规模多模态医学数据对预训练的SAM进行微调,证明了医学领域监督在提升通用分割模型的医学适用性方面的有效性。SAM-Med2D(Cheng等,2023)进一步采用轻量级适配模块,在保留大部分预训练参数的同时实现医学任务迁移。为了解决二维预训练架构不足以对体数据中的空间关系进行建模的局限,SAM-Med3D(Wang等,2025a)直接为三维医学图像构建可提示的分割能力。随着SAM 2的出现,MedSAM2(Ma等,2025)等研究进一步利用序列传播机制来处理体医学数据和医学视频。相应地,基于SAM的医学分割研究已从早期通用分割模型的直接迁移逐步演进为包括医学领域微调、参数高效适配、三维建模和序列分割在内的多样化技术路线。
现有综述已逐步从总结SAM的医学迁移性能、领域差异和代表性改进(Zhang等,2024a,Rabieizad和Nourbakhsh,2025)扩展到系统考察适配路径(Ali等,2025)并评估其实际适用性(Moglia等,2026,Xiao等,2026)。总体而言,文献已从模型性能评估转向适配与应用,但这些方面往往从相对特定的角度进行讨论,为原生能力、适配策略、学习条件和实际需求之间关系的更加综合的考察留下了空间。因此,本综述围绕四个互补维度组织文献:原生能力边界、模型级适配、任务知识组织与利用以及面向应用的适配,同时比较不同技术路线的适用性、优势和局限性。
  • •
    SAM家族在医学迁移中的原生能力边界。区分基础模型固有的能力与通过医学适配获得的能力,从而明确其向医学影像迁移的能力基础和局限性。
  • •
    医学SAM的模型适配机制。比较不同的模型修改策略对预训练知识、参数更新和结构调整的依赖关系,以及它们在适用性方面的差异。
  • •
    医学适配中的任务知识组织与利用机制。总结与任务相关的知识如何被表示、引入和利用,并考察不同知识利用机制在医学适配中的作用。
  • •
    医学SAM的面向应用适配与临床转化。在泛化性、效率和可靠性等方面的实际约束下,考察现有方法的适用范围和临床转化需求。
图1总结了本综述针对基于SAM的医学图像分割的整体分析框架,各维度之间的详细关系见图注说明。

章节摘录

SAM:空间提示驱动的分割

SAM(Kirillov等,2023)的主要贡献在于将分割重新定义为"可提示的分割任务",其中目标通过提示来指定。给定一个提示,模型生成一个有效的分割掩码,并通过其提示接口将预训练模型迁移到训练期间未明确定义的下游任务。为此,SAM采用了一种解耦架构,由图像编码器、提示编码器和轻量级掩码解码器组成,

医学SAM的模型适配边界与策略选择

根据是否继承SAM家族模型的预训练权重,现有的医学适配方法可分为两类:一类是从医学数据重新构建并训练模型的方法,另一类是保留预训练SAM并通过参数更新或结构修改来适应医学任务的方法。本节遵循这一区分,并进一步比较不同策略的适用条件和方法学权衡。

医学SAM适配中的任务知识组织与利用

除模型级的参数更新和结构修改外,SAM的医学适配还涉及目标定位、医学语义理解、解剖和结构约束的引入,以及在标注有限的情况下有效利用知识。因此,本节从三个方面考察信息和知识如何对医学任务中的适配做出贡献。首先,考虑引导信息如何支持目标定位、医学

医学SAM的面向应用适配

在前述医学领域适配之后,关于SAM的研究越来越从模型应该如何适配转向它能否在特定的医学工作流程中稳定和有效地部署。不同应用场景的主要约束各不相同。高维度和实时任务受到计算、交互和时间处理成本的制约。异质医学成像要求模型能够适应成像机制、解剖

挑战与未来研究方向

前述分析表明,随着SAM家族模型从医学适配迈向临床应用,关键瓶颈已超越分割性能本身,扩展到跨研究可比性、临床数据分布变化、工作流程资源约束和预测可靠性等方面。如图8所示,本节因此讨论了四个主要未来研究方向,包括标准化评估以实现跨研究可比性、受控

结论

总体而言,现有研究表明,SAM家族模型在医学图像分割中的价值最好被理解为一种可迁移、可交互和可扩展的通用分割基础,而非一个能够仅通过模型演化就自动获取医学专业知识的一体化解决方案。SAM、SAM 2和SAM 3通过空间提示、序列信息传播,

CRediT作者贡献声明

夏青岭:撰写——审阅与编辑。孙雪:撰写——初稿。蒋斌:调查研究。赵云:调查研究。陈迪友:调查研究。翟生杰:调查研究。

利益冲突声明

作者声明他们不存在任何已知的竞争性经济利益或个人关系,这些关系可能影响本论文所报告的工作。
夏青岭|孙雪|蒋斌|赵云|陈迪友|翟生杰
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号