基于多尺度特征融合 SAM 的高质量小样本医学图像分割

【字体: 时间:2025年05月19日 来源:Computer Vision and Image Understanding 4.3

编辑推荐:

  针对 SAM 直接应用于医学图像分割需大量标注数据、依赖精准医学提示的难题,研究人员提出 HF-SAM。其借助 LoRA 微调 SAM,结合 AWFFM 与两步跳跃特征融合解码。实验在 Synapse、ACDC 数据集获 79.50%、88.68% 的 Dice 分数,为医学图像分割提供新方案。

  
在医学影像领域,精准分割是疾病诊断与治疗规划的关键。然而,医学图像往往面临标注样本稀缺的困境,且自然图像与医学图像的巨大差异使得直接应用通用分割模型效果不佳。例如,Segmentation Everything Model(SAM)作为强大的视觉分割基础模型,虽在自然图像中表现出色,但直接应用于医学图像时,不仅需要大量详尽标注的医疗数据进行微调,还依赖精准的医学提示(如点、框或粗掩码),这在实际临床场景中既耗时又成本高昂,尤其对于多类别分割或小尺寸、相邻器官的分割任务,高质量提示的生成更是难上加难。因此,如何让 SAM 在小样本条件下高效适配医学图像分割,成为亟待解决的难题。

为突破这一瓶颈,国内研究团队开展了相关研究,旨在开发一种无需大量数据和精准提示的高质量小样本医学图像分割方法。研究成果发表在《Computer Vision and Image Understanding》。

研究人员提出了 High-quality Few-shot Segmentation Everything Model(HF-SAM),核心技术包括:

  1. 低秩自适应(LoRA)技术:利用 SAM 掩码解码器的图像嵌入中缺乏大量局部细节的特点,通过 LoRA 对 SAM 进行参数高效微调,减少计算成本的同时提升模型对医学图像的适应性。
  2. 自适应加权特征融合模块(AWFFM):将低层局部信息融入高层全局特征,通过加权机制避免低层信息抑制高层全局信息,实现特征互补。
  3. 两步跳跃特征融合解码过程:增强模型捕捉细粒度信息和局部细节的能力,弥补 SAM 在医学图像中空间信息缺失的不足。

研究结果


数据集与评估指标


  • Synapse Multi-Organ CT 数据集:包含 8 类腹部器官的 3779 张轴向增强 CT 图像,训练和测试数据分别为 18 例和 12 例患者的 CT 图像。
  • ACDC 数据集:具体数据特征未在原文详述,但作为实验验证的另一医学图像数据集。
  • 评估指标:采用 Dice 分数衡量分割精度。

模型性能表现


  • 在 Synapse 数据集上,HF-SAM 取得了 79.50% 的 Dice 分数;在 ACDC 数据集上,Dice 分数达 88.68%。
  • 实验结果表明,HF-SAM 显著优于传统方法、半监督方法及其他 SAM 变体,验证了其在小样本医学图像分割中的有效性。

研究结论与意义


HF-SAM 通过 LoRA 技术实现了 SAM 对医学图像的高效适配,结合 AWFFM 和两步跳跃特征融合解码过程,有效提升了模型对局部细节的捕捉能力和全局信息的保留能力。该方法无需大量标注数据和精准医学提示,为解决医学图像分割中样本稀缺的难题提供了新范式,显著降低了临床应用的成本和门槛,在多器官分割、小目标分割等复杂场景中展现出广阔的应用前景,为医学影像分析领域的发展提供了重要的技术支持和实践指导。研究成果不仅拓展了 SAM 在医学领域的应用边界,也为小样本学习在医疗人工智能中的进一步探索奠定了基础。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号