
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于SAM模型的生物医学图像无监督域自适应方法RESAMPL-UDA:提升跨域分割精度的创新策略
【字体: 大 中 小 】 时间:2025年06月26日 来源:Pattern Recognition Letters 3.9
编辑推荐:
推荐:针对生物医学图像分割中无监督域适应(UDA)面临的高域偏移导致伪标签质量差的问题,研究人员提出RESAMPL-UDA方法,通过训练源域 refinement network(精修网络)优化Segment Anything Model(SAM)的零样本预测,生成高质量伪标签。实验表明该方法在8个跨域案例中超越现有技术,并成功拓展至源无关域适应(SFUDA),为医学图像分析提供新范式。
在生物医学图像分析领域,语义分割(Semantic Segmentation)的精度直接影响疾病诊断和治疗效果。然而,医学图像的获取受设备、协议和机构差异影响,导致不同来源数据存在显著域偏移(Domain Shift)。传统监督学习在单一数据集上训练后,面对新域数据时性能急剧下降。尽管无监督域适应(Unsupervised Domain Adaptation, UDA)技术通过源域标签和目标域无标签数据缓解该问题,但现有方法如DAFormer、HRDA等依赖自训练(Self-training)策略,在生物医学图像的高域偏移场景中,因伪标签(Pseudo-label)质量差而失效。
针对这一挑战,研究人员在《Pattern Recognition Letters》发表论文提出RESAMPL-UDA(REfined SAM-based Pseudo Label UDA)方法。该方法创新性地结合基础模型Segment Anything Model(SAM)的零样本分割能力与源域训练的专用精修网络(Refinement Network),通过两阶段框架解决跨域分割难题:首先在源域训练网络精修SAM生成的冗余分割掩膜,保留目标结构;随后冻结精修网络,在目标域生成高质量伪标签指导UDA训练。研究涵盖线粒体和息肉分割等6类生物医学场景,通过定量实验和可视化对比验证其优越性。
关键技术包括:1) 利用SAM的通用分割能力生成初始目标域预测;2) 设计U-Net架构的精修网络,通过二元交叉熵损失(BCE Loss)在源域学习语义过滤;3) 采用SegFormer作为分割主干网络,结合Dice损失和BCE损失进行跨域优化;4) 扩展至源无关域适应(SFUDA)场景,仅依赖预训练精修网络实现目标域自适应。
研究结果部分显示:在线粒体数据集FS1、FS2和WeiH的6种跨域组合中,RESAMPL-UDA的IoU指标超越最佳基线方法0.10-0.30,尤其在WeiH→FS1任务达到0.70 IoU,接近全监督结果的84%。可视化对比证实,传统方法如MIC在复杂域偏移下产生碎片化伪标签,而RESAMPL-UDA能保持结构完整性。精修网络的有效性通过消融实验验证:当SAM在WeiH目标域的原始预测IoU仅0.11时,精修后提升至0.31。
息肉分割实验中,RESAMPL-UDA在CVC→Kvasir任务以0.70 Dice分数领先,但Kvasir→CVC任务稍逊于MIC,反映该方法对模糊边界的局限性。SFUDA扩展测试中,在10个线粒体数据集上平均提升SAM基线15% Dice分数,其中FS2数据集达到0.83,逼近全监督的0.96。
结论指出,RESAMPL-UDA首次将基础模型SAM与域适应框架结合,通过解耦伪标签生成与分割训练,突破传统自训练对域偏移敏感的瓶颈。其意义在于:1) 为高偏移生物医学场景提供稳定解决方案;2) 验证标签空间协变量偏移假设在医学图像的适用性;3) 实现无需源域数据的SFUDA部署。未来工作可探索多模态提示增强SAM在特定医学目标的表现,以及动态精修机制应对复杂解剖结构。
生物通微信公众号
知名企业招聘