GMM-PA:基于高斯混合模型的原型对齐方法,用于多源域适应下的息肉分割任务

《Journal of Imaging Informatics in Medicine》:GMM-PA: Gaussian Mixture Model-Based Prototype Alignment for Multi-source Domain Adaptation in Polyp Segmentation

【字体: 时间:2025年11月07日 来源:Journal of Imaging Informatics in Medicine

编辑推荐:

  针对结肠镜图像多聚体分割中域适应问题,提出基于高斯混合模型引导原型对齐的多源域适应网络。通过LAB空间色彩变换和傅里叶变换低频谱交换预处理,结合CNN-Mamba混合架构提取特征,利用GMM优化多模态特征分布,并通过跨域原型特征优化和对抗学习提升域不变性,实验表明其Dice平均分0.8396和mIoU 0.8449优于现有方法。

  

摘要

在结肠镜图像中进行精确的息肉分割对于早期发现和治疗结直肠癌至关重要。然而,基于深度学习的分割模型在处理来自未见过的中心的数据时,由于领域差异(domain shift)常常会出现性能下降。为了解决这一挑战,我们提出了一种基于高斯混合模型引导的原型对齐(GMM-PA)的多源领域适应网络,以实现鲁棒的跨领域息肉分割。首先,设计了一个图像预处理模块,通过在LAB空间应用颜色变换和通过傅里叶变换进行低频光谱交换来视觉上减轻领域差异。然后,引入了一种混合CNN-Mamba架构用于特征提取,该架构结合了CNN的局部建模能力和Mamba的全局上下文建模能力,相比CNN-Transformer模型具有更低的计算成本。为了更好地捕捉复杂的多模态特征分布,使用高斯混合模型来生成可靠的类别原型,从而克服了以往单模态假设的局限性。一个跨领域原型特征细化模块通过利用特征与原型之间的语义关系进一步提高了表示质量。此外,采用了一种对抗学习策略来促进训练过程中的领域不变特征学习。在三个公开的息肉分割数据集上的广泛实验表明,所提出的GMM-PA方法在跨领域设置中表现优于现有的最先进方法,平均Dice得分达到0.8396,mIoU达到0.8449。

在结肠镜图像中进行精确的息肉分割对于早期发现和治疗结直肠癌至关重要。然而,基于深度学习的分割模型在处理来自未见过的中心的数据时,由于领域差异(domain shift)常常会出现性能下降。为了解决这一挑战,我们提出了一种基于高斯混合模型引导的原型对齐(GMM-PA)的多源领域适应网络,以实现鲁棒的跨领域息肉分割。首先,设计了一个图像预处理模块,通过在LAB空间应用颜色变换和通过傅里叶变换进行低频光谱交换来视觉上减轻领域差异。然后,引入了一种混合CNN-Mamba架构用于特征提取,该架构结合了CNN的局部建模能力和Mamba的全局上下文建模能力,相比CNN-Transformer模型具有更低的计算成本。为了更好地捕捉复杂的多模态特征分布,使用高斯混合模型来生成可靠的类别原型,从而克服了以往单模态假设的局限性。一个跨领域原型特征细化模块通过利用特征与原型之间的语义关系进一步提高了表示质量。此外,采用了一种对抗学习策略来促进训练过程中的领域不变特征学习。在三个公开的息肉分割数据集上的广泛实验表明,所提出的GMM-PA方法在跨领域设置中表现优于现有的最先进方法,平均Dice得分达到0.8396,mIoU达到0.8449。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号