WBDM-ECRF:一种结合高效条件随机场的桥式扩散模型,用于皮肤病变分割

《Expert Systems with Applications》:WBDM-ECRF: A Bridge Diffusion Model with Efficient Conditional Random Field for Skin Lesion Segmentation

【字体: 时间:2026年01月02日 来源:Expert Systems with Applications 7.5

编辑推荐:

  皮肤病变分割中,现有方法存在边界结构建模不足和训练效率低的问题。本文提出WBDM-ECRF框架,通过小波变换增强结构特征,结合桥式扩散模型实现高效图像到分割掩模的映射,并引入改进的条件随机场模块优化边界精度。实验表明该方法在ISIC多年度数据集上平均IoU达88.08%,推理速度提升10倍,边界连续性优于SOTA模型。

  
纪和峰|肖静|刘 Jimin|余浩勇|陈超
华南师范大学计算机科学学院,中国广州Jawahar Nagar,510631

摘要

皮肤病变分割对于临床定量分析至关重要。尽管采用了多种策略,但大多数现有方法存在两个主要缺陷:未能充分考虑边缘结构对分割精度的影响,以及由于采样过程耗时较长而导致训练效率低下。为了解决这些问题,我们提出了WBDM-ECRF算法,以实现精确高效的医学图像分割。我们的模型结合了小波变换(确保边界在几何上的连贯性)和一种新颖的高效网络架构(以减少推理时间和分割误差)。我们设计了一种小波桥扩散模型(WBDM)模块,该模块通过将图像的扩散表示拟合到标签域来增强模型对像素级和上下文关系的理解,并集成了FlashAttention机制以提高训练效率。为了提高边界精度,我们基于条件随机场(CRF)提出了高效条件随机场(ECRF)模块,该模块能够更有效地捕捉图像中的边缘信息。在优化过程中,该模块利用图像的结构相似性进一步细化边界。我们的整体框架WBDM-ECRF已在ISIC 2016、2017和2018数据集上进行了广泛验证。实验表明,我们提出的方法优于其他最先进的方法。具体而言,WBDM-ECRF的平均IoU达到了88.08%,并且显著缩短了推理时间。

引言

医学图像分割是临床诊断和治疗计划中的关键技术,它能够在像素级别精确量化复杂的解剖结构和病理特征。这项技术在黑色素瘤的早期诊断和治疗中尤为重要,研究表明,及时识别病变可将患者的五年生存率提高到90%以上(Aayushman, Mittal, Chawla, Gupta, 2024; Wang, Luo, Wang, 2024b)。目前,准确的皮肤病变识别主要依赖于皮肤科医生对皮肤镜图像的手动解读。传统的手动分析方法存在效率低、主观性强和标准化不足等缺点。解读一张图像可能需要几分钟时间,且结果容易受到医生经验的影响。因此,需要一种自动化、高效且准确的图像分割方法。
深度学习的出现推动了医学图像分割的显著进步,卷积神经网络(CNN)和Transformer成为主流架构(Sahoo, Dash, Mohapatra, 2024; Zheng, Huang, Liu, Cai, 2024)。诸如U-Net及其衍生模型之类的开创性模型通过利用CNN的强大局部特征提取能力并集成多尺度模块来增强边界感知,展现了出色的效果(例如Att-UNet, PMAA-Net)(Oktay, Schlemper, Folgoc, Lee, Heinrich, Misawa, Mori, McDonagh, Hammerla, Kainz, et al., Yu, Chen, Min, Zhao, Wang, 2024b)。然而,一个根本性的限制仍然存在:这些方法通常无法充分建模病变边界的拓扑结构。由于边缘被视为一系列局部高频梯度,而不是具有连续形态的连贯实体,因此产生的分割掩膜往往边缘模糊、不连续或带有伪影,尤其是在对比度低或纹理复杂的区域。虽然后续基于Transformer的模型通过自注意力机制解决了CNN的全局上下文限制(Li, Tian, Hu, Yuan, 2024b, Zhang, Yin, Gu, Chen, 2025),但边缘仍然通常被视为需要增强的局部特征,而不是一个整体结构约束。这种方法往往导致预测缺乏拓扑完整性。相比之下,扩散模型(Shuai, Chen, Mao, Zho, & Zhang, 2024)在各种图像生成任务中展示了令人印象深刻的结果,展示了在条件和无条件数据分布建模方面的强大能力。基于扩散模型的方法整合了创新技术,包括小波变换、边界增强、注意力机制、多模态建模和两阶段处理,在许多医学图像分割任务中实现了最先进的性能。
然而,大多数现有的扩散模型将掩膜生成视为一个条件过程,其中源图像指导从纯噪声开始的逆向扩散。这种间接机制可能难以弥合图像和分割图之间的领域差距,从而限制了模型的泛化能力。此外,它们缓慢的训练速度、漫长的推理时间和较低的准确性阻碍了它们在需要即时反馈的交互式临床工作流中的应用。同时,它们对随机噪声采样的依赖性带来了不确定性,影响了可重复性和医学可靠性。
为了解决平衡分割精度、拓扑连贯性和计算效率的上述挑战,我们提出了WBDM-ECRF,这是一个专为精确快速皮肤病变分割设计的新框架。据我们所知,这是第一个将桥扩散模型(BDM)应用于这一特定领域的框架。BDM(Wang, Xiao, He, Glide-Hurst, & Dong, 2024a)不是从噪声生成掩膜,而是直接从源图像域学习到目标掩膜域的随机变换,从而从根本上加快了生成过程。我们的框架首先使用小波变换来增强输入空间中的病变结构特征,为扩散过程提供了一个更稳健的起点。为了进一步增强边界定义和结构完整性,我们引入了一种新的高效条件随机场(ECRF)模块作为后处理步骤。通过将分割视为概率图模型的能量最小化问题(Zhao, Chen, Cao, Zhao, & Liu, 2024),ECRF明确地建模了像素之间的关系,从而确保最终的分割既精确又在拓扑上连贯。具体来说,我们的贡献如下:
据我们所知,这是首次将桥扩散模型(BDM)框架成功应用于皮肤病变分割任务。通过将分割视为直接的图像到掩膜变换,我们的模型显著提高了推理效率,同时保持了高精度,为基于扩散的方法树立了新的标杆。
  • 我们提出了一种新的高效条件随机场(ECRF)模块,该模块在其势函数中加入了结构相似性指数(SSIM),从而能够捕捉更丰富的边界细节并强制实现拓扑连贯性。
  • 我们在三个广泛使用的基准数据集上进行了广泛的实验。结果表明,我们的方法显著优于基线模型,并超越了最先进的分割算法。
  • 本文的其余部分结构如下。第2节回顾了相关工作,并分析了这些方法与我们的方法之间的差异。第3节详细介绍了我们模型的结构,并对我们的方法进行了深入解释。第4节检验了在各种数据集上的实验结果和消融研究。最后,第5节总结了我们的研究。

    部分摘录

    图像病变分割

    基于深度学习的方法被广泛用于器官分割。近年来,从CNN(Chang, Zeng, Huang, & Ni, 2024)到扩散模型,医学图像分割取得了进展(Sahoo, Dash, Mohapatra, 2024, Zheng, Huang, Liu, Cai, 2024)。其中,基于CNN的U-Net以其出色的性能和高效的设计而闻名。随后,出现了各种基于U-Net的变体,如DSEU-Net(Li et al., 2024a)、SMM-UNet(Li, Huang, Wang, & Liu, 2025)、WET-UNet(Zeng et al.,

    架构概述

    提出的WBDM-ECRF框架基于桥扩散模型和条件随机场,建立了一个协同的工作流程用于皮肤病变分割。如图2所示,该框架包括三个核心组件:用于特征提取的离散小波变换(DWT)模块、用于直接从图像到标签域映射的BDM模块,以及用于标签细化的高效条件随机场(ECRF)模块。这种方法通过精心设计实现了精确的分割

    数据集

    我们使用了三个公开的皮肤病变分割数据集:ISIC 2016(Gutman et al., 2016)、2017(Codella et al., 2018)和2018(Codella et al., 2019)。ISIC 2016包含900张训练图像和379张测试图像,ISIC 2017包含2000张训练图像和150张测试图像,而ISIC 2018包含2500张训练图像和1000张测试图像。

    实现细节

    所有实验均在NVIDIA GeForce RTX 4090 GPU上的PyTorch环境中进行。模型使用Adam优化器进行了200个时代的训练,初始学习率为

    结论

    在我们的研究中,我们提出了一个创新的WBDM-ECRF框架,用于皮肤病变分割,该框架采用了桥扩散和条件随机场。该模型在所有评估指标上均优于其他最先进的方法。对于皮肤病变分割,我们分割出的皮肤病变边界更加平滑,对边界识别的敏感性也更高。此外,与计算复杂度相似的类似模型相比,推理时间减少了十分之一,训练时间也有所缩短

    CRediT作者贡献声明

    纪和峰:概念化、方法论、项目管理、撰写——审稿与编辑、监督。肖静:概念化、数据整理、验证、撰写——审稿与编辑。刘 Jimin:验证、撰写——审稿与编辑。余浩勇:验证、撰写——审稿与编辑。陈超:验证、撰写——审稿与编辑。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号