StyleSeg V2:通过无需优化的配准误差感知方法,实现鲁棒的单标签监督脑组织分割

《Pattern Recognition》:StyleSeg V2: Towards Robust Single-label-supervised Segmentation of Brain Tissue via Optimization-free Registration Error Perception

【字体: 大 中 小 】 时间:2026年01月15日 来源:Pattern Recognition 7.6

编辑推荐:

  单标签监督脑组织分割中,StyleSeg V2通过镜像对称检测注册误差,改进加权风格转换和置信度引导的Dice损失,显著提升分割精度,平均Dice在OASIS和CANDIShare数据集上分别提高2.0%和2.4%,并在CT心 dataset上增强1.7%。

  
吴崇伟|曾晓宇|权廷伟|吕金鑫|张旭|方伟|李强|王志伟
中国华中科技大学武汉国家光电实验室生物医学光子学重点实验室,武汉,430074

摘要

脑组织的单标签监督分割需要迭代地训练配准-分割(reg-seg)双模型,其中配准模型(reg-model)通过扭曲一个精心标注的图谱来为分割模型(seg-model)提供未标记图像的伪掩膜。然而,不完美的配准模型会导致图像与掩膜的对齐错误,从而影响分割模型的性能。最近的StyleSeg通过用图谱的扭曲副本替换未标记图像来绕过这一瓶颈,但需要借助风格变换来获取多样的图像模式。在这里,我们提出了StyleSeg V2,它在继承StyleSeg的基础上增加了感知配准错误的能力。其动机在于良好的配准效果在镜像图像中也会以相同的方式体现。因此,StyleSeg V2几乎不需要额外成本,就可以通过简单地镜像(对称翻转大脑)输入图像,使配准模型“指出”对齐错误的区域,而配准错误就是原始输入和镜像输入之间的对称不一致性。因此,StyleSeg V2允许分割模型利用未标记图像中正确对齐的区域,并通过根据配准错误调整局部变换强度来提高风格变换后图谱图像的保真度。在两个公开数据集OASIS和CANDIShare上的实验结果表明,我们提出的StyleSeg V2的性能显著优于其他现有技术,在这两个数据集上的平均Dice值分别提高了2.0%和2.4%。在CT心脏数据集MM-WHS 2017上进行的可扩展性测试也显示,StyleSeg V2的性能比StyleSeg提高了1.7%,这证明了StyleSeg V2的强大泛化能力。

引言

脑组织分割是临床实践中的基本技术,它能够实现准确的疾病诊断和治疗计划[1]。现有的全监督分割方法在有足够良好注释的数据下可以实现有希望的分割精度。然而,复杂的脑结构使得脑部MRI图像的3D手动注释既费时又容易出错。因此,仅使用少量或单个标记图像来实现脑组织分割具有重要的实际意义。
一种直接的解决方案是基于图谱的分割[2]。其核心思想是首先通过基于图像级别的相似性进行无监督配准,建立一个精心标注的图谱图像(移动图像)与未标记图像(固定图像)之间的像素级对应关系,然后可以将图谱的掩膜作为分割结果。
然而,配准模型更关注整体空间一致性,而不是特定的脑组织,这导致分割结果不尽如人意[3]。相比之下,最近提出的一种更有效的方法是联合学习两个模型,用于弱监督配准和半监督分割,形成了双模型迭代学习[3]、[4]、[5]。具体来说,首先仅依赖于目标无关的图像级别相似性训练配准模型(reg-model),为分割模型(seg-model)提供未标记图像的伪掩膜;然后学习到的分割模型(seg-model)预测精细的掩膜来弱监督配准模型,迫使配准模型更加关注感兴趣的组织;在下次迭代中,配准模型可以更好地进行变形,从而提高分割模型的预测能力。
尽管这些方法取得了成功,但在使用配准模型生成未标记图像的伪掩膜时仍存在一个常见瓶颈。即,配准模型肯定是不完美的,因此每对图像-掩膜对中都会出现对齐错误。分割模型可以部分容忍这些错位区域,但由于这些错误会逐渐累积,最终可能会不堪重负。
为了解决上述瓶颈,提出了StyleSeg [6],如图1(a)所示。它拒绝了包含配准错误的图像-掩膜对,并通过使用图谱掩膜对的扭曲副本来绕过这个问题,即用扭曲后的图谱图像替换未标记图像。然而,StyleSeg有一个主要问题:分割模型总是“看到”同一个图谱的副本,忽略了未标记图像中携带的宝贵信息。尽管StyleSeg设计了图像对齐的风格变换(IST)来从未标记图像中获取多样的图像模式,但当发生错位时,IST生成的图像通常会包含严重的伪影,即配准错误会降低风格变换后图谱副本的保真度。因此,绕过配准错误只是一种妥协,最终可能会引发其他潜在问题。一些研究,例如DeepRS [3],试图通过主要依赖GAN等复杂额外模型来预测配准错误,但这增加了在3D配对图像上训练双模型的成本。
在本文中,我们介绍了StyleSeg V2作为StyleSeg的下一代版本。这个升级版本不仅提高了风格变换后图谱图像的可靠性,还允许未标记图像有效地参与训练过程,如图1(b)所示。具体来说,StyleSeg V2“唤醒”了配准模型固有的但常被忽视的能力,使其能够在不依赖任何可学习参数的情况下感知配准错误。基于观察到两个对称的大脑半球通常表现出不对称的配准错误,StyleSeg V2通过对称交换左右脑部来生成镜像图像,并通过检查镜像图像上的预测对称性来识别原始图像中的错误。通过利用配准错误,StyleSeg V2将IST重新设计为加权图像对齐的风格变换(WIST),减少了对错位局部区域的风格变换强度,并从未标记图像中选择低错误区域来直接约束分割模型。
总结我们的贡献如下:
  • •
    我们提出了StyleSeg V2,用于强大的单标签监督脑组织分割,它通过几乎无需努力的方式感知配准错误而区别于原始的StyleSeg。
  • •
    我们在感知配准错误的基础上提出了两种辅助技术,即加权图像对齐的风格变换和基于置信度的Dice损失。前者使StyleSeg V2能够在绕过训练过程中“看到”更多样化和高保真的风格变换后图谱图像,后者则利用未标记图像中正确对齐的区域直接提升StyleSeg V2的性能。
  • •
    在两个公开脑数据集上的实验结果表明,StyleSeg V2在脑组织分割和配准方面都优于其他现有技术。与原始版本相比,StyleSeg V2在两个数据集上的平均Dice值分别提高了2.0%和2.4%。在CT心脏数据集MM-WHS 2017上进行的可扩展性测试也显示,StyleSeg V2的性能比其前一代版本提高了1.7%,证明了StyleSeg V2的强大泛化能力。
  • 章节片段

    基于图谱的分割

    为了减轻缺乏注释带来的负面影响,一种简单的方法是使用基于图谱的分割方法。标准的基于图谱的方法将少量图谱图像及其标签映射到未标记图像上,将其视为一个配准问题。一些传统的配准方法经常被采用。例如,Collins等人[7]基于模糊图像强度和图像梯度幅度提取图像特征来进行图谱配准

    StyleSeg V2中的迭代学习概述

    如图2所示,StyleSeg V2通过迭代优化的方式实现了配准模型(reg-model)和分割模型(seg-model)的共同进化。在迭代之前,StyleSeg V2首先以无监督的方式对配准模型进行初始化预热,这在图2中省略了。

    数据集

    我们在这项工作中使用两个脑部MRI数据集OASIS [25]和CANDIShare [26]进行评估和比较:
  • •
    OASIS数据集:该数据集包含414个T1脑部MRI扫描,图像尺寸为256×256×256,体素间距为1×1×1毫米。35种脑组织的真实掩膜由FreeSufer [27]和SAMSEG [28]提供。所有脑部MRI图像都经过预处理,去除了颅骨,校正了偏场并进行了刚性预配准。
  • •
    CANDIShare数据集:该数据集包含103个扫描
  • 结论与未来工作

    在这项工作中,我们介绍了StyleSeg V2,这是一个解决单标签监督医学图像分割中不可靠伪掩膜瓶颈的配准-分割双模型框架。具体来说,StyleSeg V2通过无需使用任何可学习额外模型的新能力来感知配准错误,从而区别于原始的StyleSeg。在感知配准错误的基础上,我们重新设计了图像对齐的风格变换(IST)为加权IST(WIST)

    CRediT作者贡献声明

    吴崇伟:撰写——原始草稿,验证,软件,方法论,调查,概念化。曾晓宇:撰写——原始草稿,验证,软件,方法论,调查。权廷伟:验证,可视化,撰写——审阅与编辑,调查。吕金鑫:可视化,验证,软件。张旭:资源,数据管理。方伟:监督,资源,形式分析,数据管理。李强:监督,资源,资金获取,形式化

    利益冲突声明

    作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:对于与工业界的关系,李强部分得到了United Imaging Healthcare, Inc.的支持。

    致谢

    这项工作部分得到了国家自然科学基金(项目编号62202189)、中央高校基本科研业务费(2021XXJS033)以及武汉United Imaging Healthcare Inc.的研究资助。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号