FProtoSeg:一种用于组织病理学图像弱监督语义分割的细粒度原型对齐方法

《Pattern Recognition》:FProtoSeg: Fine-grained Prototype Alignment for Weakly Supervised Semantic Segmentation of Histopathology Images

【字体: 大 中 小 】 时间:2026年01月24日 来源:Pattern Recognition 7.6

编辑推荐:

  丁美丹|陈文婷|罗晓玲|钟海琴|沈琳琳中国深圳大学计算机科学与软件工程学院摘要针对组织病理学数据的弱监督语义分割(WSSS)方法通过类别激活图(CAMs)显著减轻了标注工作负担。然而,由于患者间的类别内变异性高以及类别间的细微差异,准确分割仍然具有挑战性,因为早期异常细胞往往与正

  
丁美丹|陈文婷|罗晓玲|钟海琴|沈琳琳
中国深圳大学计算机科学与软件工程学院

摘要

针对组织病理学数据的弱监督语义分割(WSSS)方法通过类别激活图(CAMs)显著减轻了标注工作负担。然而,由于患者间的类别内变异性高以及类别间的细微差异,准确分割仍然具有挑战性,因为早期异常细胞往往与正常细胞相似。此外,WSSS方法倾向于强调最具区分性的特征,常常忽略来自类别内较少见或更微妙形态变化的异常特征。尽管近期方法有所进步,但对粗粒度的一对多映射的依赖限制了它们捕捉细微像素级差异的能力。受此限制的启发,我们假设采用细粒度的一对一映射将获得更准确和完整的分割结果。因此,我们提出了一种名为FProtoSeg的新细粒度原型对齐框架,该框架结合了结构感知的原型建模和文本感知的原型对齐,以提取更具体的特征并激活更完整的CAMs。具体而言,结构感知的原型建模通过使用原型来捕捉类别特征,从而适应不同实例的语义属性。文本感知的原型对齐将视觉特征和文本特征对齐,确保实例特征分布与文本特征一致。实验结果表明,FProtoSeg在BCSS-WSSS数据集上达到了71.21%的平均交并比(mIoU),在LUAD-HistoSeg数据集上达到了76.64%,显著优于现有方法。

引言

计算病理学显著增强了传统病理学的能力,特别是在疾病诊断方面[1]。组织语义分割作为计算病理学的一个基本组成部分,对于建立形态特征与临床结果之间的定量关联至关重要[2]、[3]。它通常使用完全监督的方法进行像素级标注[4]、[5]。然而,获取像素级标注对病理学家来说既费力又耗时。一种解决方案是使用弱监督语义分割(WSSS)方法,例如基于图像级别的标签[6],这种方法被广泛用于获得伪像素级标注。
已经有多种自动WSSS方法[6]、[7]、[8]、[9]、[10]、[11]被广泛应用于组织病理学图像。这些方法可以分为两类:传统的WSSS方法[6]、[7]、[8]、[9]、[10]和基于CLIP的WSSS方法[11]。前者首先在图像标签监督下训练分类模型,然后基于类别激活图(CAMs)生成伪掩码[12],如图1(a)所示。后者将对比语言-图像预训练(CLIP)[13]引入WSSS中,如图1(b)所示,通过将文本特征与视觉特征对齐来用文本信息监督CAMs。尽管这些方法能够实现显著的分割性能,但在病理学场景中仍面临一些挑战。
当前方法通过在分类器内应用类别特定权重和特征图的加权和来生成CAMs[6]、[7]、[8]、[9]、[10]、[11]。它们直接使用每个类别的特征中心来生成CAMs,从而忽略了病理特征的固有复杂性。例如,疾病可能经历多个阶段,导致类别内特征多样性显著[14]。如图2(a)所示,肿瘤组织样本a到e分别分布在不同的簇中,显示出类别内样本之间的显著形态异质性。此外,由于共享的生物学机制和修复反应,组织病理学图像特征表现出显著的类别间相似性[15]。如图2(a)所示,样本e和f显示出非常相似的生物学结构,这意味着它们的簇中心彼此接近。当前采用权重平均的方法不适用于病理学成像,无法为不同类别生成最佳的特征表示。这可能会导致误导性的CAM激活和产生错误的伪掩码。因此,在WSSS中明确考虑类别间和类别内的关系至关重要。
尽管基于CLIP的方法利用了文本信息作为额外的监督,但它们从根本上忽略了特定组织与其文本描述之间的细粒度关联。例如,现有方法[11]通常将整个视觉特征与包含多个类别标签的句子对齐。实际上,大多数病理图像包含多个组织类别,每个类别都包含广泛的分类描述。因此,病理图像的特定区域将特定文本内容与类别名称及其分类描述相关联。然而,当前方法直接将单个图像的视觉特征与多个类别名称的文本特征对齐,导致了一对多映射的模糊性。因此,在WSSS训练期间建立图像区域与特定文本内容之间的一对一映射是必要的。
为了解决这些问题,我们提出了一种用于病理学弱监督语义分割(WSSS)的细粒度原型对齐框架FProtoSeg。该框架由一个孪生网络和两个创新模块组成:结构感知原型建模模块(SPM)和文本感知原型对齐模块(TPA)。SPM旨在通过探索类别特定的原型来处理病理图像中复杂的类别间和类别内关系。通过类别特定的原型探索,SPM可以提取每个组织类别的更具区分性的特征,从而更适当地表示组织变化。TPA模块通过原型与其文本描述之间的一对一映射实现细粒度语义对齐,使视觉特征和文本特征之间能够分离和精确对应。如图2(b)所示,我们框架派生的特征相比现有方法具有显著增强的区分性能。为了验证我们的方法,我们使用BCSS-WSSS和LUAD-HistoSeg数据集进行了广泛的实验评估。实验结果建立了新的最佳性能基准,特别是在仅限于图像级别标签监督的场景中。这些发现突显了我们提出的框架在应对病理组织分割中固有复杂挑战方面的强大能力。
总结如下:
  • •
    我们提出了一种用于病理学成像中弱监督语义分割的细粒度原型对齐框架FProtoSeg,有效处理了各种组织分布特征。
  • •
    提出了结构感知原型建模模块(SPM),通过类别特定的原型探索提取具有区分性的特征,有效考虑了病理特征之间的类别间和类别内关系。
  • •
    文本感知原型对齐模块(TPA)通过多个分类语言描述与每个类别的原型之间的一对一映射实现细粒度对齐。
  • •
    我们在BCSS-WSSS和LUAD-HistoSeg数据集上进行了全面的实验验证,取得了最佳性能,证明了我们的框架在应对病理组织分割中的复杂挑战方面的强大能力。
  • 章节片段

    组织病理学图像的WSSS

    由于像素级标注的稀缺,完全监督的语义分割面临许多挑战。为了解决这个问题,一种常见的策略是使用细粒度标注,如草图[16]、图像级别标签[17]、边界框[18]和点[19]。其中,获取图像级别标签最为容易,因此受到了广泛关注。弱监督语义分割(WSSS)可以分为两类,即传统的WSSS和基于CLIP的WSSS

    概述

    所提出的FProtoSeg如图3(a)所示,结合了一个孪生网络和两个专用模块:结构感知建模模块(SPM)和文本感知原型对齐模块(TPA)。该框架通过孪生网络处理多尺度输入对(x和x′),提取层次特征(f1到f4)和语义特征(Ff)。语义特征用于生成初始的类别激活图(Mc),其中c表示数据集中的类别。SPM模块

    数据集

    本文采用了两个组织分割数据集LUAD-HistoSeg [21]和BCSS-WSSS [36]进行评估。
    LUAD-HistoSeg:该数据集专注于肺腺癌组织。它包含四种不同的组织类型:肿瘤上皮(TE)、肿瘤基质(TAS)、坏死(NEC)和淋巴细胞(LYM)。它包含17,258个图像块,每个块的大小为224像素×224像素。根据提供的划分,LUAD-HistoSeg分为训练集(16,678个块标注)和验证集(300个

    局限性与未来工作

    虽然提出的FProtoSeg框架取得了最佳性能,但重要的是要认识到其局限性以及未来研究的方向。首先,文本感知原型对齐(TPA)模块的有效性依赖于GPT-4o生成的文本描述。这种依赖性既引入了对第三方工具的依赖,也带来了继承它们偏见的风险。为了解决这个问题,我们可以使用稳定且开源的LLM来替代

    结论

    在这项工作中,我们提出了一种用于组织病理学图像WSSS的细粒度原型对齐框架,旨在减轻类别内变化和类别间相似性的影响。我们方法的核心是原型感知,这是通过结构感知原型建模实现的,并通过文本感知原型对齐进行了细化。在各种设置下的广泛实验表明,我们的方法始终优于现有的最佳方法

    CRediT作者贡献声明

    丁美丹:撰写——原始草稿、方法论。陈文婷:撰写——审阅与编辑、方法论。罗晓玲:撰写——审阅与编辑、概念化。钟海琴:可视化、方法论。沈琳琳:撰写——审阅与编辑、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作得到了中国国家自然科学基金(项目编号82261138629和12326610)、深圳市科技创新委员会(项目编号JCYJ20220531101412030)、广东省自然科学基金(项目编号2025A1515010184)、深圳市科技创新委员会项目(项目编号JCYJ20240813141424032)以及广东省普通高校青年创新人才基金的支持
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号