编辑推荐：
弱监督多模态脑肿瘤分割框架TG-CAM提出分阶段训练策略，结合文本引导的跨模态特征融合与差异损失优化，有效缓解CAM背景误激活问题，在BraTS数据集上实现SOTA性能。
Xiao Luan|Xiongfeng Huang|Linghui Liu|Weisheng Li|Xinbo Gao
中国重庆市，重庆邮电大学图像认知重点实验室，400065
摘要
弱监督语义分割减少了对详细手动注释的依赖，这在医学图像分析中至关重要。现有的方法主要依赖于从类激活映射（CAMs）中派生的伪标签。然而，CAMs通常只突出显示对象最具区分性的区域。此外，由于医学图像中病变组织和正常组织之间的视觉相似性很高，CAMs经常错误地激活大量背景像素。我们认为，进一步探索前景和背景之间的区分特征有助于解决这个问题。在本文中，我们提出了一个基于对比语言-图像预训练（CLIP）的多模态脑肿瘤分割框架，称为文本引导的模态融合（TG-CAM）。TG-CAM采用分阶段训练策略来更好地利用多模态数据。在第一阶段，模型分别在每种模态上进行训练以捕获特定于模态的特征。在第二阶段，双分支融合机制整合了跨模态的互补信息。TG-CAM使用BiomedCLIP为肿瘤和正常组织类别生成文本嵌入，然后将图像区域特征与这些文本嵌入对齐以提高特征的可区分性。此外，我们引入了一个特征差异损失项来进一步增强肿瘤和背景区域之间的分离。与现有方法相比，TG-CAM在有效整合跨模态信息的同时，更好地保留了模态内的特征。
引言
深度学习模型已广泛应用于医学图像分割[1]。与传统方法相比，基于深度学习的方法能够从大规模数据集中自动学习有效的特征表示。这些方法不仅提高了分割的准确性和鲁棒性，还显著减少了对手动特征工程的依赖。然而，获取高质量的医学图像注释既耗时，又需要专业的放射科医生或病理学家进行手动标注。此外，对于像脑肿瘤这样的复杂结构，准确划定肿瘤边界是一个重大挑战。在多模态成像中，这一挑战尤为突出，因为需要额外的步骤，如配准和融合。为了减少对像素级注释的依赖，从而提高语义分割在实际应用中的可扩展性，研究人员越来越关注弱监督语义分割（WSSS）方法。
WSSS是指使用相对有限的注释信息来训练语义分割模型，而不是依赖于详细的像素级注释[2]。根据监督程度的不同，弱监督分割方法可以分为四种主要类型：基于图像级标签的WSSS[3]、边界框注释[4]、草图[5]和点[6]。其中，图像级标签最容易获得，但也对分割任务构成了最大的挑战。在图像级WSSS中，一种常见的方法是通过分类模型生成像素级类激活映射（CAMs）来定位图像中的病变区域。然而，CAMs[7]通常只激活病变最具区分性的区域，导致前景分割不完整。同时，由于医学图像中病变区域和正常区域之间的视觉相似性很高，CAMs经常错误地激活大量背景像素，从而导致过度分割。因此，增强特征空间中前景和背景之间的可区分性至关重要。
总之，我们认为，充分利用MR图像模态之间的独特和共享特征，并利用大规模模型的强大表示能力来提高前景和背景区域之间的特征空间可分离性，对于解决医学图像分割中的过度分割和欠分割问题至关重要。在本文中，我们提出了一个名为文本引导的模态融合（TG-CAM）的新颖弱监督多模态脑肿瘤分割框架，如图1所示。该方法使用BiomedCLIP[8]模型生成的与肿瘤和背景一致性文本标签相对应的特征向量作为额外的监督信息，指导模型学习脑肿瘤MR图像中病变区域和正常组织区域之间的差异信息。为了进一步增强这种区分性，我们设计了一个基于前景和背景CAMs的差异损失项。为了充分利用跨模态图像的共享和互补信息，我们采用了分阶段训练策略。在单模态训练阶段，我们采用深度监督方法来保留更多有信息的前景信息。特别是，我们引入了一个由文本标签引导的通道滤波模块，以从每种模态的浅层和深层网络层中提取的CAMs中去除噪声。多模态融合阶段包括两个分支：整合分支和选择分支。整合分支考虑批次中的所有样本，并在文本标签的指导下评估不同模态的CAMs对病变区域的激活贡献。相比之下，选择分支关注单个样本，根据单模态训练阶段获得的分类置信度过滤不同模态的CAMs。本工作的主要贡献总结如下。
- 我们提出了一种新颖的多模态弱监督分割框架，采用分阶段训练策略，有效地整合了单个模态内部和跨模态的信息，从而充分利用了多模态图像的信息。
- 我们利用文本标签和图像区域之间的一致性进行局部分类，这有助于更准确和完整地约束生成的CAMs覆盖目标对象。据我们所知，这是第一项利用文本标签指导来约束弱监督脑肿瘤MRI分割的CAMs的工作。
- 该方法在BraTS2021和BraTS2023-MEN数据集上的有效性得到了验证，取得了最先进的性能。
部分片段
弱监督医学分割方法
在医学图像的弱监督分割中，过度分割和欠分割问题普遍存在。Jia等人[9]引入了一种新颖的深度弱监督多实例学习算法，通过引入面积约束显著缓解了这两个问题。Chikontwe等人[10]提出了一个用于神经压缩组织病理图像的弱监督分割的自等变正则化框架。他们利用了分割任务的等变性
整体框架
所提出方法的网络架构如图2所示。我们对网络采用了分阶段训练策略。在单模态训练阶段，我们采用深度监督策略从网络的浅层和深层提取CAMs，详细信息可以在第3.2节中找到。随后，使用与文本标签相对应的嵌入向量来约束CAMs提取的前景和背景区域的准确性。
数据集和预处理
为了全面评估和验证所提出的方法，我们选择了两个公开可用的数据集：用于胶质瘤分割的BraTS2021[22]、[23]、[24]数据集，以及用于脑膜瘤分割的BraTS2023-MEN[25]数据集。
- BraTS2021：该数据集包含T1、T1ce、T2和Flair模式的MR图像，包含来自多个医疗机构的1251名脑肿瘤患者样本。所有扫描的2D切片尺寸均为240 × 240像素。
结论
在这项工作中，我们提出了一种在弱监督学习框架内的新颖多模态MR图像分割方法。该方法采用分阶段训练策略，使网络尽可能保留每种成像模式的内在特征。为了验证该方法的有效性，我们对它的各个组成部分进行了一系列全面的实验。
CRediT作者贡献声明
Xiao Luan：撰写 – 审稿与编辑，撰写 – 原稿。
Xiongfeng Huang：撰写 – 原稿。
Linghui Liu：撰写 – 审稿与编辑。
Weisheng Li：撰写 – 审稿与编辑。
Xinbo Gao：撰写 – 审稿与编辑。
手稿准备过程中生成式AI和AI辅助技术的声明
在准备这项工作时，我们使用了ChatGPT来改进语言表达。使用该工具/服务后，作者根据需要对内容进行了审查、编辑和修改，并对发表文章的内容负全责。
未引用的参考文献
[20], [21], [28]
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。
