SynMatch：重新思考医学图像分割中的稀疏标注一致性

《Neural Networks》：SynMatch: Rethinking Consistency in Medical Image Segmentation with Sparse Annotations

　　

摘要 标注稀缺仍然是基于深度学习的医学图像分割领域的一项主要挑战。近期研究利用强–弱伪监督来挖掘未标注数据。然而，性能往往因未标注图像与其对应伪标签之间的不一致性而受限。在本研究中，我们提出了一种新颖的框架 SynMatch，该框架无需改进伪标签，而是通过合成图像来匹配伪标签。具体来说，SynMatch 利用从生成未标注图像对应伪标签的同一分割模型中提取的纹理和形状特征来合成图像。这一设计使得能够生成高度一致的合成图像–伪标签对，而无需引入额外的可训练图像合成组件。我们在半监督学习（SSL）、弱监督学习（WSL）和极少监督学习（BSL）等设置下，在多种多样的医学图像分割任务上对 SynMatch 进行了广泛评估，且标注量逐渐减少。结果表明，SynMatch 取得了卓越的性能，尤其在最具挑战性的 BSL 设置下。例如，在多息肉分割任务中，使用 5% 和 10% 涂鸦标注时，它分别比近期的强–弱伪监督方法高出 29.71% 和 10.05%。代码将发布在 https://github.com/Senyh/SynMatch。引言 用于勾勒器官、组织和病灶的医学图像分割是计算机辅助诊断中的一项关键任务。深度学习技术显著推动了该领域的进展，依赖于大规模标注数据来训练鲁棒的分割模型。然而，医学图像的密集标注既耗时又需要专业知识，需要放射科医生在像素级标注目标结构。利用稀疏标注进行学习对于减轻标注负担至关重要。半监督学习（SSL）和弱监督学习（WSL）已被提出，以实现使用稀疏标注进行模型训练。如图 1 所示，SSL 假设训练集由有限数量的完全标注样本和大量未标注图像组成，这可以被称为数据集级稀疏标注。相比之下，WSL 使用样本级稀疏标注数据集来训练分割模型，例如点、边界框和涂鸦，其中涂鸦在捕捉复杂解剖结构方面优于其他稀疏标注形式。更进一步，更具挑战性的稀疏标注设置包括一个样本级稀疏标注集和一个未标注集。根据现有文献中的定义，我们将其定义为极少监督学习（BSL）问题。强–弱伪监督已成为解决稀疏标注医学图像分割问题的主导范式。它支撑了许多最先进的方法。具体来说，基于结合一致性正则化和伪标签的思想，强–弱伪监督强制模型对强扰动未标注图像的预测与对应弱扰动版本的伪标签之间保持一致，并通过置信度阈值选择高质量伪标签。我们在更具挑战性的医学图像分割背景下调查并重新思考了强–弱伪监督，并观察到一个关键问题：无论做出何种努力来改进伪标签质量，未标注图像与伪标签之间都会出现不一致性，如图 2 所示。这些不一致性在训练过程中降低了模型性能。为解决这一问题，我们提出了一种新颖的视角：合成图像以匹配伪标签，使模型能够在高度一致的合成图像–伪标签对上训练。因此，我们提出一个关键问题：如何执行图像合成以确保与伪标签的一致性？近年来，已开发出多种语义到图像方法来根据分割图合成图像。然而，这些方法要么依赖大规模标注数据集，要么依赖任务特定的感兴趣区域掩码来训练具有众多参数的生成模型以产生细粒度和高质量图像。这些限制限制了它们在稀疏标注医学图像分割中的适用性，因为标注数据稀缺且获取感兴趣区域掩码劳动密集甚至不可用。为此，我们提出利用从生成未标注图像对应伪标签的同一分割模型中提取的纹理和形状特征来合成图像。这一想法具有多个优势：1）无额外可训练组件。基于提取的特征，图像合成过程不需要额外的可训练模块，避免了对大规模训练数据集的依赖。2）语义一致性。由于合成图像及其对应的伪标签源自同一分割模型（对于未标注图像），它们本质上共享统一的语义信息。因此，伪标签可以被视为合成图像的真实标签。3）图像完整性。合成图像保留了基本纹理和解剖结构，使其能够作为真实图像发挥作用。基于这一想法，我们设计了一种用于稀疏标注医学图像分割的新颖框架（SynMatch）。我们的贡献总结如下：•我们识别了强–弱伪监督范式中未标注图像与伪标签之间的不一致性，并验证了语义一致性与分割性能之间的正相关性。•我们提出了 SynMatch 用于稀疏标注医学图像分割。我们方法的核心在于生成高度一致的合成图像–伪标签对，这些对被利用来为强–弱伪监督提供有力的补充。合成图像以匹配伪标签的想法简单而有效，有潜力作为一个灵活的基线，能够与先进的伪监督技术无缝集成。•我们使用多个不同标注稀缺级别的公开数据集建立了一个新基准，包括 SSL、WSL 和 BSL 设置，以促进对标注高效医学图像分割算法的全面和鲁棒评估。实验结果表明，SynMatch 在这些设置中的通用性和相对于最先进方法的优越性。结果还揭示了未标注图像与伪标签之间的一致性对于底层任务的重要性。相关工作片段 标注稀缺构成了医学图像分割中的关键挑战，突出了从稀疏标注中学习的重要性以减轻标注负担。该领域的研究通常可根据所使用的稀疏标注形式分为三种不同的设置：1）数据集级稀疏标注下的半监督学习。2）弱监督学习。方法论 我们首先定义稀疏标注医学图像分割中的 SSL、WSL 和 BSL 设置如下。•SSL：训练集由标注集和未标注集组成，其中分别表示第 i/j 个标注/未标注图像，是标注图像的真实标签，NL 和 NU 分别是标注和未标注样本的数量。•WSL：训练集包含一个稀疏标注的标注集。实验和结果 实验在心脏、皮肤病变和多息肉分割任务上进行了，使用公开的 ACDC、Kvasir-SEG 和 ISIC 数据集，在 SSL、WSL 和 BSL 设置下。讨论 在本研究中，我们提出了 SynMatch，一种用于有限标注医学图像分割的通用框架。与难以改进错误伪标签的强–弱伪监督范式不同，SynMatch 通过合成图像以与伪标签对齐来逆转这一过程。在三种医学成像模式下，在 SSL、WSL 和 BSL 标注稀缺设置下的广泛评估表明，SynMatch 具有有效性和通用性。此外。结论 我们提出了 SynMatch 用于稀疏标注医学图像分割。SynMatch 的关键思想在于合成图像以匹配伪标签。我们通过在 SSL、WSL 和 BSL 设置下的心脏、皮肤病变和多息肉分割任务上的广泛实验验证了这一思想的有效性。结果表明，SynMatch 是一种简单而有效的方法，具有作为通用框架的强潜力。此外，我们分析了强–弱伪监督的局限性。CRediT 作者贡献声明 Zhiqiang Shen：撰写–原稿，撰写–审阅与编辑，调查，概念化，方法论，可视化，验证，数据管理。Peng Cao：撰写–审阅与编辑，监督，项目管理，资源，资金获取，正式分析，概念化。Xiaoli Liu：撰写–审阅与编辑，调查，方法论，验证。Jinzhu Yang：撰写–审阅与编辑，项目管理，资金获取。Osmar R. Zaiane：撰写。利益冲突声明 作者声明没有已知的竞争财务利益或个人关系可能影响本文所报告的工作。