在有限标注的情况下，利用多模型协同训练进行医学图像分割

《Pattern Recognition》：Multi-model Co-training for Medical Image Segmentation with Limited Annotation

基于多尺度一致性建模、分布校准特征对齐和未标注数据挖掘的半监督医学图像分割框架在LA、Pancreas-CT、BTCV、ACDC等数据集上验证，显著提升有限标注下的Dice精度至91.09%-80.17%。

　　

成元志|周星虎|王光汉

哈尔滨工业大学计算机科学与技术学院，哈尔滨，150001，中国黑龙江

摘要

为医学图像分割获取密集的体素级标签既昂贵又耗时，通常导致标记数据量有限。为了应对这一挑战，我们提出了一个半监督分割框架，该框架通过结构化挖掘和基于一致性的学习来利用未标记数据，以提高分割性能。该框架由三个协同工作的模块组成：(1)自适应多尺度一致性金字塔（AMCP）模块，它在不同尺度上促进语义一致性，以捕获不同分辨率下的解剖特征；(2)分布校准的特征对齐（DCFA）模块，以组为单位对齐特征分布，减少标记数据和未标记数据之间的领域和批次级不一致性；(3)未标记数据挖掘学习（UDL）模块，通过基于不确定性的挖掘策略动态选择高置信度的未标记样本。这些组件共同优化，以增强表示学习和监督的可靠性。在四个公开的医学图像分割数据集——BTCV、LA、Pancreas-CT和ACDC上的广泛实验表明，我们的框架在有限的注释条件下始终优于现有的半监督方法，具有更高的准确性和泛化能力。具体来说，在Dice分数方面，使用10%的注释时，我们的方法在LA数据集上达到了91.09%，在ACDC数据集上达到了90.72%，在Pancreas-CT数据集上达到了80.17%。在BTCV数据集上，使用30%的注释时，该方法获得了76.39%的分数，这进一步证明了我们方法的有效性。

引言

医学图像分割在诊断、治疗计划和术中导航等临床任务中起着至关重要的作用。尽管完全监督的深度学习方法在各种分割任务中取得了显著的成功，但它们严重依赖于大规模的、体素级标注的数据集。在3D医学成像的背景下，每个体积扫描通常包含数百张切片，手动标注这些切片既耗时又费力，需要医疗专业人员的大量专业知识[1]，[2]。因此，现实世界中的场景往往涉及有限的标记数据，这严重限制了模型训练的效率并影响了泛化性能。

为了克服注释不足带来的限制，近年来半监督学习（SSL）方法受到了越来越多的关注[3]，[4]，[5]，[6]，[7]。其中，一致性正则化已成为一种主导策略，鼓励模型在图像增强和空间变换等不同扰动下产生稳定可靠的预测[8]。此外，许多研究还探索了伪标记、协同训练和自我训练技术，以进一步利用未标记数据并提高训练效果[9]，[10]。同时，弱监督语义分割也取得了进展，例如亲和力注意力图网络[11]、可信的双专家学习[12]和Frozen CLIP-DINO骨干网络[13]，它们为有限监督下的学习提供了有用的参考。

然而，当前的半监督分割方法仍然面临三个主要挑战。首先，伪标签往往噪声较大且不可靠，这影响了监督的质量。其次，大多数现有方法未能充分探索未标记数据中的潜在结构和语义信息，限制了模型学习表达性特征的能力。第三，样本间特征分布的不一致性问题仍未得到充分解决，因为许多方法缺乏有效的分布校准或结构感知对齐，从而降低了泛化性能。

为了解决这些问题，我们提出了一个针对标记数据有限的医学图像场景的分割框架。该框架旨在充分利用未标记数据中的结构线索，提高伪标签的可靠性，并提高模型对分布变化的鲁棒性。它包括三个互补的模块：1）自适应多尺度一致性建模机制，它在不同分辨率级别对齐语义特征，以改善解剖结构学习；2）分布校准的特征对齐模块，它强制实现组级分布一致性，减少样本间的结构差异；3）未标记数据挖掘模块，它动态选择高置信度区域并优化伪标签生成，从而提高弱监督的质量。这些组件在统一的框架中共同优化，实现了结构感知、分布一致性和可靠的监督。

本文的主要贡献总结如下：

•

我们提出了一个模块化且共同优化的分割框架，适用于标记数据有限的场景，集成了结构建模、特征对齐和监督优化，适用于各种医学成像任务。

•

我们设计了一种结构感知机制，将多尺度一致性建模与组级特征对齐相结合，显著提高了模型在复杂解剖结构和数据多样性下的表示能力和泛化能力。

•

我们引入了一种基于置信度的主动挖掘策略，用于未标记数据，它选择性地利用可靠的伪标记区域来提取有用的监督信息，提高了半监督学习的稳定性和效率。

相关工作

相关工作

为了解决医学成像中标记数据有限的挑战，我们提出了一个有效利用未标记数据的分割框架。我们的研究最直接地与半监督学习相关，特别是半监督学习中的结构表示和伪标签可靠性。本节简要回顾了这些领域的最新进展。

概述

如图1所示，提出了一个用于医学图像分割的半监督框架，其中所有组件都被集成到一个统一的端到端架构中。该框架由三个核心模块组成：(1)自适应多尺度一致性金字塔（AMCP）模块，(2)用于组感知一致性的分布校准特征对齐（DCFA）模块，以及(3)未标记数据挖掘学习（UDL）模块。该框架结合了特征级对齐和多尺度

数据集

为了全面评估我们方法的性能和泛化能力，我们在四个公开可用的数据集（LA、Pancreas-CT、BTCV和ACDC）以及一个私有的腹部CT数据集上进行了实验，以进行临床验证。这些数据集涵盖了多个器官和成像模式，为评估我们在半监督设置下的鲁棒性和泛化能力提供了一个多样且具有挑战性的测试平台。

(1) LA数据集。左心房（LA）数据集[34]

结论

在这项工作中，我们提出了一种新的半监督医学图像分割框架，通过集成多尺度一致性正则化、分布校准的特征对齐和未标记数据挖掘策略，实现了对未标记数据的可靠利用。在四个公开基准数据集上的广泛实验表明，该框架在中等和有限注释条件下具有出色的鲁棒性和泛化能力，显示出可扩展性和注释效率的潜力

CRediT作者贡献声明

成元志：撰写 – 审稿与编辑，撰写 – 原始草稿，软件，方法论。周星虎：撰写 – 审稿与编辑，软件，方法论。王光汉：撰写 – 审稿与编辑，资源，调查。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。