通过多范式协同与交叉循环蒸馏实现半监督乳腺超声图像分割

《Expert Systems with Applications》：Semi-supervised breast ultrasound image segmentation via multi-paradigm synergy and cross-cyclic distillation

针对医学图像分割依赖大量标注数据的难题，本文提出基于多范式协同与跨周期蒸馏的半监督分割方法MSCD。通过双编码器结构融合CNN浅层纹理提取与Transformer深层全局建模，结合MFIM模块实现跨范式特征交互，并采用跨周期知识蒸馏、多层跨一致性及主从协同一致性策略优化多分支解码器。实验表明，MSCD在乳腺超声图像数据集上显著优于现有方法，验证了多范式协同与分层一致性约束的有效性。

　　乳腺癌是女性中最常见的癌症，也是导致女性癌症死亡的主要原因之一。早期发现和治疗乳腺癌可以显著提高患者的生存率。超声（US）因其高灵敏度、便携性、非侵入性、无放射性、无痛且成本低廉，被广泛用于乳腺癌的初步诊断和筛查。目前，常规的超声检查通常需要手动操作，但需要接受超声检查的女性数量远远超过具备经验的放射科医生。放射科医生的经验和心理状态等主观因素可能会对诊断产生一定影响。近年来，研究人员逐渐加强了对自主机器人超声图像系统（ARUIS）的研究。ARUIS是一种能够自动扫描检测部位并在扫描过程中实现病灶检测的机器人，减少了对放射科医生的依赖，也在一定程度上缓解了偏远地区医疗资源紧张的问题。自动化的超声检测依赖于自动、稳健的计算机辅助诊断（CAD）系统。自动医学图像分割是构建强大CAD系统的基础和关键步骤。近年来，深度学习技术在各种自动医学图像分割任务中取得了显著进展。许多基于卷积神经网络（CNN）的方法已被应用于自动医学图像分割。监督式深度学习方法需要大量标注数据来构建稳健的网络模型。然而，由于患者隐私保护和需要由领域专家进行准确标注，获取大量标注数据既繁琐又昂贵。因此，通常只有少量数据被标注用于模型训练，而大量的未标注数据则未能得到充分利用。

半监督学习（SSL）提供了一种方法，通过使用少量标注数据优化模型参数，然后利用大量未标注数据进一步微调模型，以提高性能。在医学图像分割的背景下，SSL被越来越多地采用，以利用有限的标注数据并挖掘丰富的未标注数据。然而，大多数用于医学图像分割的SSL框架在训练过程中仍然采用U-Net或V-Net作为主要的特征提取主干网络。CNN架构的局限性在于其在有限感知范围中难以捕捉全局表示。如果SSL仅基于卷积像素预测进行一致性正则化，可能会无法充分利用特征空间中的信息丰富性，甚至忽略全局特征分布，从而导致模型无法有效聚合全局上下文和局部特征。而Transformer在捕捉远距离依赖关系方面表现出强大的能力，通过多头自注意力机制，在计算机视觉任务中取得了显著的性能提升。已有研究将CNN与Transformer结合用于医学图像分割，并证明了其有效性。但由于在建模局部线索时缺乏空间泛化偏差，仅基于Transformer的架构难以达到令人满意的性能。因此，如何更有效地发挥两种风格特征的互补性，并将其应用于SSL仍然是一个挑战。

本文提出了一种新的半监督网络，该网络通过双编码器设计和多范式特征交互模块（MFIM）将CNN与Transformer进行融合。为了进一步利用未标注数据，我们引入了三种互补的一致性策略：跨循环知识蒸馏（CCKD）、多层跨一致性（MLCC）以及主-辅助协同一致性（MASC）。与现有方法仅依赖CNN主干网络或采用单一一致性约束不同，我们的框架融合了局部细节表示与全局上下文信息，并在多个层次上强制一致性，从而提升乳腺超声图像中的病灶分割性能。首先，我们采用双编码器结构，将基于CNN的网络与Transformer进行融合。卷积操作用于浅层编码层，以提取特征纹理和结构信息。而Transformer结构则用于深层编码层，与CNN并行处理深度特征，帮助模型捕捉不同范式中的独特特征信息。MFIM通过利用跨注意力和通道注意力机制，将两个编码器的特征进行融合，整合局部和全局上下文，这对乳腺超声图像中异质性和低对比度的病灶特别有益。然后，我们使用三解码器网络以获得多样化的输出。接着，通过CCKD策略减少每个解码器的偏差，实现更好的解码器间监督。第三，我们基于MLCC策略对解码器的多层输出的概率预测进行正则化，从而提升网络在未标注图像上的多层特征一致性。此外，我们还应用了MASC策略，确保主解码器与辅助解码器的输出一致性。这种机制通过协同优化和整合不同特征输入中的多样化信息，增强了模型的稳定性和鲁棒性。本文的主要贡献如下：

首先，我们提出了一种新的半监督网络MSCD，该网络结合了CNN和Transformer，并通过设计的多范式特征交互模块促进CNN与Transformer之间的特征学习和交互。其次，我们提出了一种跨循环知识蒸馏策略，以减少每个解码器的偏差，从而实现更好的解码器间监督。第三，我们设计了一种多层跨一致性策略，以确保解码器多层输出的概率预测一致性。第四，我们提出了主-辅助协同一致性策略，以确保主分支（CNN）与辅助分支（Transformer）之间的输出一致性。最后，我们在两个公开的乳腺超声数据集上，对多种先进的半监督深度学习分割方法进行了全面实验。我们的MSCD方法在乳腺病灶分割中表现出优越的性能，验证了特征交互模块和交互学习策略的有效性与合理性。

在半监督学习领域，近年来的研究表明，结合标注数据与未标注数据是提升模型性能的有效途径。SSL通过利用大量未标注数据来弥补标注数据的不足，尤其在图像分割等需要大量标注的视觉任务中，其重要性更加凸显。然而，传统的SSL方法在医学图像分割中往往面临挑战，尤其是在如何有效利用未标注数据方面。尽管CNN在局部特征提取方面具有优势，但在捕捉全局特征时存在局限。相比之下，Transformer通过多头自注意力机制，能够更好地处理全局依赖关系，但其在局部特征建模上缺乏空间泛化能力。因此，如何将CNN与Transformer的优势相结合，是当前研究的一个关键方向。

本文提出的方法MSCD旨在解决这一问题，通过双编码器结构和多范式特征交互模块，将CNN和Transformer的优势进行融合。在深层编码层中，我们引入了Transformer结构，以与CNN并行处理深度特征，从而提升模型对不同范式特征的捕捉能力。同时，在浅层编码层中，我们采用卷积操作以提取局部特征，如纹理和结构信息。MFIM通过跨注意力和通道注意力机制，将两个编码器的特征进行融合，整合局部和全局上下文，这对乳腺超声图像中异质性和低对比度的病灶具有重要意义。此外，我们采用三解码器结构以获得多样化的输出，并通过CCKD、MLCC和MASC策略对这些输出进行监督和正则化，以提升模型在未标注数据上的表现。

在实验部分，我们使用了两个公开的乳腺超声数据集进行测试。第一个数据集是BUSI数据集，该数据集由埃及开罗的Baheya医院提供，包含780张超声图像，其中437张为良性病灶，210张为恶性病灶，133张为正常图像。数据采集使用了LOGIQ E9超声系统和LOGIQ E9 Agile超声系统。我们仅使用了该数据集中良性与恶性病灶的图像，共计647张。图像的平均分辨率为608 × 494像素，尺寸范围从190 × 190到916 × 683像素。通过在这些数据集上的实验，我们验证了MSCD方法在乳腺病灶分割中的有效性。实验结果表明，与现有的SSL分割方法相比，MSCD在分割精度和鲁棒性方面均表现出显著优势。

此外，我们还探讨了其他相关方法在半监督学习中的应用。例如，CTBCT和ICL方法虽然在某些任务中表现出一定的潜力，但在乳腺超声图像分割中并未取得理想效果。这表明，尽管这些方法在理论上有一定的优势，但在实际应用中仍存在局限性。因此，如何设计更有效的SSL方法，以充分利用未标注数据，是当前医学图像分割研究中的一个重要课题。MSCD方法通过融合CNN与Transformer，并引入多层跨一致性策略和主-辅助协同一致性策略，能够更好地实现不同解码器之间的监督和一致性正则化，从而提升分割性能。

在模型架构方面，我们采用了U-Net作为网络的基础结构，并在编码层中引入了CNN与Transformer的并行处理。浅层编码层主要关注图像的局部特征，如纹理和结构信息，通过卷积操作提取这些特征。而深层编码层则采用Transformer结构，以并行处理深度特征，从而提升模型对全局上下文的理解能力。通过这种设计，模型能够在不同范式中捕捉更丰富的特征信息，提高分割的准确性和鲁棒性。同时，我们引入了三解码器结构，以获取多样化的输出，并通过CCKD、MLCC和MASC策略对这些输出进行监督和正则化，以提升模型在未标注数据上的表现。

在数据处理方面，我们对数据集进行了详细的分析和处理。BUSI数据集中的图像涵盖了多种病灶类型，包括良性、恶性和正常。通过仅使用良性与恶性病灶的图像，我们能够更专注于分割任务的核心目标。此外，我们对图像的分辨率和尺寸进行了统计分析，以确保实验的全面性和有效性。图像的平均分辨率为608 × 494像素，尺寸范围较大，从190 × 190到916 × 683像素不等。这表明，我们的方法能够适应不同分辨率和尺寸的图像，具有较好的泛化能力。

在实验结果方面，我们对多种先进的SSL分割方法进行了比较测试。实验结果显示，MSCD方法在分割精度和鲁棒性方面均优于其他方法。这表明，我们的方法在处理乳腺超声图像中的病灶分割任务时具有显著优势。此外，我们还分析了不同策略对模型性能的影响。例如，CCKD策略能够减少每个解码器的偏差，实现更好的解码器间监督。MLCC策略能够确保解码器多层输出的概率预测一致性，从而提升模型在未标注数据上的表现。MASC策略则能够确保主解码器与辅助解码器之间的输出一致性，增强模型的稳定性和鲁棒性。

在模型训练过程中，我们采用了多种策略来优化模型性能。首先，通过双编码器结构，我们能够同时利用CNN和Transformer的优势，提高特征学习的效率。其次，通过MFIM模块，我们能够将两个编码器的特征进行融合，整合局部和全局上下文，从而提升分割的准确性。此外，我们采用三解码器结构以获取多样化的输出，并通过CCKD、MLCC和MASC策略对这些输出进行监督和正则化，以提升模型在未标注数据上的表现。这些策略的结合使得我们的方法在处理乳腺超声图像中的病灶分割任务时具有更强的适应性和鲁棒性。

在实际应用中，我们的方法可以为乳腺超声图像的自动分割提供支持，从而减少对放射科医生的依赖。通过引入SSL方法，我们能够利用未标注数据，提高模型的泛化能力和分割精度。此外，我们的方法还能够适应不同分辨率和尺寸的图像，具有较好的应用前景。在医学图像分割领域，随着深度学习技术的不断发展，越来越多的研究开始关注如何将SSL应用于医学图像分割任务，以提升模型性能并减少对标注数据的依赖。

在本研究中，我们不仅提出了MSCD方法，还对多种SSL策略进行了深入探讨。例如，我们分析了CCKD、MLCC和MASC策略在模型训练中的作用，并验证了这些策略的有效性。实验结果表明，这些策略能够显著提升模型在未标注数据上的表现，从而提高分割精度和鲁棒性。此外，我们还对不同解码器之间的输出一致性进行了分析，并提出了相应的优化策略。这些策略的结合使得我们的方法在处理乳腺超声图像中的病灶分割任务时具有更强的适应性和鲁棒性。

在医学图像分割领域，随着深度学习技术的不断进步，研究者们正在探索更多创新的方法，以提升模型性能并减少对标注数据的依赖。MSCD方法通过融合CNN和Transformer，并引入多层跨一致性策略和主-辅助协同一致性策略，能够更好地实现不同解码器之间的监督和一致性正则化。这表明，我们的方法在医学图像分割领域具有重要的应用价值。通过在两个公开的乳腺超声数据集上的实验，我们验证了MSCD方法在分割精度和鲁棒性方面的优势，并展示了其在实际应用中的潜力。

此外，我们的方法还能够适应不同的数据环境和应用场景。例如，在数据量较少的情况下，通过引入SSL方法，我们能够利用未标注数据来提升模型性能。在数据量较大的情况下，通过引入多层跨一致性策略，我们能够确保模型在不同层次上的特征一致性，从而提高分割的准确性。这些策略的结合使得我们的方法在处理乳腺超声图像中的病灶分割任务时具有更强的适应性和鲁棒性。同时，我们的方法还能够提高模型的泛化能力，使其在不同数据集上的表现更加稳定。

在实际应用中，我们的方法可以为乳腺超声图像的自动分割提供支持，从而减少对放射科医生的依赖。通过引入SSL方法，我们能够利用未标注数据，提高模型的泛化能力和分割精度。此外，我们的方法还能够适应不同分辨率和尺寸的图像，具有较好的应用前景。在医学图像分割领域，随着深度学习技术的不断进步，研究者们正在探索更多创新的方法，以提升模型性能并减少对标注数据的依赖。

总之，本文提出了一种新的半监督网络MSCD，该网络通过融合CNN和Transformer，并引入多范式特征交互模块和多种一致性策略，能够更好地实现不同解码器之间的监督和一致性正则化。实验结果表明，MSCD方法在乳腺超声图像分割任务中表现出优越的性能，验证了其有效性和合理性。我们的方法不仅能够提升分割精度和鲁棒性，还能够适应不同数据环境和应用场景，具有重要的应用价值。通过在两个公开的乳腺超声数据集上的实验，我们展示了MSCD方法在实际应用中的潜力，并为未来的研究提供了新的思路和方向。