通过预训练和3D多尺度特征融合实现医学图像分割的无监督领域自适应

《Biomedical Signal Processing and Control》：Unsupervised domain adaptation for medical image segmentation by pre-training and 3D multi-scale feature fusion

本文提出PreMS-UDA框架，通过预训练和3D多尺度特征融合解决医学图像分割的跨模态域适应问题。预训练阶段采用组量化模块保留细节，域适应阶段融合相邻切片特征，有效利用3D解剖信息。实验表明PreMS-UDA在腹部多器官和前列腺分割任务中显著优于现有方法。

　　

Xiyu Zhang|Dongliang Liu|Xu Chen|Yang Wang

华侨大学计算机科学与技术学院，中国福建省厦门市，361021

摘要

医学图像分割对现代医疗保健至关重要，然而传统方法通常依赖于庞大的标注数据集，而这些数据集往往难以获取。为了解决这个问题，我们提出了一种预训练和3D多尺度特征融合框架（PreMS-UDA），该框架通过有效利用3D图像信息来增强跨模态分割能力，克服了现有基于2D的UDA方法的局限性。我们的方法首先分别对源域和目标域图像进行编码器预训练，并结合了组量化模块以保留更多特征信息。在域适应阶段，3D多尺度特征融合模块使模型能够通过融合多个切片的特征来学习2D域和3D空间信息。实验结果表明，PreMS-UDA在腹部多器官分割和前列腺分割方面优于现有的最先进UDA方法，证明了其在医学图像分割方面的显著改进。我们的代码可在以下仓库获取：https://github.com/Aya-natsume/PreMSUDA。

引言

医学图像分割在现代医疗保健中发挥着重要作用，帮助医生准确识别和定位复杂医学图像中的目标区域。传统的医学图像分割方法依赖于大量的标注数据，但在许多临床环境中这些数据往往难以获得，这限制了模型训练。为了解决这个问题，无监督域适应（UDA）作为一种有效方法应运而生，旨在通过减少源域和目标域之间的分布差异来提高模型的泛化能力。

近年来，用于医学图像分割的大多数UDA方法大致可以分为两类：图像级域适应和特征级域适应。图像级域适应主要利用生成对抗网络（GAN）生成类似目标域的图像用于模型训练[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]。例如，Zhang等人[3]在CycleGAN[9]中引入了语义一致性，以促进目标域图像向源域图像的转换。相比之下，特征级域适应旨在通过特征空间对齐提取域不变特征，从而提高模型在目标域的泛化能力[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]。例如，SymDA[10]在每个域中使用了两个对称子网络和一个共享的分割子网络进行双向特征对齐。鉴于大多数医学图像是3D体积，一些研究[19]、[20]、[21]直接对3D体积进行域适应，以利用更全面的解剖信息。例如，在FPL+ [19]中，Wu等人提出了使用域特定的批量归一化来规范化3D特征，从而分离域统计位移并促进域不变的3D结构表示。然而，与2D切片相比，3D体积增加了z轴维度。沿此轴的分辨率通常比平面内更粗糙，且相邻切片可能因运动而发生位移或变形。结果，特征分布变得分散，常常形成多个簇而不是一个紧凑的簇，这需要更多的样本和更强的正则化，使得特征对齐变得具有挑战性。这些限制使得完整的3D UDA方法在计算资源受限的许多临床环境中不切实际。

在本文中，我们提出了PreMS-UDA，这是一种3D多尺度特征融合方法，它在保持接近2D的计算预算的同时，将3D解剖信息融入到切片级分割中。具体来说，我们堆叠多个相邻的2D切片，并沿切片方向提取多尺度表示，以捕捉3D解剖结构。这种设计使网络能够同时利用2D域特定线索和3D空间上下文，从而提高分割性能。与传统的基于自动编码器的框架[7]、[9]、[15]不同，我们引入了一个组量化模块，该模块通过向量量化将高维图像嵌入到低维离散特征代码中，有效降低维度同时保留复杂的解剖细节。关键的是，基于组量化的预训练产生了高保真的离散2D嵌入，这些嵌入保留了精细的结构信息，并且对模态变化具有鲁棒性。这些嵌入作为稳定的输入传递给3D多尺度特征融合（MSFF）模块，该模块汇总了相邻切片之间的上下文信息。由于MSFF操作的是已经正则化且细节丰富的特征，而不是原始或噪声激活，因此它避免了误差传播，并有效地捕获了平面内的结构。因此，预训练确保了特征质量，而MSFF实现了上下文的完整性，形成了一个理论上互补的流程，用于具有接近2D复杂性的3D感知无监督域适应。

我们在腹部多器官分割和前列腺分割这两个具有挑战性的任务上评估了PreMS-UDA。实验结果表明，我们的方法显著优于现有的最先进无监督域适应（UDA）方法。我们工作的主要贡献总结如下：

• •
  我们提出了一个创新框架，该框架结合了3D多尺度特征融合模块，能够在保持接近2D的计算复杂性的同时，有效利用3D信息进行跨模态医学图像分割，这与仅基于2D切片的传统UDA方法不同。
• •
  我们引入了一种新的组量化方法，有效解决了传统向量量化方法中的信息丢失问题，确保了详细特征的更好保留。
• •
  定性和定量实验结果都证明了我们的PreMS-UDA方法的优越性，其性能显著优于现有的最先进方法。

章节片段

医学图像分割的UDA

无监督域适应的主要目标是减少域差异并提高目标域的泛化性能。该领域的早期研究主要集中在通过最小化源域和目标域特征之间的距离度量来对齐特征分布。例如，Tzeng等人[22]通过最小化最大均值差异（MMD）和任务特定损失来学习域不变和语义上有意义的特征。Long等人[23]减少了MMD

概述

在UDA设置中，我们可以访问标记的源域数据$D_s={\{x_s^i,y_s^i\}}_{i=1}^{N_s}$和未标记的目标域数据$D_{}={xtj}_{}^{}\}j=1N_t$。本文的目标是使用标记的源数据$D_s$和未标记的目标数据$D_{}$来优化目标域的分割模型。

我们的PreMS-UDA方法包括两个阶段：（1）预训练阶段（图1，图2）和UDA训练阶段（图3）。在预训练阶段，我们分别训练源编码器（$E_S$和$E_T$）和

数据集

我们在两个数据集上评估了所提出的方法：（1）AMOS（多模态腹部多器官分割挑战2022）数据集[36]，以及（2）PI-CAI（前列腺成像：癌症AI）数据集[37]。

AMOS数据集包括“200个CT $+$ 40个MRI”训练案例，“100个CT $+$ 20个MRI”验证案例，以及“200个CT $+$ 40个MRI”测试案例。由于测试案例的官方真实标签不可用，我们将训练案例视为训练集，并随机选择了20%的CT

结论与未来工作

在本文中，我们提出了一种基于预训练和3D多尺度特征融合的无监督域适应方法PreMS-UDA，以提高跨模态医学图像分割的性能。通过结合组量化模块和3D多尺度特征融合模块，我们的方法有效保留了复杂的医学图像特征，同时整合了2D域和3D空间信息，显著提高了分割精度。实验结果表明，PreMS-UDA

CRediT作者贡献声明

Xiyu Zhang：验证、数据管理。Dongliang Liu：撰写——原始草稿、可视化、验证、软件开发、形式分析、概念化。Xu Chen：监督、项目管理、方法论、资金获取、形式分析、概念化。Yang Wang：验证、数据管理。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作部分得到了中国国家自然科学基金（编号：62276105）和福建省自然科学基金（编号：2023J01136）的支持。