基于选择性自集成与边界不确定性抑制的半监督医学图像分割方法研究

《Engineering Applications of Artificial Intelligence》：Semi-supervised image segmentation via selective self-ensembling and boundary uncertainty suppression

为解决医学图像分割中标注数据稀缺的问题，研究人员在不确定性感知均值教师（UAMT）框架基础上，引入选择性自集成（SSE）和边界不确定性抑制（BUS）策略，开发了一种新型半监督学习方法。该方法通过动态选择最优学生模型更新教师权重，并利用边界敏感不确定性图提升分割精度，在PROMISE、REFUGE和RETA三个公开数据集上实现了平均Dice分数0.7990的优异性能，显著优于基线方法，为减少对标注数据的依赖提供了有效解决方案。

　　

医学图像分割是许多图像引导临床应用中的关键步骤，深度学习技术已在拥有充足标注图像的情况下被证明对此任务有效。然而，获取足够的像素级图像标注非常耗时且劳动密集。为了缓解标注图像的稀缺问题，研究人员开发了一种新颖的半监督分割方法。

当前，半监督学习技术试图以不同方式在有限标注图像和大量未标注图像上训练学生模型和教师模型，然后迫使这两个模型在未标注图像上具有一致的预测，以减轻标注图像的稀缺性。其中，基于自集成策略的方法，如均值教师（MT）框架，通过聚合不同训练迭代中的多个版本来提高模型的预测性能。然而，大多数方法可能因使用指数移动平均（EMA）方案而性能受限，该方案可能导致网络权重的不当平滑，并限制学生和教师模型的性能。另一方面，这些方法中的不确定性估计相对粗糙，由于使用信息熵理论，区分具有不同不确定性水平的像素的能力有限。

为此，研究人员在不确定性感知均值教师（UAMT）框架中引入了选择性自集成（SSE）策略和边界不确定性抑制（BUS）策略，以改进其性能并缓解EMA和不确定性估计的缺点。前者用于为教师模型提供适当的网络权重并增强其分割能力，而后者用于生成边界敏感的不确定性图并提高神经网络对目标区域预测的准确性。

本研究主要采用了以下关键技术方法：基于U-Net网络架构，在PROMISE、REFUGE和RETA三个公共数据集上，使用10%或20%的训练集图像作为标注数据，其余作为未标注数据进行模型训练。通过选择性自集成（SSE）策略构建性能驱动的指数移动平均（pEMA），仅选择不同训练步骤中性能最佳的学生模型权重来更新教师模型；通过边界不确定性抑制（BUS）策略，利用独特的指数函数生成边界敏感不确定性图（BUM），进而构建不确定性加权Dice（uDice）损失和不确定性最小化正则化（UMR）来指导网络训练。采用随机梯度下降（SGD）和Adam优化器，结合监督损失和无监督损失进行模型优化。

3.3. The SSE

3.3.1. Best student bank

SSE策略通过最佳学生银行和独特的pEMA为教师模型提供适当的网络权重。该银行存储从先前训练迭代中选择的最佳性能学生模型的网络权重，并使用这些权重通过加权集成更新教师模型。这确保了低质量的学生权重被排除在教师模型的权重之外，从而提高了其对未标注图像的预测准确性。

3.3.2. The pEMA

pEMA基于最佳学生银行输出教师模型的集成权重，缓解了原始EMA的缺点。与传统EMA不同，pEMA选择性地使用高质量学生权重的子集来更新教师权重，这减轻了低质量学生权重的影响，并在一定程度上防止了集成权重的过度平滑。

3.4. The BUS

3.4.1. The BUM

BUS策略通过独特的指数函数生成边界敏感不确定性图（BUM）。该图为预测概率接近0.5阈值的像素分配更高的不确定性值，从而有效突出目标边界，优于UAMT中基于信息熵的不确定性图（EUM）。

3.4.2. Extended unsupervised loss

将UAMT框架中的EUM图替换为开发的BUM图，构建了所需的无监督损失。由于使用了BUM，无监督损失具有保持学生和教师模型对未标注图像预测一致性的潜力。

3.4.3. The uDice loss

将边界敏感不确定性图引入Dice损失，得到了其不确定性加权版本。uDice损失能够比传统Dice损失更快速、更准确地定位目标边界，从而减少边界分割误差。

3.4.4. The UMR

不确定性最小化正则化（UMR）用于进一步抑制边界区域的预测不确定性，增强学生模型在标注图像上的学习能力。通过结合正则化、不确定性加权Dice损失和二元交叉熵（BCE）损失，得到了完整的监督损失。

4. Results

4.1. Segmentation of the PROMISE dataset

在PROMISE数据集上，当使用10%和20%的标注图像训练时，开发的方法平均DSC分别为0.6534和0.7431，显著优于UAMT、HCMT、SASSNet和DTC（p < 0.05）。所有半监督方法在相同标注图像数量下都比仅使用标注图像训练的U-Net具有更好的整体分割性能。

4.2. Segmentation of the REFUGE dataset

在REFUGE数据集上，开发的方法在10%标注图像下平均DSC和ASD分别为0.7783和18.9035，在20%标注图像下分别为0.8201和11.0101。它显著优于UAMT和SASSNet（p < 0.0001），并且可以与HCMT和DTC竞争（p = 0.8448和p = 0.5601）。

4.3. Segmentation of the RETA dataset

在RETA数据集上，开发的方法在10%和20%标注图像下平均DSC和IOU分别为0.8583和0.7537。它优于UAMT（p = 0.0394）和HCMT（p = 0.0061），与SASSNet（p = 0.7529）和DTC（p = 0.0525）相当。

4.4. Effect of the introduced four components

在PROMISE数据集上，UAMT在引入更多组件时获得了改进的性能，表明它们在图像分割中的有效性。每个组件涉及不同的参数，并为UAMT带来不同的性能增益，反映了它们对图像分割精度的独特影响。所有组件的并发使用可能会降低UAMT的某些方面性能，例如ASD和HAD指标，表明它们之间存在潜在干扰。

4.5. Effect of the involved parameters

在REFUGE数据集上，开发的方法在参数k、γ、β和η取不同值时具有不同的分割性能。当这些参数分别设置为4、4、1和1时，它实现了相对较高的准确性。该方法对这四个参数表现出高度可变的敏感性，对它们的同步优化构成了重大挑战，特别是参数γ。

4.6. Effect of network backbone and segmentation framework

在RETA数据集上，开发的方法在不同网络骨干（如BiO-Net、U-Net++、TransFuse-S和SegFormer-B2）上始终优于UAMT，表明引入的四个组件在改进图像分割方面的有效性。与几种可用的半监督分割框架相比，该方法所需的训练时间最少，同时实现了优于CTCT、CML和DDMT的准确性，并且与BCP和DSST的准确性相当。

5. Discussion

本研究提出了一种新颖的半监督方法，以提高现有UAMT的学习潜力和分割性能。在三个公共数据集上的广泛实验表明，该方法能够处理不同的医学图像，并对三个不同数据集的所有目标实现了平均DSC和IOU分别为0.7990和0.6794。由于引入了SSE和BUS策略，它在使用不同比例的标注和未标注图像训练时显著优于UAMT和SASSNet，并且可以与HCMT和DTC竞争。此外，该方法还更高效，在三个数据集上的训练时间为2.93小时，而UAMT为3.15小时。

尽管开发的方法由于引入了四个不同的组件而在图像分割方面优于UAMT，但随着标注数据的减少，它表现出相对快速和显著的性能下降，导致在REFUGE和RETA数据集上的性能略逊于SASSNet和DTC。这可能是由于：1）该方法仅基于简单朴素的U-Net网络处理输入图像，因此在训练期间从未标注样本中学习各种判别特征的能力有限，使网络容易陷入局部最优解；2）该方法性能与引入的四个组件的参数密切相关，其复杂的相互作用可能导致相互干扰，从而限制最佳分割性能。

本研究存在几个局限性：首先，所涉及的参数可能由于参数之间的复杂相互依赖关系及其对模型性能的重大影响而次优；其次，开发的方法使用边界敏感不确定性图来增强边界检测，但该图是通过手工公式从图像的有限预测中推导出来的，当网络预测错误时无法突出某些边界区域；第三，pEMA提高了该方法在DSC和IOU方面的分割准确性，但以预测中的边界平滑度为代价；最后，该方法源自简单朴素的UAMT框架，而不是复杂的CNN-Transformer协作学习框架，这很大程度上限制了教师模型和未标注数据在网络训练期间的价值。

6. Conclusion

研究人员开发了一种基于现有UAMT的新颖半监督分割方法，并通过从多模态医学图像中提取前列腺、视盘和视网膜血管验证了其性能。其新颖性在于引入了选择性自集成（SSE）策略和边界不确定性抑制（BUS）策略，并将它们与UAMT框架集成。SSE仅选择先前训练步骤中的最佳学生模型来构建性能驱动的EMA（pEMA），该pEMA可以为教师模型产生集成权重，而BUS通过独特的指数函数输出边界敏感不确定性图（BUM），然后使用该图定义不确定性加权Dice（uDice）损失和不确定性最小化正则化（UMR）。在PROMISE、REFUGE和RETA数据集上的广泛实验表明，开发的方法具有提取不同形状和大小的理想目标的良好能力。它在多种实验设置下实现了比UAMT更好的整体性能，并且可以与三种流行的半监督方法（即HCMT、SASSNet和DTC）竞争。未来的工作将集中于将方法的验证扩展到不同的成像模态，同时深入研究自动超参数调优。