通过提示驱动的基础模型实现无监督的跨模态磁共振图像分割

《IEEE Transactions on Biomedical Engineering》：Unsupervised Cross-Modality MR Image Segmentation Via Prompt-Driven Foundation Model

本文提出基于基础模型的多模态分割新方案，利用不同模态的空间一致性解决传统方法因域差异导致的性能瓶颈。通过SAM模型实现跨模态伪标签传递，结合一致性微调和混合表示学习，有效处理未注册图像和标签噪声问题，在肝脏病变和肝脏分割等数据集上显著优于现有方法。

　　

摘要：

在医学成像领域，获取像素级别的专家注释既昂贵又耗时，尤其是对于多模态成像数据（如磁共振成像MR）而言。大多数传统的跨模态分割方法依赖于无监督的领域适应来实现高效的跨领域分割。然而，这些方法常常受到源领域和目标领域之间差异的阻碍。在本文中，我们提出了一种基于基础模型的新跨模态分割方案，该方案利用多种模态之间的空间一致性，并且不受源领域和目标领域差异的影响。这种方案使我们能够利用一种成像模态的标注数据来训练网络，从而能够在其他目标成像模态上执行准确的分割，而无需标签或配准过程。具体来说，我们提出使用基于自注意力机制（SAM）的模型，该模型利用一种成像模态的分割结果作为伪标签和提示来指导目标成像模态中的训练和测试。此外，我们还引入了基于一致性的提示调整和混合表示学习方法，以解决跨模态分割中可能出现的未配准问题和噪声标签问题。我们在两个内部数据集和一个公共数据集上进行了广泛的验证实验，包括肝脏病变分割和肝脏分割任务。与当前最先进的方法相比，我们的方法表现出显著的改进。