VM-UNet：用于医学图像分割的Vision Mamba UNet模型

《ACM Transactions on Multimedia Computing, Communications, and Applications》：VM-UNet: Vision Mamba UNet for Medical Image Segmentation

针对医学图像分割中CNN和Transformer的局限性，提出基于纯状态空间模型（SSM）的VM-UNet架构，通过VSS块捕获长程依赖并降低计算复杂度，在ISIC17、ISIC18和Synapse数据集上DSC分别达到89.03、89.71和81.08，验证了SSM在医学分割中的有效性。

　　

摘要

在医学图像分割领域，基于卷积神经网络（CNN）和基于Transformer的模型都得到了广泛研究。然而，CNN在长距离建模能力方面存在局限性，而Transformer则受到其二次方计算复杂性的限制。最近，状态空间模型（SSM），以Mamba为代表，成为一种有前景的方法。这些模型不仅在建模长距离交互方面表现出色，而且保持了线性计算复杂性。在本文中，我们利用状态空间模型提出了一种U形架构的医学图像分割模型，称为Vision Mamba UNet（VM-UNet）。具体来说，引入了视觉状态空间（VSS）块作为基础模块来捕获丰富的上下文信息，并构建了一个非对称的编码器-解码器结构，通过减少卷积层的数量来节省计算成本。我们在ISIC17、ISIC18和Synapse数据集上进行了全面实验，结果表明VM-UNet在医学图像分割任务中表现出了竞争力，例如在三个数据集上的DSC得分分别为89.03、89.71和81.08。据我们所知，这是第一个基于纯SSM模型的医学图像分割模型。我们的目标是建立一个基准，并为未来开发更高效、更有效的基于SSM的分割系统提供有价值的见解。我们的代码可在https://github.com/JCruan519/VM-UNet获取。