MambaVesselNet++：一种用于医学图像分割的混合CNN-Mamba架构

《ACM Transactions on Multimedia Computing, Communications, and Applications》：MambaVesselNet++: A Hybrid CNN-Mamba Architecture for Medical Image Segmentation

医学图像分割中，传统卷积模型受限于局部感受野，而视觉Transformer虽能捕捉全局上下文却计算成本高。本文提出MambaVesselNet++混合架构，通过Hi-Encoder的卷积层提取低层语义特征，结合Mamba的线性复杂度建模长程依赖，再由BF-Decoder通过跳跃连接融合全局与局部信息生成分割掩码。实验表明其在2D/3D及实例分割任务中优于现有CNN、Transformer及Mamba基线模型。

　　

摘要

医学图像分割在计算机辅助诊断中发挥着重要作用。传统的基于卷积的U形分割架构通常受到局部感受野的限制。现有的视觉变换器由于其捕捉全局上下文的强大能力，已被广泛应用于各种医学分割框架中。尽管具有这一优势，但由于视觉变换器的非线性自注意力机制，其在实际应用中面临巨大的计算成本挑战。为了解决这个问题，选择性状态空间模型（SSM）Mamba因其在处理序列数据中的长距离依赖关系方面的出色表现而受到关注，尤其是其在内存使用效率方面的优势。在本文中，我们提出了MambaVesselNet++，这是一种用于医学图像分割的混合CNN-Mamba框架。MambaVesselNet++由一个混合图像编码器（Hi-Encoder）和一个双焦点融合解码器（BF-Decoder）组成。在Hi-Encoder中，我们首先设计了纹理感知层，利用卷积技术捕获低层次的语义特征；然后，我们使用Mamba以线性复杂度有效建模长距离依赖关系。Bi-Decoder采用跳跃连接来结合Hi-Encoder的局部和全局信息，从而准确生成分割掩码。大量实验表明，MambaVesselNet++在多种医学2D、3D和实例分割任务中的表现优于现有的基于卷积、基于变换器和基于Mamba的最先进方法。代码可在https://github.com/CC0117/MambaVesselNet获取。