IA-MUNet：一种基于知识的实例感知型Mamba-UNet网络，用于高效的多类牙科图像分割

《Knowledge-Based Systems》：IA-MUNet: A Knowledge-Guided Instance-Aware Mamba-UNet for Efficient Multiclass Dental Image Segmentation

本文提出基于Mamba架构的实例感知多类牙齿分割模型IA-MUNet，通过融合YOLOv10的边界框提取与视觉状态空间模型，结合编码器-解码器结构中的选择性扫描机制和实例感知块，有效捕捉长程依赖与精细空间细节，显著提升分割精度（Dice 92.94%）和计算效率（0.77 GFLOPS），在复杂重叠场景中优于Swin-Unet等现有模型。

　　在医学图像分析领域，精确的图像分割技术对于疾病的诊断、治疗计划的制定以及临床决策的优化至关重要。随着人工智能和计算方法的不断进步，深度学习模型在医学图像分割任务中展现出了巨大的潜力。尤其是在牙科领域，高精度的牙齿图像分割不仅可以帮助医生进行更准确的诊断，还能在正畸评估、牙体形态分析以及牙科影像学研究中发挥关键作用。然而，传统的分割方法在处理复杂的牙齿结构和多类别牙齿识别时仍面临诸多挑战，例如牙齿形态的多样性、牙齿之间的重叠以及对细节边界精确捕捉的需求。为了解决这些问题，研究人员不断探索新的模型架构和算法，以提升分割的准确性和效率。

State-space models（SSMs）作为一种知识驱动的序列建模技术，因其动态表示能力和计算效率而受到广泛关注。这些模型能够在视觉任务中有效建模空间和时间依赖性，为复杂的图像分析提供了新的思路。在本文中，我们提出了一种名为Instance-Aware Mamba-UNet（IA-MUNet）的智能分割框架，该框架结合了基于SSM的UNet架构与实例级知识，实现了对多类别牙齿的精确分割。通过引入YOLOv10用于边界框提取，以及结合视觉状态空间块和2D选择性扫描机制的编码器-解码器结构，IA-MUNet在保持低计算成本的同时，能够准确捕捉牙齿之间的长距离依赖关系和细粒度空间细节。此外，为了提升实例区分能力，我们在跳连结构中嵌入了Instance-Aware Blocks（IABs），这些模块利用边界框信息作为空间注意力线索，从而有效区分位置相近或形态相似的牙齿。

传统的卷积神经网络（CNNs）在局部特征提取方面表现出色，其分层结构和平移不变性使其成为医学图像处理的常用工具。然而，CNNs的有限感受野在处理高分辨率医学图像时往往无法充分建模全局空间关系。尽管一些改进技术，如扩张卷积和注意力机制，已经在一定程度上缓解了这一问题，但它们仍然难以满足实例级分割的需求。此外，CNNs在处理缺失牙齿或显著解剖学变异时也存在局限性。相比之下，基于Transformer的模型虽然能够有效建模全局上下文，但其计算复杂度与输入大小呈二次关系，这限制了其在高分辨率医学图像中的应用。因此，如何在保持计算效率的同时，实现对牙齿之间复杂空间关系的建模，成为当前研究的一个重要方向。

State-space models（SSMs）作为一种新兴的模型架构，因其线性时间复杂度而被认为是对CNNs和Transformer的有力替代方案。与传统的CNNs和Transformer不同，SSMs能够以较低的计算成本捕捉长距离依赖关系，使其特别适用于高分辨率图像的分割任务。其在空间连续性建模方面的能力，对于区分紧密排列或重叠的牙齿具有显著优势。Mamba，作为SSMs的一个最新变体，通过选择性扫描机制动态过滤无关信号并保留关键特征，从而在计算效率上远超Transformer。Mamba的内部递归参数化采用输入自适应操作，使得其在处理序列数据时更加高效。此外，Mamba能够在保持局部细节的同时，提供广泛的上下文理解，这对于需要精确边界检测的牙齿分割任务尤为重要。由于Mamba最初是为语言建模设计的，但其在视觉任务中的表现同样令人印象深刻，包括在医学图像分析中的应用。将Mamba整合到UNet类架构中，如U-Mamba、MUNet和Semi-MUNet等，已经在多个研究中证明了其在提升分割性能方面的潜力。

本文提出的IA-MUNet模型，旨在解决多类别牙齿分割中的关键问题。该模型结合了SSMs的优势与实例感知技术，利用边界框信息增强分割能力。具体而言，IA-MUNet采用了一种增强型编码器-解码器结构，其中包含了集成在跳连中的Instance-Aware Blocks（IABs）。这些IABs利用边界框的先验知识，作为空间注意力的引导，以提高模型对相邻牙齿或形态相似牙齿的区分能力。同时，模型通过视觉状态空间块和2D选择性扫描机制，实现了对牙齿之间长距离依赖关系和细粒度空间细节的有效建模。这种设计不仅提升了分割的准确性，还保持了较低的计算成本，使得IA-MUNet在高分辨率图像处理中具备更强的适用性。

在实验部分，我们对复合牙科X光图像数据集进行了评估，结果表明IA-MUNet在分割精度和鲁棒性方面均优于当前最先进的模型，如Swin-Unet、Attention U-Net、VM-UNet和YOLOv8。在测试中，IA-MUNet实现了92.94%的Dice分数、88.71%的Jaccard指数和97.33%的精度，分别比表现最佳的基线模型提高了1.74%、2.01%和0.53%。这些结果表明，IA-MUNet在处理复杂场景和高变异性数据时具有显著的优势，特别是在部分牙缺失、牙齿形态多样性以及复杂重叠结构等挑战性案例中表现尤为突出。

此外，IA-MUNet的低计算成本（仅需0.77 GFLOPS）使其在资源受限的环境下依然能够高效运行。这为该模型在医疗影像领域的广泛应用提供了可能性，尤其是在需要实时处理或计算资源有限的场景下。模型的设计理念不仅适用于牙科图像分割，还可以推广到其他需要精确实例级理解的医学图像任务，如器官分割、病灶检测等。IA-MUNet的成功表明，将SSMs与实例感知技术相结合，可以有效提升医学图像分割的性能，同时保持计算效率，为未来的医学影像分析提供了新的方向。

在方法实现方面，IA-MUNet的架构设计充分考虑了牙科图像的特点。模型的编码器部分采用了一种基于VM-UNet的结构，包括一个初始的补丁嵌入层，随后是视觉状态空间块（VSS blocks）和基于补丁的合并机制。这些组件共同作用，使模型能够有效捕捉牙齿图像中的局部和全局依赖关系。编码器的设计确保了图像信息在不同尺度上的充分提取，为后续的解码器部分提供了丰富的特征表示。解码器部分则通过集成IABs，进一步优化了实例区分能力，使得模型能够在处理重叠牙齿时保持较高的分割精度。

模型的训练和评估基于一个混合数据集，其中包括不同数量的牙齿（从32颗到10颗）的2D全景图像。数据集的比例为训练集70%，验证集20%，测试集10%。部分图像来自Kaggle上由Humans in the Loop组织提供的公共数据集，而另一部分则来自Chosun大学牙科医院。该数据集的多样性为模型的泛化能力提供了良好的支持，同时也反映了实际应用中可能遇到的各种复杂情况。在训练过程中，模型通过端到端的方式学习如何将边界框信息与图像特征结合，从而实现对多类别牙齿的准确分割。

IA-MUNet的创新点在于其将实例感知技术与SSMs相结合，构建了一种全新的分割框架。首先，通过YOLOv10提取的边界框信息，模型能够在分割过程中实现对牙齿位置的精确定位。其次，IABs的引入使得模型能够利用这些边界框信息作为注意力引导，增强对相邻牙齿的区分能力。这种设计不仅提高了分割的准确性，还减少了对额外计算资源的需求，使得模型在保持高性能的同时，具备更低的运行成本。此外，模型通过视觉状态空间块和2D选择性扫描机制，实现了对长距离依赖关系的建模，从而能够更全面地理解牙齿之间的空间关系。

从实验结果来看，IA-MUNet在多个关键指标上均优于现有模型，表明其在实际应用中具有较高的可行性。Dice分数和Jaccard指数作为衡量分割精度的重要指标，其提升意味着模型能够更准确地匹配真实牙齿的形状和边界。精度的提高则反映了模型在区分不同类别牙齿方面的能力增强。这些结果不仅验证了模型的有效性，也展示了其在复杂牙科场景中的适应能力。特别是在处理部分牙缺失、牙齿形态差异较大的情况下，IA-MUNet能够保持较高的分割性能，这为临床应用提供了重要的支持。

IA-MUNet的设计理念不仅适用于牙科图像分割，也为其他需要精确实例级理解的医学图像任务提供了借鉴。通过将SSMs与实例感知技术结合，该模型能够在保持计算效率的同时，实现对复杂空间关系的建模。这种设计思路可以推广到其他医学影像领域，如肺部结节分割、器官边界识别等，从而提升整体的医学图像分析能力。此外，模型的低计算成本使其在资源受限的环境下依然具备实用性，这为实际部署和应用提供了便利。

综上所述，本文提出的IA-MUNet模型在多类别牙齿分割任务中展现出了卓越的性能。通过结合SSMs和实例感知技术，模型不仅能够准确捕捉牙齿之间的空间关系，还能够在保持低计算成本的同时，实现高效的分割。实验结果表明，IA-MUNet在多个关键指标上均优于现有方法，为牙科图像分析提供了新的解决方案。未来，随着医学图像数据的不断增长和对精确分割需求的提升，IA-MUNet的设计理念和实现方法有望在更多领域得到应用和推广。