一种基于模态互补性与状态空间建模的多模态医学分割方法

《Journal of Visual Communication and Image Representation》：A multimodal medical segmentation method based on modality complementarity and state space modeling

　　

胡雅楠|侯永红

• •
  所提出的边界增强与不确定性评估机制能够提升对模糊边界的识别能力，同时抑制高不确定性区域中的误导性信息，从而实现更可靠的图像分割。
• •
  设计的模态互补先验建模模块通过模态特定编码、注意力融合以及残差校准机制，实现了深度多模态间的协同作用。
• •
  采用的Mamba状态空间建模方法替代了传统的自注意力机制，它在降低计算成本的同时提升了全局建模效率及长距离依赖关系的表达能力。
• •
  构建的多分辨率状态金字塔模型能够同时捕捉病变的短期响应与长期结构稳定性，从而提高模型对复杂病变变化的适应能力。

引言

医学图像分割在临床实践中发挥着重要作用，比如辅助诊断、制定治疗计划以及实施治疗方案[1]、[2]。传统的医学图像分割依赖于经验丰富的医生，这一过程既耗时又费力，且容易受到主观判断和不同医生之间差异的影响[3]、[4]。而自动化的医学图像分割方法则可以提高工作效率、准确度以及一致性，从而帮助医生更快更准确地做出诊断[5]、[6]。

脑肿瘤是中枢神经系统中最为常见且致命的病变类型之一[7]。准确定位并分割脑肿瘤区域对于临床诊断[8]、治疗规划以及术后评估[9]都具有极其重要的意义。多模态磁共振成像技术能够提供丰富的组织对比信息[10]。不同的成像模式（如T1、T1ce、T2和FLAIR）在肿瘤实质、坏死区域以及水肿结构上呈现出不同的反应特征，因此多模态磁共振成像被广泛用于辅助脑肿瘤的自动分割工作[11]。

近年来，深度卷积神经网络已成为脑肿瘤分割领域的主流技术[12]。诸如3D U-Net和V-Net之类的典型架构在保持空间上下文建模能力的同时，还实现了性能上的显著提升[13]、[14]、[15]。

3D医学图像分割在计算机辅助诊断中起着关键作用。准确的分割结果能够有效减轻医生在处理各类疾病时的诊断负担[16]。通过使用较大的卷积核来扩大模型在3D空间中的感受野，从而提取更广泛的上下文特征，有助于进一步提升分割精度[17]。Lee等人[18]提出了3D UX-Net，该架构以具有较大核尺寸（7×7×7）的卷积层作为核心组件，以此扩大模型的感受野。不过，由于卷积层固有的局部性特征，基于CNN的方法在建模全局关系方面存在局限。虽然CNN擅长提取局部特征，但由于受限于局部感受野，其在捕捉全局上下文和长距离依赖关系方面表现不佳[19]。Transformer架构在3D医学图像分割领域也取得了不错的成果[20]、[21]、[22]、[23]。它具备处理全局上下文和长距离依赖关系的优势，但其注意力机制的计算复杂度仍然很高，这在处理高分辨率图像时会限制其效率。此外，当训练数据量有限时，Transformer容易过拟合，需要大量的训练数据支持[24]、[25]、[26]、[27]。Mamba[28]是一种结构化状态空间序列模型[29]，它能够以线性或接近线性的复杂度来处理长序列数据。在视觉任务中展现出巨大潜力，它相比现有的视觉模型具有更高的准确率、更低的计算负荷以及更少的内存消耗[30]。U-Mamba将Mamba层集成到nnUNet的编码器中，以此提升其处理一般医学图像分割任务的能力[31]。Vision Mamba则引入了Vim块，该块通过整合双向SSM结构来实现全局视觉上下文的建模[32]。SegMamba则是首个专为3D医学图像分割而设计的Mamba模型，它采用了U形编码器-解码器架构。在BraTS2023脑肿瘤分割任务中，它取得了89.2%的Dice系数，并且保持了较高的推理速度[33]。CM-HTNet则将Mamba与多模态交叉注意力机制相结合，用于预测中风患者的出血转化风险，在外部测试集上的AUC值达到了95.17%[34]。

然而，这些方法通常只是通过简单的拼接或直接堆叠的方式来融合多模态数据，难以明确建模不同模态之间的互补先验知识，这就导致了特征表达的冗余或者关键病变特征的弱化[35]。此外，卷积结构固有的局部感受野也限制了它们捕捉长距离依赖关系的能力。尤其是在处理那些结构复杂且形态变化剧烈的脑肿瘤区域时，语义信息的传递往往不够充分。尽管像Transformer这样的自注意力架构能够建模全局上下文，但其在3D医学图像中的应用仍面临计算成本高以及缺乏多尺度信息等瓶颈问题[36]。

为了解决3D医学图像存在的各向异性和强度不均匀性问题，Zhu等人[37]提出了3D-PMGNet。该模型的核心创新点在于利用中间特征生成的概率图作为监督信号，设计了一种基于动态阈值的概率图重建方法，同时还引入了可学习的温度系数以及基于动态提示编码的特征融合机制。在四个数据集上的实验结果表明，该模型的性能优于现有的先进方法，而且其源代码也已公开发布。为了解决Transformer等主流方法计算成本过高的问题，Li等人[38]提出了LVMC-UNet，该模型通过轻量化的方式整合了RVM（结合RPE用于捕捉局部细节）和CSF（结合BSConvs用于实现核内相关性分析）两种技术。在三个数据集上的实验表明，该模型的性能优于现有的轻量化方法，且能够在保证准确度的同时兼顾计算效率。针对Mamba在脑肿瘤分割任务中归纳偏差不足以及稳定性较差的问题，Zhu等人[39]提出了VSMU-Net，该模型包括了IB Mamba（用于处理多尺度及局部特征）以及MSM（用于提升状态空间的稳定性）。在BraTS2020/2021任务中的实验结果显示，该模型的性能优于现有的先进方法，而且其源代码也是公开可用的。为了解决超声图像分割过程中存在的斑点噪声、伪影等问题，Zhu等人[40]提出了基于U-Net的DBUNet，该模型拥有双分支结构，其中DFAM模块负责特征融合，而SFOM模块则用于优化表层特征。在BUSI和DDTI数据集上的评估结果表明，该模型的性能同样优于现有的先进方法。3D-PMGNet通过解决3D图像的各向异性和强度不均匀性问题来优化图像分割效果；LVMC-UNet则着眼于轻量化设计，从而在保证分割精度的同时控制计算成本；VSMU-Net则提升了Mamba的归纳偏差及其稳定性，使其更适合用于多模态磁共振成像下的脑肿瘤分割任务；DBUNet则通过双分支融合以及去噪技术来提升超声图像的分割质量。我们进一步研究了多模态磁共振成像下的脑肿瘤分割问题，优化了模态间的互补融合机制，增强了边界识别能力以及不确定性评估功能，改进了基于Mamba的状态空间建模方法以提高其在多分辨率场景下的适用性，还通过扩展多数据集验证来提升模型的泛化能力，同时解决了现有相关研究中所存在的诸多局限性。

为了解决上述问题，本文提出了一种融合模态互补性与状态空间建模机制的多模态3D医学图像分割方法，该方法尤其适用于处理那些结构差异大、边界模糊且覆盖范围广的脑肿瘤区域。具体而言，本项工作的主要贡献如下：

1. 提出了一种边界增强与不确定性评估机制，该机制能够提升模型对模糊边界区域的结构感知能力，降低高不确定性区域出现误判的风险，进而提高分割的可靠性。

2. 设计了一种模态互补先验建模机制，该机制通过模态特定编码、注意力融合以及残差一致性增强等功能，有效挖掘多模态磁共振成像中不同模态之间的结构互补信息，从而实现更精准的模态协同表达。

3. 引入了一种轻量级的状态空间建模模块——Mamba块，用以替代传统的自注意力机制，这样既能够实现长距离语义依赖关系的建模，又能大幅降低计算开销。

4. 构建了多分辨率状态金字塔结构，该结构能够在高、中、低不同层次的状态表示中统一建模病变的短期快速响应特征与长期结构稳定性，从而提高模型对复杂病变在不同尺度下的适应能力。

章节要点

基于模态互补性与状态空间建模的多模态医学图像分割

为了充分利用多模态医学图像中不同模态之间的互补特性，同时兼顾全局上下文建模与局部结构感知能力，本文提出了一种融合模态互补性与状态空间建模的多模态3D医学图像分割网络，如图1所示。该网络的总体架构采用编码器-解码器对称结构，其核心网络则基于改进后的3D U-Net构建。

改进型3D-U-Net的编码器部分

数据集

本文共使用了三个公开的医学图像分割数据集，分别是BraTS2019[43]、BraTS2023[44]以及SAM3D（SAM-Med3D）[45]。这些数据集涵盖了多参数、多模态的3D脑部磁共振肿瘤分割任务，同时也包括大规模的多结构、多模态医学图像分割任务，其目的在于全面评估所提出模型的有效性以及泛化能力。

BraTS2019和BraTS2023都是国际上公认的标准数据集

结论

多模态磁共振成像技术在脑肿瘤分割任务中具有极高的临床应用价值。不同的成像模式在呈现组织对比度、界定病变边界以及描述病理变化等方面都存在着天然的互补性。然而，现有的方法在融合不同模态的数据时往往忽视了它们之间的结构互补先验，而且也无法同时建模全局上下文信息以及跨尺度结构特征，这些因素都限制了

CRediT作者贡献说明

胡雅楠：资源提供、项目管理、方法设计、实验研究、资金获取、正式分析、数据整理、概念构思。 侯永红：指导监督、资源提供、项目管理。

伦理声明

本研究所使用的数据均来自公开的数据集，所有研究人员均可自由获取这些数据，无需任何限制。由于这些数据并不涉及任何可识别的个人身份信息、患者隐私数据或敏感个人信息，而且也没有对任何活体个体进行过干预，因此本研究无需获得伦理审批。所有的数据都是在匿名状态下进行分析的，这符合数据保护的相关规定。本研究也遵循了相关的伦理标准

利益冲突声明

作者声明自己不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

致谢

作者们衷心感谢匿名审稿人提出的宝贵意见。本研究的部分经费由国家自然科学基金（项目编号：61571325）以及河南省科学技术研究计划（项目编号：252102210059）提供支持。