基于一致性驱动的状态空间模型，用于不完整多模态MRI脑肿瘤分割

《Mental Health and Physical Activity》：Consistency-Driven State-Space Model for Incomplete Multimodal MRI Brain Tumor Segmentation

针对多模态MRI中缺失模态导致分割性能下降的问题，本文提出一致性驱动的状态空间模型（CDMS），通过引入可学习的模态一致性特征、多尺度融合块、一致性融合模块、渐进式注意力加权及自适应特征校正模块，有效整合缺失模态信息并减少不一致性，在BraTS2018和2020数据集上验证了CDMS在Dice系数和Hausdorff距离上的优越性，显著优于RFNet、M3AE、mmFormer等方法。

　　脑肿瘤分割是医学影像分析中的关键任务，它对疾病的诊断、治疗方案的制定以及患者的预后评估具有重要影响。在临床实践中，由于成像协议差异、运动伪影或设备不兼容等因素，某些MRI模态可能无法获取或缺失，这会严重影响分割性能。为了解决这一问题，本文提出了一种新的基于状态空间模型（SSM）的多模态一致性驱动分割方法（CDMS），旨在在不完整模态条件下建立一个稳健的分割框架。该方法通过引入可学习的一致性特征，增强跨模态信息的一致性，并结合高效的长程依赖建模策略，提高模型在缺失模态情况下的鲁棒性。

### 1. 引言

脑肿瘤是大脑或中枢神经系统中异常的细胞团块，其准确诊断对于提高患者生存率和防止不可逆的损伤至关重要。MRI因其卓越的软组织对比度和多序列成像能力，被广泛认为是脑肿瘤分析的首选成像模态。然而，实际临床环境中，某些模态的缺失可能会影响模型的性能。因此，构建一个能够在不完整模态条件下依然保持高分割精度的模型具有重要意义。

在脑肿瘤分割任务中，传统的多模态方法通常依赖于所有模态的完整输入，这在实际应用中并不总是可行。为了解决这一问题，研究人员提出了多种策略，包括图像合成、知识蒸馏和共享潜在空间建模。虽然这些方法各有优势，但在模态缺失的情况下，仍然面临模型性能下降的挑战。因此，本文提出了一种基于SSM的一致性驱动分割框架，旨在通过整合可学习的一致性特征，建立一个在模态缺失条件下依然有效的分割模型。

### 2. 相关工作

#### 2.1 不完整多模态脑肿瘤分割

多模态医学图像分割在疾病预测和康复评估中发挥着重要作用。虽然单模态分割方法如GH-UNet和ViruSeg在特定任务中表现优异，但多模态数据融合仍是提高分割精度的关键。然而，现有的多模态分割方法在面对模态缺失时，往往表现出一定的局限性。为了应对这一挑战，研究者们提出了不完整多模态分割方法，这些方法通常依赖于图像合成或知识蒸馏技术，但它们也存在训练复杂度高、计算成本大以及合成误差传播等问题。

#### 2.2 视觉中的状态空间模型

状态空间模型（SSM）因其在建模长程依赖关系方面的高效性而受到广泛关注。VMamba通过交叉扫描技术处理2D数据，InsectMamba在混合块中引入SSM以增强特征提取能力，WMamba结合小波变换提高伪造检测性能，AVS-Mamba通过SSM实现音频-视频融合，S3-Mamba则专注于小病灶的检测。这些研究表明，SSM在视觉任务中展现出强大的建模能力，但将其应用于不完整多模态MRI脑肿瘤分割仍是一个未被充分探索的领域。

#### 2.3 多模态一致性建模

多模态一致性建模在学习鲁棒且可靠的特征表示方面至关重要，尤其是在模态缺失或信息分布不均的情况下。不同的方法通过动态参考更新、分布对齐和掩码机制等策略来解决这一问题。例如，DUTrack通过动态参考更新保持一致性，AlignMamba利用最大均值差异实现隐式分布对齐，DUN-SA将空间对齐嵌入重建过程中，CycleGAN通过循环一致性约束图像翻译任务，UniForm在统一潜在空间中实现模态对齐。MaPLe引入了可学习的提示向量以显式引导视觉-语言模态之间的语义对齐，这一思想被本文借鉴，用于构建一致性驱动的分割框架。

### 3. 方法论

#### 3.1 模态内特征编码与共享解码

本文提出了一种基于SSM的多模态一致性驱动分割框架（CDMS），其中包含模态内特征编码和共享解码模块。每个输入模态（如FLAIR、T1、T1c和T2）都配备有专门的模态内编码器，而共享解码器则用于减轻模态缺失的影响。通过监督学习，共享解码器将不同模态的特征映射到一个统一的潜在空间，以实现特征分布的一致性。该框架采用了U-Net结构，包括五个特征提取和恢复阶段，以逐步压缩和恢复输入特征，提高分割精度。

#### 3.2 多尺度一致性融合块

由于脑肿瘤病灶在空间分布上具有不规则性和异质性，单一尺度的特征融合可能无法有效捕捉多尺度信息，导致特征对齐或不一致。因此，本文设计了一个多尺度一致性融合块（SAFB），通过多尺度卷积操作整合不同模态的特征。SAFB引入了可学习的一致性特征，这些特征以三维张量形式存在，形状为(1, 256, 5, 5, 5)，用于捕捉多模态数据中的一致性关系。通过端到端的训练，这些特征被优化以反映跨模态的一致性。SAFB首先将不同模态的特征与一致性特征进行通道维度上的拼接，然后通过多尺度卷积操作提取局部空间细节，从而优化病灶区域的空间特征。这种方法能够有效融合多分辨率特征，同时保持局部细节和全局结构信息。

#### 3.3 多模态一致性融合

虽然SAFB在通道和空间维度上建立了统一的特征表示，但其在多模态数据中捕捉长程依赖关系的能力有限。为此，本文提出了多模态一致性融合（MCF）模块，该模块通过建立长程依赖关系来提高模态间特征的一致性。MCF模块包含两个分支，分别为融合分支和注意力生成分支。融合分支通过结合多模态特征并显式建模长程依赖关系，以提高整体特征一致性。注意力生成分支则生成模态特定特征的注意力图，为不同模态分配不同的权重，以实现特征贡献的平衡。

#### 3.4 进阶注意力加权

不同模态在病灶区域的特征分布上存在差异，因此需要一种机制来动态调整各模态的特征贡献，以避免某些模态的特征被过度放大或低估。本文提出了一种进阶注意力加权（PAW）模块，该模块通过在编码器的不同层次中逐步增强各模态的特征，从而有效减少特征偏差。PAW模块的注意力图由瓶颈层的MCF模块生成，并被拆分为模态特定的注意力图和一致性注意力图。这些注意力图用于对模态特定特征进行加权，从而优化特征之间的互补性和一致性。

#### 3.5 自适应特征校正

一致性特征旨在保留不同模态之间的共享潜在表示，同时部分补偿缺失的信息。然而，现有的多模态一致性融合模块在细粒度局部特征校正方面仍有不足。为此，本文引入了自适应特征校正（AFC）模块，该模块通过通道校正和空间校正机制来优化特征表示。AFC模块采用并行架构，其两个子模块分别接收输入特征，并独立计算通道权重和空间权重。这些权重通过可学习参数λ_c和λ_s进行调节，以平衡不同模态和一致性特征的贡献。通过这种机制，AFC模块能够有效校正局部特征，提高分割的鲁棒性。

#### 3.6 跨模态分割解码器

跨模态分割解码器负责将融合后的特征映射到最终的分割结果。解码器由五个卷积层组成，每个层都集成有卷积模块。在解码过程中，模态特征通过进阶注意力加权机制进行加权和融合，然后输入到分割解码器中。分割解码器主要由分割损失监督，该损失用于优化分割边界，提高最终输出的准确性。此外，一致性特征也被纳入深监督策略中，以进一步优化特征表示。

### 4. 实验与讨论

#### 4.1 数据集与实现细节

为了评估CDMS的性能，本文在BraTS2018和BraTS2020两个公开的多模态脑肿瘤分割挑战数据集上进行了实验。这些数据集包含285和369个标注样本，每个样本包括四种MRI模态（FLAIR、T1、T1c和T2）以及由临床专家提供的分割标签。所有模态都已注册到标准化空间，并被统一插值到1 mm3的体素大小，空间分辨率为240 × 240 × 155。在训练过程中，采用随机模态掩码策略，以模拟模态缺失的情况。测试阶段，当某些模态缺失时，采用零填充策略，以保持所有模态的特征维度一致。

实验使用Python 3.8.19和PyTorch 2.2.1进行，利用RTX 3090 GPU。采用AdamW优化器，并结合学习率衰减策略和预热阶段。初始学习率为0.0002，批量大小固定为2。为了提高模型的泛化能力，输入图像经过随机旋转、裁剪、翻转和缩放等数据增强技术处理。

#### 4.2 实验结果

在BraTS2018数据集上，CDMS在15种不同的模态缺失设置下取得了显著的分割性能。CDMS在整体肿瘤（WT）、肿瘤核心（TC）和增强肿瘤（ET）区域的平均Dice系数分别为86.56%、79.13%和64.06%。这些结果分别比RFNet提高了1.44%、3.27%和7.66%，比M3AE提高了0.63%、0.13%和0.91%。这表明CDMS在多数模态缺失场景下具有优越的性能。

在BraTS2020数据集上，CDMS在WT、TC和ET区域的平均Dice系数分别为88.07%、79.31%和66.13%。与M3AE相比，CDMS在WT和ET区域分别提高了1.04%和1.03%，在TC区域提高了0.12%。与RFNet相比，CDMS在三个肿瘤子区域分别提高了1.72%、2.02%和5.26%。这些结果进一步验证了CDMS在多模态脑肿瘤分割任务中的鲁棒性和广泛适用性。

#### 4.3 Hausdorff距离分析

除了Dice系数，本文还使用Hausdorff距离（HD）作为评估指标，以衡量分割结果与真实边界之间的差异。实验结果显示，CDMS在HD性能上显著优于现有方法，进一步验证了其在边界定位方面的优越性。

#### 4.4 定性分析

为了进行更直观的比较，本文对CDMS框架与代表性方法进行了定性分析。在BraTS2018和BraTS2020数据集上，CDMS在不同模态缺失设置下的分割结果展示了其在病灶区域的准确性和稳定性。特别是在仅使用单个模态的情况下，CDMS在肿瘤核心（TC）和增强肿瘤（ET）区域的分割精度显著高于其他方法。随着可用模态数量的增加，CDMS的分割结果逐渐接近真实值，显示出其在多模态情况下的鲁棒性。

#### 4.5 模块消融实验

为了全面评估CDMS框架中各个模块的贡献，本文在BraTS2020数据集上进行了消融实验。实验结果显示，SAFB模块通过多尺度特征融合有效缓解了模态间特征分布的不一致性。MCF模块进一步提高了模态间特征的一致性，但对TC区域的分割性能略有下降。PAW模块通过动态调整模态特征的权重，显著减少了模态偏差。AFC模块在通道和空间维度上优化了特征表示，显著提高了分割精度。消融实验表明，AFC模块对整体模型的贡献最大，其次是MCF、PAW和SAFB模块。

#### 4.6 计算效率分析

为了评估CDMS的计算效率，本文将其与主流方法进行了比较，包括M3AE、IMS、Deform、mmFormer、RFNet和UNet-FMI。CDMS在参数数量和FLOPs方面表现出良好的效率，尤其是在推理过程中。虽然RFNet和UNet-FMI是基于卷积的方法，但CDMS在保持较高分割精度的同时，具有更低的计算开销。与mmFormer相比，CDMS在参数效率和计算需求上表现出色。尽管IMS采用了轻量级的Swin Transformer架构，CDMS仍然保持了计算优势。Deform利用可变形卷积注意力机制实现了较低的参数数量和推理成本，但其分割精度仍显著低于CDMS。总体而言，CDMS在保持合理模型复杂度和计算需求的同时，实现了更高的分割精度。

### 5. 结论

本文提出了一种基于状态空间模型的一致性驱动多模态脑肿瘤分割框架（CDMS），旨在解决模态缺失导致的分割性能下降问题。通过引入可学习的一致性特征，CDMS有效减少了模态间的语义冲突。MCF模块通过建立长程依赖关系提高了模态间特征的一致性，而PAW模块则动态平衡不同模态的特征贡献，显著减少了模态偏差。AFC模块通过通道和空间维度的校正机制，优化了特征表示，提高了分割的鲁棒性。实验结果表明，CDMS在BraTS2018和BraTS2020数据集上的分割性能优于现有方法，尤其是在模态缺失的情况下。CDMS提供了一种新的策略，用于在高效长程依赖建模的背景下显式建模跨模态一致性，特别适用于涉及缺失模态的分割任务。