BXMNet：通过多方向状态空间上下文和自适应融合技术提升多模态脑肿瘤分割性能

《Neurocomputing》：BXMNet: Enhancing multimodal brain tumor segmentation via multi-directional state-space context and adaptive fusion

　　•Bottleneck Mamba能够捕捉长距离依赖性，以提高体积肿瘤的定位精度。
•Hexa-Selective Scan可以聚合六个方向的线索，以处理各向异性的体积结构。
•Orientation-Aware Feature Fusion能够重新调整互补的六个方向上下文，以便关注显著解剖结构而非重复信息。
•Modality-Aware Feature Complement可以利用跨模态线索，增强WT/TC/ET序列特定的对比度。
•消融研究和敏感性研究表明，在BraTS2019、BraTS2020和BraTS2024挑战赛中，该模型的Dice和HD95性能具有竞争力。

**引言**
脑肿瘤分割是医学图像分析中最为重要且具有挑战性的任务之一，因为从多模态MRI中准确勾画肿瘤区域对诊断、治疗计划和预后评估至关重要[1]、[2]。然而，脑肿瘤分割仍然极具难度，因为肿瘤通常具有不规则的形状、浸润性生长模式以及与周围组织的边界不明确。这种困难还因MRI采集协议、图像分辨率和站点间数据分布的差异而加剧，这些因素引入了显著的外观异质性，可能会削弱多站点环境中分割模型的稳健性和泛化能力[3]、[4]。更广泛地说，临床可部署的医学人工智能（AI）系统还必须考虑基础模型调整、数据存储和基于云的AI流程、数据协调、联邦异质性、隐私鲁棒性权衡以及对抗性风险[5]、[6]、[7]、[8]、[9]、[10]、[11]。尽管这些问题并非这里讨论的 centrally trained BraTS分割设置的直接实验基准，但它们促使我们谨慎讨论模型的稳健性和临床转化。

近年来，深度学习在脑肿瘤分割中发挥了关键作用，通过从大规模脑MRI数据集中学习复杂的高级表示，从而能够准确识别传统方法难以捕捉的肿瘤区域[12]、[13]。在这些方法中，U-Net因其灵活且模块化的编码器-解码器设计而在不同成像模式下表现出色[14]。借助跳跃连接，基于U-Net的架构能够有效结合上下文信息和细粒度空间细节，这对于准确的医学图像分割尤为重要。这种设计在多模态MRI中尤其相关，因为需要仔细融合互补的模态信息以避免特征主导[15]。集成Transformer的变体，如Mixed Transformer U-Net[16]、TransUNet[17]和Swin-UNet[18]，通过自注意力机制进一步增强了长距离依赖性建模。此外，空间-通道注意力已被证明可以通过从互补角度捕获信息丰富的表示来改善特征学习[19]。然而，这些模型往往引入较高的计算复杂性和内存成本，而且它们对补丁分词和层次化注意力的依赖可能会限制在小或异质性病变中的精确边界定位和稳健性。这一发展趋势表明，有效的体积分割模型应保留U-Net家族的定位和多尺度融合优势，同时仅在最有益的地方引入全局上下文建模。

在本研究中，“定向和模态感知”表示一种基于扫描方向和MRI对比度互补性的归纳设计。体积MRI可以通过轴向、矢状和冠状视图来表示，这催生了HSS使用的轴向对齐的扫描顺序，而MRI序列为不同肿瘤亚区域提供了互补的图像对比度。BXMNet利用这些线索组织方向上下文建模和模态条件下的特征重加权，相应的融合权重是从训练数据中学习得到的。

卷积神经网络（CNN）主要通过局部感受野来聚合信息。虽然更深层次可以扩大有效感受野，但长距离交互仅被间接建模，这促使人们开发了用于视觉任务的Transformer架构[20]、[21]。Transformer最初是为自然语言处理中的序列到序列建模而开发的，后来通过将图像表示为令牌序列，实现了复杂视觉理解的有效全局上下文建模[22]。然而，自注意力相对于输入大小的二次复杂度导致了相当大的计算开销，这对于高分辨率生物医学图像尤其成问题[23]、[24]、[25]。最近的状态空间建模进展，包括S4[26]及相关门控状态空间模型[27]，已成为通过可扩展序列处理来建模长距离依赖性的有效替代方案。VMamba通过引入具有2D Selectional Scan模块的Visual State-Space块，将这一理念扩展到视觉领域，该模块通过四个方向的扫描路径捕获全局上下文[28]。医学变体如MedSegMamba进一步结合了卷积和基于Mamba的建模，以丰富分割中的上下文表示[29]。对于3D分割，SegMamba使用三向序列化，而VMamba是一种2D视觉状态空间架构。这些设计提出了如何选择和融合3D体积中配对遍历顺序的问题，但并未解决这些问题。因此，BXMNet评估了六个共享参数的轴向对齐遍历和自适应融合是否比简单的扫描配置具有更好的效果。

在这些限制的基础上，我们提出了BXMNet，这是一种专门针对瓶颈区域的Mamba U-Net，它在保留卷积局部性的同时，通过状态空间建模和改进的多模态跳跃融合受益于长距离体积上下文。具体来说，BXMNet将基于Mamba的序列建模限制在瓶颈阶段，在此阶段可以高效捕获全局上下文，而不破坏编码器-解码器路径的局部性保持结构。为了增强3D体积中的空间感知能力，我们进一步引入了Hexa-Selective Scan（HSS），它沿矢状、冠状和轴向进行六个方向的扫描，以实现超出固定平面方向的定向感知上下文建模。为了更好地整合多方向表示，我们设计了Orientation-Aware Feature Fusion（OAFF），它在体素级别自适应地融合互补的上下文信息。此外，我们提出了Modality-Aware Feature Complement Module（MAFCM）来进行模态条件下的特征重加权，从而提高多模态MRI输入之间的语义一致性和平衡。

**主要贡献总结如下：**
•我们引入了一种瓶颈定位的卷积-状态空间U-Net，它在最低分辨率阶段保留了卷积编码器的局部性偏差，同时增加了长距离体积上下文。
•我们引入了HSS和OAFF作为耦合的方向上下文机制：HSS形成六个共享参数的轴向对齐遍历，而OAFF学习它们的空间和通道变化相关性。扫描和融合实验表明，这一贡献不仅仅在于增加扫描方向的数量。
•我们引入了MAFCM作为上下文条件下的跳跃特征细化模块，并在BraTS2019、BraTS2020和BraTS2024基准测试的通用实验协议下，通过交叉分割验证和分阶段组件消融对其进行了全面评估。

**CNN和U-Net分割模型**
早期医学图像分割方法主要由卷积神经网络（CNN）推动。它们对局部性的强大归纳偏向使得边缘、纹理和模态特定线索的提取更加稳健，这对于MRI特别有益，因为在不同序列中肿瘤外观可能存在异质性[30]、[31]。在此基础上，U-Net[32]成为生物医学分割的基石架构，因为它正式化了编码器-解码器设计。

**方法**
BXMNet由传统的残差编码器-解码器框架和三个提出的组件组成：基于HSS的瓶颈序列建模、用于自适应多方向融合的OAFF模块以及用于模态感知跳跃细化的MAFCM模块。残差编码器和解码器主要作为骨干，而方法上的创新在于这三个组件。BXMNet的概览如图1所示。

**数据集和预处理**
本研究使用了BraTS2019、BraTS2020和BraTS2024成人胶质瘤治疗后分割挑战赛（BraTS-GLI）[90]、[91]的官方公开发布的所有可用标注训练案例。BraTS2019和BraTS2020分别包含335个和369个术前案例，而BraTS2024包含1350个术后案例。每个案例都提供了带有专家注释的T1、T1 C、T2 W和FLAIR MRI图像。未应用额外的案例级过滤。

**主要基准比较**
我们使用相同的数据库划分、预处理流程和训练/评估工作流程，在每个BraTS基准测试中评估了BXMNet以及代表性的CNN、Transformer和状态空间基准模型。比较基准包括nnU-Net、Attention U-Net、UNETR、MedSegMamba、nnFormer[92]、SegMamba、Swin UNETR和SegFormer3D[93]。这些基准模型的具体配置采用了它们原始出版物或官方实现中的内容。

**讨论**
在所有BraTS基准测试中，BXMNet在重叠精度和平均边界质量方面表现出一致的提升，特别是在TC和ET方面具有很强的重叠性能。这些发现表明，多方向上下文建模、稳定的方向融合和模态条件下的跳跃细化都为整体性能提升做出了贡献。在接下来的讨论中，我们将探讨这些贡献、其余的权衡以及仍然存在的挑战性案例。

**结论**
在这项工作中，我们提出了BXMNet，这是一种用于3D多模态脑肿瘤分割的混合卷积-状态空间U-Net。通过将基于Mamba的序列建模限制在瓶颈阶段，并结合HSS、OAFF和模态条件下的跳跃特征细化，该模型捕获了多方向体积上下文，同时保持了高效的编码器-解码器特征传播。在BraTS2019、BraTS2020和BraTS2024上的共同协议评估，以及五折分割稳定性测试中均证明了其有效性。

**CRediT作者贡献声明**
Tommy Nicholas：撰写——原始草稿、软件、方法论、研究、数据管理、概念化。
Kun Huang：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、软件、方法论、研究、形式分析。
Javed Hossain：撰写——审阅与编辑、软件、方法论。
Pandula Pallewatta：撰写——审阅与编辑、可视化、验证。
Yikai Wang：撰写——审阅与编辑、监督、项目管理。
Hai Huan：撰写——