MBUNeXt：基于层融合策略的多分支编码器聚合网络，用于多模态脑肿瘤分割

《IEEE Transactions on Neural Networks and Learning Systems》：MBUNeXt: Multibranch Encoder Aggregation Network Based on Layer-Fusion Strategy for Multimodal Brain Tumor Segmentation

精准脑肿瘤多模态分割方法MEA网络通过特征注意力、多分支聚合和大核卷积模块有效融合多源影像数据，显著提升分割精度。该模型在BraTS2019和2021数据集上平均Dice系数达85.84%和91.11%，并验证了在BraTS-Africa2024低质影像中的鲁棒性。

　　

摘要：

多模态脑肿瘤分割（BraTS）结合手术机器人和导航系统，能够在最大限度地保护周围健康脑组织的同时，实现精确的外科干预。然而，多模态脑扫描在脑肿瘤亚区域之间存在较大的类别间差异，并且信息冗余，导致多模态信息融合不足，显著影响BraTS的准确性。为了解决这些问题，我们提出了一种基于层融合策略的多分支编码器聚合（MEA）网络，称为多分支UNeXt（MBUNeXt）。该网络包括三个设计良好的模块：多模态特征注意力（MFA）模块、MEA模块和大核卷积跳跃（LCS）连接模块。这些模块协同工作，以实现脑肿瘤的精确分割。具体而言，MFA模块通过注意力机制和高斯调制函数保留了跨模态的相似性结构，从而过滤掉冗余信息。然后，MEA模块利用多种模态之间的相关性，有效整合多模态混合特征表示并优化多模态信息融合。此外，LCS模块构建了多组大核深度可分离卷积，可以引导网络关注不同尺度的特征，从而解决脑肿瘤亚区域之间显著的类别间差异问题。在包含大约5000个3D脑扫描的大规模公共数据集BraTS2019和BraTS2021上的实验结果表明，我们提出的方法达到了最佳性能，平均Dice分数分别为85.84%和91.11%。该方法在成像质量较低的BraTS-Africa2024数据集上也表现良好，证明了其鲁棒性。代码可在以下链接获取：https://github.com/liuqinghao2018/MBUNeXt

引言

脑肿瘤可能导致严重的神经系统缺陷，甚至危及生命。在现代生物医学图像处理中，分割技术[1]、[2]、[3]被广泛用于脑肿瘤的诊断、分期和随访。磁共振成像（MRI）[4]因其能够提供软组织的高对比度图像而成为自动诊断脑肿瘤疾病的常用成像方式。通过不同的参数设置，可以获得多种模态的MRI序列[5]。用于脑肿瘤疾病诊断的常见MRI模态包括T1加权（T1）、增强后T1加权（T1Gd）、T2加权和T2液体衰减反转恢复（FLAIR）。其中，T1可以显示各种层析解剖结构；T1Gd可以在注射造影剂后显示血供增强的区域，进一步了解肿瘤的内部特征；T2与组织和器官中的水分含量相关，可以精确定位病变区域；FLAIR可以显示肿瘤周围的状况，显示水肿区域。不同的成像模态可以提供关于病变区域和周围组织的互补信息。因此，使用多模态医学图像可以弥补单模态图像的不足，帮助医生准确识别手术区域和病变结构。将医学图像分析技术与现代医学中的手术机器人系统相结合，可以实现更精确和精细的外科干预，最大限度地保护周围正常脑组织，提高手术的安全性和有效性[7]、[8]、[9]。