基于多流残差3D U-Net与模态融合注意力机制的多模态MRI脑肿瘤三维分割方法

《Scientific Reports》：AMF-U-Net: an adaptive multimodal fusion residual attention 3D U-Net for boundary-aware brain tumour segmentation

　　

摘要

基于多模态磁共振成像（MRI）的脑肿瘤精确三维分割具有挑战性，原因包括肿瘤亚区域内的强度异质性、不规则的肿瘤边界、体素级别极端不平衡的类别分布以及采集变异性。本研究提出AMF-U-Net，一种多流残差三维U-Net模型，以T1、增强T1（T1ce）、T2和FLAIR图像作为输入，并通过四个独立的编码器进行模态特异性特征提取。在编码器的每个尺度层级中，所提出的系统使用了模态融合模块，该模块计算经softmax归一化的模态重要性权重，并在将特征前馈至注意力引导的解码器之前融合模态特异性特征。残差连接使训练更加稳定，而注意力门控则抑制无关的跳跃连接激活并有助于边界重建。混合类别权重平衡的Dice与分类交叉熵损失处理了区域重叠和类别不平衡问题。脑肿瘤分割2023（BraTS 2023）和UCSF-PDGM数据集通过模态映射、空间归一化、源感知的患者级别划分以及将标签转换为互斥的背景、坏死/非增强肿瘤、水肿和增强肿瘤类别进行了协调。在内部验证队列中，AMF-U-Net对WT、TC和ET的Dice分数分别为0.845、0.813和0.788，相当于区域级别的宏平均Dice分数为0.815。与相同划分的3D U-Net、nnU-Net、UNETR和Swin UNETR结果相比，所提出的方法在重叠度和边界距离方面提供了更好的性能。因此，本文的贡献应被视为三种创新的组合，而不仅仅是单一创新的引入。