基于聚合上下文注意力与跨层融合的统一多任务网络用于脑肿瘤分割与分类

《Frontiers in Neuroscience》：UAC-Net: a unified multi-task network with aggregated contextual attention and cross-layer fusion for brain tumor segmentation and classification

　　

论文摘要专业翻译 引言： 从磁共振成像（Magnetic Resonance Imaging，MRI）中准确分割和分类脑肿瘤对于临床诊断和治疗规划至关重要。然而，现有方法通常将这两项任务独立处理，未能利用其固有的互补性，且往往难以捕捉识别小型或不规则病灶所必需的多尺度上下文信息。 方法： 为解决上述局限，本文提出UAC-Net，一种基于U-Net骨干网络的统一多任务学习框架，通过共享编码器联合优化肿瘤分割与分类。该框架引入两个核心模块：（1）聚合上下文注意力（Aggregated Contextual Attention，ACA）模块，通过在所有编码器层级上结合局部滑动窗口注意力与全局下采样注意力，增强对关键病灶区域的动态感知；（2）相邻层多尺度特征融合（Adjacent Layer Multi-scale Feature Fusion，ALMFF）模块，实现跨层级特征交互以丰富多尺度表征。在分割分支中，经ALMFF融合的特征被逐步上采样以实现精确的病灶定位；在分类分支中，经ACA增强的深层特征通过全局平均池化（Global Average Pooling，GAP）进行聚合，生成用于肿瘤分型的鲁棒语义表征。 结果： 在两个公开可用的脑肿瘤MRI数据集上的实验表明，UAC-Net相较于若干代表性方法取得了具有竞争力和一致性的性能。具体而言，UAC-Net在Figshare数据集上取得98.53%的分类准确率和81.39%的Dice系数，在BRISC 2025数据集上取得99.07%的分类准确率和86.61%的Dice系数。 讨论： 上述发现表明，在统一的多任务框架内整合上下文注意力与跨层特征融合，是联合进行脑肿瘤分割与分类的一种有前景的方法。

论文解读文章

一、研究背景与问题

脑肿瘤（包括脑膜瘤、胶质瘤和垂体瘤）是威胁人类健康的最严重的神经系统疾病之一，对临床诊断和治疗决策构成重大挑战。磁共振成像（Magnetic Resonance Imaging，MRI）凭借其优异的软组织对比度，已成为脑肿瘤评估的重要影像学手段。从MRI中准确识别肿瘤类型并精确勾画病灶区域，对于计算机辅助诊断、治疗规划和病情评估至关重要。

早期计算机辅助脑肿瘤分析主要依赖传统的图像处理技术，如阈值分割、区域生长、边缘检测、聚类和形态学操作。这些方法在相对受控的成像条件下具有一定效果，但其性能往往对图像强度变化、噪声以及肿瘤外观的显著异质性较为敏感，且高度依赖人工设计的规则和先验知识，限制了其在不同成像条件下的适应性。随后引入的基于机器学习的方法将手工设计的强度、纹理、形状和统计特征与支持向量机、随机森林和k近邻等分类器相结合，在一定程度上提升了复杂图像模式的建模能力，但其性能仍高度依赖于手工特征的质量和判别能力。

深度学习的出现进一步减少了对人工特征工程的依赖，使模型能够以端到端方式直接从医学图像中学习层次化表征。卷积神经网络（Convolutional Neural Network，CNN）在脑肿瘤分类中展现出强大的特征表示能力，而编码器-解码器架构（尤其是U-Net及其变体）已被广泛用于肿瘤分割。近年来，注意力机制和基于Transformer的架构被引入以改善病灶定位、多尺度特征表示和长程上下文建模。

然而，现有深度学习方法仍存在若干未解决的挑战。第一，脑肿瘤在MRI图像中往往占据较小区域，且在形状、大小和位置上存在显著变异，使得精确的病灶定位十分困难。第二，传统基于卷积的模型擅长提取局部特征，但在捕捉长程上下文依赖方面存在局限，而这对于识别不规则肿瘤结构十分重要。第三，许多现有方法将分割和分类视为两个独立任务，忽视了像素级结构信息与图像级语义信息之间潜在的互补性——分割提供肿瘤区域的细粒度空间信息，分类提供与肿瘤类别相关的高层语义信息，有效利用两者之间的互补信息有望同时改善病灶定位和肿瘤判别。

二、研究内容与核心贡献

针对上述问题，研究人员提出了UAC-Net，一种用于联合脑肿瘤分割与分类的统一多任务学习框架。该网络采用共享编码器学习两个任务的共同特征表示，同时使用任务特定的分割和分类分支。为增强跨层级特征交互，设计了相邻层多尺度特征融合（Adjacent Layer Multi-scale Feature Fusion，ALMFF）模块，整合相邻编码器阶段的空间细节和语义信息；同时引入聚合上下文注意力（Aggregated Contextual Attention，ACA）模块，将局部滑动窗口注意力与全局空间下采样注意力相结合，强化局部病灶表征和长程上下文建模。通过联合多任务优化，UAC-Net利用像素级结构信息与图像级语义信息之间的互补关系，同时改善脑肿瘤分割与分类性能。

该研究的主要贡献包括：提出统一多任务学习框架UAC-Net，通过共享编码器表征利用分割任务的细粒度结构信息辅助分类，促进协同特征学习与联合优化；设计ALMFF模块增强跨层特征交互，采用多尺度卷积分支丰富空间细节和语义表征；引入ACA模块强化上下文建模，通过结合局部滑动窗口注意力与全局空间下采样注意力以及可学习查询嵌入和位置建模，改善小且不规则肿瘤区域的表征能力。

三、关键技术方法概述

UAC-Net采用U-Net架构，由共享层和任务特定层组成端到端网络。共享层包含编码器卷积块，任务特定层包括分类和分割子网络。与跳跃连接中简单拼接不同，模型首先通过ALMFF模块融合U-Net架构中相邻下采样层的特征，提取跨层级多尺度信息，随后应用ACA模块增强特征的上下文信息。ALMFF模块利用转置卷积调整深层特征分辨率，通过双分支结构分别使用3×3卷积捕捉局部空间细节和边界信息、5×5卷积扩大感受野引入更广泛的上下文线索，经逐元素相乘融合相邻层的一致响应并抑制冗余背景信息，最后引入残差连接保持原始信息。ACA模块模拟生物视觉的中央凹视觉和连续眼动机制，通过滑动窗口和空间下采样的双路径设计，使每个token同时捕捉局部细节和全局上下文信息，并引入可学习查询嵌入、位置注意力和长度缩放余弦注意力以增强注意力计算的灵活性和稳定性。分类分支采用交叉熵损失，分割分支采用二值交叉熵（Binary Cross Entropy，BCE）与Dice损失的加权组合，总损失通过可自动更新的权重系数联合优化两个任务。

四、实验结果

4.1 数据集与预处理。 研究使用两个公开数据集：Cheng等（2015）发布的脑肿瘤数据集（含3,064幅MRI图像，涵盖胶质瘤、脑膜瘤和垂体瘤三种类型）和Fateh等（2026）提出的BRISC 2025数据集（分割任务子集含4,793幅原始MRI图像及对应的4,793幅二值掩膜标注）。两个数据集均为T1加权对比增强脑MRI图像。预处理阶段将图像调整为224×224像素，单通道复制扩展为三通道，并进行像素归一化。采用随机垂直和水平翻转及随机强度偏移进行在线数据增强，按8:2比例划分训练集和测试集。

4.2 损失函数。 分类分支采用交叉熵损失衡量预测类别概率与真实标签之间的差异；分割分支采用BCE损失提供像素级监督，结合Dice损失直接度量预测掩膜与真实掩膜的区域重叠，两者加权组合形成分割损失；最终通过可自动更新的权重系数联合优化分类和分割目标。

4.3 模型参数与硬件环境。 实验在配备32 GB内存和NVIDIA RTX 4060 Ti GPU（16 GB显存）的工作站上进行，使用PyTorch框架实现。采用Adam优化器，初始学习率0.0001，批大小8，最大训练轮数160，采用ReduceLROnPlateau学习率调度器（衰减因子0.2，耐心5轮），并引入早停策略缓解过拟合。

4.4 评估指标。 分类任务采用准确率（Accuracy，Acc）、召回率（Recall，Re）、精确率（Precision，Pre）和F1分数作为评估指标。

五、研究结论与讨论

研究结果表明，UAC-Net在两个公开数据集上均取得了具有竞争力和一致性的性能：在Figshare数据集上分类准确率达98.53%、Dice系数达81.39%，在BRISC 2025数据集上分类准确率达99.07%、Dice系数达86.61%。这些发现表明，在统一多任务框架内整合上下文注意力与跨层特征融合，是联合进行脑肿瘤分割与分类的一种有前景的方法。通过共享编码器表征，分割任务提供的细粒度结构信息能够辅助分类任务，而分类任务提供的语义信息又能引导分割聚焦于关键区域，从而实现两个任务之间的互补增强。该研究为脑肿瘤MRI图像的联合分割与分类提供了一种有效的统一框架，有望推动计算机辅助脑肿瘤诊断的发展。