《Bioengineering》：SERA-Net: Rethinking CNN Design for Brain Tumor Classification via Squeeze-and-Excite Attention and Residual Learning
编辑推荐：
脑肿瘤是一种危及生命的疾病，死亡率很高。如果在早期阶段被发现，是可以治疗的。放射科医生使用磁共振成像（Magnetic Resonance Imaging, MRI）进行人工分析虽然有效，但速度慢且存在观察者间差异。为了实现自动化，各种深度学习模型，尤其是卷积
脑肿瘤是一种危及生命的疾病，死亡率很高。如果在早期阶段被发现，是可以治疗的。放射科医生使用磁共振成像（Magnetic Resonance Imaging, MRI）进行人工分析虽然有效，但速度慢且存在观察者间差异。为了实现自动化，各种深度学习模型，尤其是卷积神经网络（Convolutional Neural Networks, CNNs），已被广泛使用。然而，大多数模型依赖于冻结的、基于ImageNet的预训练主干网络，在训练过程中只更新一个小的分类头。这使得大量参数无法适应自然图像与MRI扫描之间的领域偏移，限制了这些模型进一步修改或改进的可能性，导致模型高度以参数为中心，不适合开发。此外，大多数研究未能提供关于架构选择的见解，阻碍了复现和改进。为了解决这些问题，本研究提出了SERA-Net，一种用于基于MRI扫描的脑肿瘤分类的卷积架构。该模型从头开始训练，并通过增量消融研究量化了每个模块的性能。它由四个块组成，包含不同的组件，如挤压激励（Squeeze-and-Excite, SE）通道注意力、残差连接、更宽的分类头等。研究的贡献不在于提出新的操作，而在于针对这一特定任务，对已有的架构组件进行系统的、基于消融驱动的组合和实证验证。该模型在一个公开可用的MRI数据集上进行训练和评估。仅需约500万个参数，就达到了95.44%的准确率、0.953的F1分数以及各种接近理想的指标。研究人员观察到，该模型在使用更少参数的情况下，性能比六个预训练的CNN基线高出5%-10%。其他各种分析也表明了所提方法在检测脑肿瘤方面的有效性。所提出的方法提供了一种可扩展的设计，只需有限的修改即可适用于不同领域。
从零构建的脑肿瘤分类模型：SERA-Net 的解读
1. 研究背景与动机
脑肿瘤（Brain Tumors, BTs）是全球致死率最高的癌症之一。早期发现对于制定有效的治疗方案至关重要。磁共振成像（Magnetic Resonance Imaging, MRI）因其非电离辐射特性和对软组织的高分辨能力，成为诊断脑肿瘤的首选影像学手段。然而，放射科医生对MRI扫描的人工判读不仅耗时，而且存在显著的观察者间差异性，尤其是在边界病例的判断上。
为了克服这些局限，人工智能（Artificial Intelligence, AI）被引入以辅助自动化诊断。尽管传统的机器学习（Machine Learning, ML）方法曾发挥过作用，但它们依赖于手工设计的纹理特征，只能捕捉到人类预先设定的模式。因此，深度学习（Deep Learning, DL）方法，特别是卷积神经网络（Convolutional Neural Networks, CNNs），凭借其自动提取特征的能力成为更优的选择。
然而，现有的大多数CNN研究存在显著缺陷。它们普遍采用基于ImageNet的预训练模型（Pretrained Models, PTMs），并在目标数据集上仅微调一个小型的分类头，而庞大的骨干网络则被冻结。这种做法导致了两个核心问题：
- 1.
域偏移：ImageNet由自然图像构成，其纹理与灰度、结构化的MRI扫描截然不同。冻结的骨干网络无法适应这种域偏移，限制了模型的最终性能。
- 2.
参数中心化：模型的大部分参数是不可训练的，这不仅增加了模型体积，也使得模型难以针对特定任务进行深度优化。同时，许多研究缺乏对架构选择动机的深入解释，阻碍了方法的复现和改进。
为解决上述问题，这篇发表在《Bioengineering》上的论文提出了一种名为SERA-Net的新型卷积架构，旨在从头开始训练，实现高效、高性能的脑肿瘤多分类。
2. 主要技术方法
研究人员构建了一个四阶段的卷积骨干网络，并系统地集成了多种成熟的架构组件。关键方法包括：
- •
基础卷积块：每个块包含两个连续的3×3卷积层，后接批归一化（Batch Normalization, BN）和修正线性单元（Rectified Linear Unit, ReLU）激活函数，并以2×2最大池化结束。通道数逐块倍增（64→128→256→512），以在降低空间分辨率的同时增加特征表示能力。
- •
挤压激励注意力：在每个卷积块中插入挤压激励（Squeeze-and-Excite, SE）模块。该模块通过全局平均池化（Global Average Pooling, GAP）压缩空间信息，再利用一个降维比为16的全连接瓶颈层学习各通道的重要性权重，从而自适应地重新校准特征图，让模型聚焦于信息量更大的通道。
- •
残差连接：在每个块的输入和输出通道数匹配时，引入跳跃连接，使网络学习残差映射。这有助于缓解深层网络中的梯度消失问题，稳定训练过程。
- •
全局平均池化与嵌入层：在最后一个卷积块之后，使用GAP将特征图转换为512维向量，随后通过一个全连接层将其降至128维嵌入。
- •
宽分类头：采用一个更宽的双隐藏层分类头（128→256→64），并在每层后应用BN和高丢弃率（0.5和0.3）的Dropout，以充分利用深层骨干网络提取的丰富特征，同时防止过拟合。
- •
训练策略：模型使用Kaggle环境中的单张NVIDIA Tesla P100 GPU进行训练。采用余弦退火学习率调度器（Cosine Annealing LR Scheduler, CALRS）、Adam优化器和交叉熵损失函数。数据集来源于一个公开的脑肿瘤MRI数据集（融合了figshare、SARTAJ和Br35H三个子数据集），包含5600张训练图和1600张测试图，分为胶质瘤、脑膜瘤、垂体瘤和无肿瘤四类。数据预处理包括缩放到224×224像素、使用ImageNet均值和标准差进行通道归一化，以及随机水平翻转、旋转和色彩抖动等数据增强。
3. 研究结果与分析
3.1. 所提模型的性能
通过对100个训练周期的监控，研究人员发现模型在前中期由于较高的学习率导致测试曲线波动较大，但在后期逐渐稳定。最终模型取得了优异的性能：
- •
总体指标：测试准确率达95.44%，F1分数为0.953，马修斯相关系数（Matthews Correlation Coefficient, MCC）为0.940。受试者工作特征曲线下面积（Area Under the Receiver Operating Characteristic Curve, AUC-ROC）和精确率-召回率曲线下面积（Area Under the Precision-Recall Curve, PR-AUC）分别高达0.986和0.980，表明模型对预测概率的排序近乎理想。布里尔分数（Brier score）仅为0.0214，反映了预测概率的高度可靠性。
- •
各类别表现：模型在所有四个类别上表现均衡。无肿瘤类和垂体瘤类因其视觉模式独特而获得了近乎完美的指标。胶质瘤类的召回率相对较低，但其精确率达到完美，意味着模型所有的胶质瘤预测都是正确的，只是会漏掉少量病例。这与胶质瘤本身视觉复杂性高、边界浸润性强的特点相符。
- •
可解释性分析：利用Grad-CAM++进行的可视化分析显示，模型决策时关注的热点区域主要集中在MRI图像中的肿瘤部位，为医学专家的判断提供了有价值的辅助信息。
3.2. 消融研究分析
为量化每个组件的贡献，研究人员进行了六种变体的增量消融实验（V1-V6）。主要结论如下：
- •
基线（V1）：仅含三个卷积块和一个窄分类头，达到94.81%的准确率。
- •
加深骨干网络（V2）：增加第四个卷积块，参数量增加但准确率未提升，表明额外深度主要在排名层面帮助区分，尚未转化为硬标签准确率的增益。
- •
加入SE注意力（V3）：参数量微小增加，但准确率和MCC等指标均有提升，证实了通道重加权机制的有效性。
- •
加入残差连接（V4）：指标与V3持平。由于网络较浅，残差连接的优化优势尚未完全显现。
- •
加宽分类头（V5，即最终模型）：将分类头从单层128→4加宽为128→256→64，并引入BN和Dropout正则化。这是最关键的一步，模型达到了最佳性能（95.44%准确率）。这说明更深、更强的骨干网络需要更强大的分类头来充分挖掘其特征表示能力。
- •
加入空间自注意力（V6）：在V5基础上增加空间自注意力模块，但性能反而下降。原因是肿瘤区域通常紧凑，卷积层配合SE和残差连接已能充分表征，额外增加的自注意力徒增复杂度和优化难度。
3.3. 与预训练模型的对比
研究人员将SERA-Net与六种主流预训练模型（VGG16, ResNet50, DenseNet121, MobileNetV2, EfficientNetB0, ShuffleNetV2）进行对比。所有模型在同一环境下训练。结果如下：
- •
性能优势：SERA-Net以95.44%的准确率大幅领先最佳基线EfficientNetB0（90.13%）。在其他指标如F1、AUC-ROC上也全面占优。
- •
参数效率：SERA-Net仅有约500万可训练参数，而预训练模型虽有数百万甚至上千万总参数，但其可训练参数占比极低（例如ResNet50只有8196个可训练参数）。SERA-Net的参数数量比VGG16少约96%，比EfficientNetB0少约25%。
- •
泛化能力：预训练模型表现出明显的过拟合迹象（训练指标好而测试指标差），因为其冻结的特征来自自然图像，无法有效适应医学影像。SERA-Net的所有参数均为任务专用，因此泛化能力更强。
- •
计算成本权衡：SERA-Net的单图浮点运算次数（GFLOPs）为21.8，高于一些移动端优化的模型（如MobileNetV2的0.61 GFLOPs），但低于VGG16（30.9 GFLOPs）。这表明参数效率与计算效率并非完全等同，研究者需要在性能和计算资源之间做出权衡。
3.4. 鲁棒性与稳定性分析
- •
可重复性统计：通过在四个不同随机种子下的重复实验，模型性能的标准差非常低（各类别准确率标准差小于0.5%），证明了结果的稳定性和非偶然性。
- •
测试时扰动鲁棒性：模型对15种常见图像扰动进行了测试。结果显示，颜色空间变换不影响性能；水平翻转影响极小；但垂直翻转（训练时未使用）导致准确率下降13.81%；高斯模糊导致下降10.56%。这表明模型的鲁棒性与训练时所采用的增强策略密切相关。
4. 讨论与结论
讨论部分：消融研究和对比实验有力地证明了SERA-Net设计的合理性。研究表明，对于脑肿瘤分类这类特定任务，从零开始构建一个精心设计的、所有参数均可训练的轻量级模型，优于依赖大型预训练模型并进行微调的传统范式。研究也指出了模型的局限性：它仅在一个单一数据集上验证，其在不同患者群体和医疗场景中的泛化能力有待进一步验证。此外，数据集缺乏患者级别的标识，虽然通过哈希和感知哈希检查未发现字节级重复文件，但无法排除同一患者不同切片出现在训练集和测试集中的可能性（数据泄漏风险）。未来工作需要更严格的数据泄漏筛查，以及在更多样化的数据集上进行验证。
结论部分翻译：这项工作提出了一种从头开始构建的、用于基于MRI扫描的脑肿瘤分类（BTC）的卷积架构。其各个组件，即挤压激励（SE）注意力、残差连接和更宽的分类头，都是成熟的技术；本研究的贡献在于通过受控的、增量式的消融过程将它们结合起来，并强调了每个组件的贡献。该模型在一个公开的脑部MRI数据集上进行了训练和评估。它达到了95.44%的测试准确率、0.940的MCC，以及在各类别上接近完美的分析，尤其是对垂体瘤和无肿瘤类别。在与六种在相似环境下训练的预训练模型（PTMs）的对比分析中，显示出对其持续且可见的优势。与VGG16和EfficientNetB0相比，它所需的参数分别减少了约96%和约25%，同时准确率相对提升了约10%和约5%。这种参数效率是以更高的单图浮点运算次数（GFLOPs）为代价的，即每张图像21.8 GFLOPs，相比之下，面向移动设备的紧凑型架构（MobileNetV2和ShuffleNetV2分别为0.61 GFLOPs和0.29 GFLOPs）更低。这主要是因为该模型处理高分辨率特征图并保持所有层都可训练。当目标部署环境更受推理延迟而非模型大小影响时，应考虑这一权衡。由于模型是在单个数据集上训练的，其真实效率需要在多个数据集上进行衡量。在实际成像设备上进行性能评估，并辅以广泛的增强策略，是一个富有成效的研究方向。此外，在保持性能的前提下使该方法更轻量化，以适应资源受限的设备，是另一个有价值的工作方向。
