基于视觉Transformer的MRI脑肿瘤自动检测二元分类方法

《Pattern Recognition Letters》：Vision Transformer-Based Binary Classification for Automated Brain Tumor Detection in MRI

　　•全局上下文视角的ViT架构：该模型用视觉变换器替代卷积神经网络，通过基于块的自注意力机制捕捉图像的全局关联，从而克服了CNN在局部感受野方面的局限性。•优化的泛化流程：定制的数据增强策略提升了模型的稳定性，而专门的分类头则确保了其在临床应用中的可靠预测能力。•多指标下的优异表现：在所有数据子集（训练集/验证集/测试集）上，该模型的测试准确率可达94.66%，F1分数超过94.6%，且错误率始终低于5.5%。•Br35H数据集验证：在标准化的MRI数据集Br35H上的严格评估证明了该模型的可重复性及其临床实用性。•临床决策支持潜力：研究结果表明，视觉变换器有望简化MRI分析流程，减少人工解读的差异性，提升实际场景中的神经影像分析效率。

引言
大脑是最复杂的器官，负责调控重要的认知、感知和运动功能[1]。鉴于其重要性与复杂性，大脑的缺陷可能带来严重后果[2]。其中最为严重的异常之一就是脑肿瘤，它是全球范围内癌症相关死亡的重要原因之一[3]。脑肿瘤要么是脑组织中细胞的无控制生长，要么是源自身体其他部位的继发性（转移性）肿瘤。从临床角度来看，脑肿瘤可分为良性且生长缓慢的类型，以及恶性且侵袭性强的类型，因此早期且准确的诊断对于制定有效的治疗方案及判断患者预后至关重要。

由于脑肿瘤的多样性和复杂性，基于精确成像的检测是诊断和管理的首要步骤。在PET、CT和SPECT等神经影像技术中，磁共振成像因无需使用电离辐射即可提供高分辨率的解剖结构信息而成为首选。MRI还能生成多平面图像以及多种序列（如T1加权、T2加权和FLAIR序列），这些序列分别能凸显不同的组织特征，有助于肿瘤评估[4]。通常情况下，放射科医生需要手动分析脑肿瘤的MRI扫描结果；但由于每位患者的MRI切片数量众多，这种做法既耗时又费力，同时还容易因操作者疲劳以及不同观察者之间的主观差异而出现误差[5]。为了解决这些问题，深度学习技术被逐步应用于自动检测脑肿瘤领域[6][7]，近期还有研究探索利用生成模型和扩散模型实现脑部MRI的无监督异常检测[8][9]。最近，视觉变换器作为一种强大的图像分析架构应运而生[10][11]，在包括脑肿瘤分类在内的医学影像应用中展现出良好前景。与传统依赖局部感受野的卷积神经网络不同，视觉变换器通过自注意力机制来捕捉整幅图像的全局上下文信息[12]，从而更有效地捕获MRI扫描中的复杂空间模式及细微特征。本研究旨在探讨视觉变换器在二分类脑肿瘤检测（肿瘤与否）中的应用潜力。采用端到端的深度学习系统的目的是，在相同的小数据量、无预训练的临床环境下，相比常用的CNN和视觉变换器基准模型，提升自动诊断的准确性与可靠性，同时保持较低的计算成本，便于实际应用。

尽管视觉变换器在脑肿瘤MRI分类方面展现出巨大潜力，但许多现有方法仍依赖于大型预训练模型或混合型的CNN-视觉变换器架构，这类方案在数据有限的临床环境中不太实用。虽然混合型CNN-视觉变换器能够借助卷积操作所具备的空间感知能力，但其结构往往更为复杂且体积更大。这样的优势是以增加模型规模和架构复杂度为代价的，这使得这类混合架构在资源有限的临床环境中难以部署。目前，关于在小型数据量的医学影像场景下，从头开始训练的纯紧凑型视觉变换器的性能与效率平衡问题尚缺乏系统研究，这也导致了在资源受限的医疗环境中缺乏相应的架构设计建议。在本研究中，我们提出了一种从头开始训练的端到端轻量级视觉变换器，用于在Br35H数据集上进行二分类肿瘤/无肿瘤检测。由于纯视觉变换器缺乏内置的空间归纳偏置，我们设计了一套精心设计的增强流程，让模型接触到足够的几何变化，从而在保持架构简洁的同时学会更具鲁棒性的表征方式。本研究并未引入新的组件，而是系统地分析了嵌入维度、块大小、模型深度以及数据增强等关键设计因素在数据有限条件下的分类性能与计算效率影响。研究结果表明，较强的参数紧凑性有助于提升小数据量临床环境中的模型泛化能力，使模型能够在减少过拟合现象的同时捕捉全局依赖关系。5折交叉验证和跨数据集评估进一步证明了这些结论的可靠性。

本文的主要贡献如下：
•我们提出了一种针对Br35H脑肿瘤检测的紧凑型、全基于视觉变换器的模型，注重在数据有限条件下的效率提升。
•我们系统地研究了嵌入维度、块大小、模型深度以及数据增强等关键架构因素，如何影响在小型数据量医学影像场景下从头开始训练的紧凑型视觉变换器的性能与效率。
•研究表明，较强的参数紧凑性（0.54百万个参数，52.52百万次浮点运算）有助于提升小数据量临床环境中的模型泛化能力，使模型在保持极低计算成本的同时具备良好的性能，非常适合轻量级临床应用。
•我们通过t-SNE可视化所学特征嵌入值及注意力展开图来进行可解释性分析，展示了具有类别区分能力的特征表征以及符合解剖学特征的模型关注点，从而提升了临床应用的透明度。
•我们进行了全面的实验评估，包括5折交叉验证、域迁移条件下的跨数据集评估，以及在更大规模的独立基准数据集（脑肿瘤MRI数据集，测试准确率为97.14%）上的性能测试，充分证明了所提架构的稳健性及其更广泛的适用性。

本文结构如下：第2节阐述相关研究，第3节介绍所提出的方法，第4节展示并分析实验结果，第5节进行消融研究，第6节与相关方法进行对比评估。最后，第7节总结研究要点并指出未来发展方向。

相关研究
深度学习极大提升了脑肿瘤分类的精度，早期的研究主要依赖卷积神经网络。Ojha等人[13]对包括InceptionV3、ResNet101、VGG19和DenseNet169在内的各类定制及迁移学习型CNN模型进行了测试，发现在依赖大型预训练模型的Br35H数据集上，DenseNet169的准确率可达99.66%。Ba?arslan[14]将CNN与BiLSTM模块结合使用，在提高模型复杂度的同时，也在Br35H数据集上取得了99.33%的准确率。Khan等人[15]则证明了紧凑型模型也能达到不错的分类效果。

方法论
本研究介绍了一种利用视觉变换器模型自动检测脑部MRI图像中是否存在肿瘤的方法。该方法采用端到端的深度学习架构及自注意力机制，旨在弥补手动检测脑肿瘤的不足。整个系统由三个核心部分组成：图像数据增强模块、基于视觉变换器的编码器以及分类头（见图1）。

结果与讨论
本节对所提出的视觉变换器在二分类脑肿瘤检测任务中的性能进行了实验评估。模型性能是通过标准的分类指标来衡量的，包括准确率、精确率、召回率、F1分数以及接收者操作特征曲线下面积。这些指标是根据混淆矩阵中的真阳性、真阴性、假阳性和假阴性数值计算得出的。表2总结了相关评估结果。

消融研究
为验证所提出视觉变换器的架构设计与训练策略的合理性，我们进行了消融研究，分别测试了以下几种情况对性能的影响：(1) 将嵌入维度从D=64增加到D=128；(2) 移除数据增强流程；(3) 将块大小从32增加到48；(4) 将视觉变换器的层数从L=4减少到L=2。通过这些测试，我们分析了空间分辨率与模型容量对模型性能的影响。所有实验均采用相同的架构和数据集进行。

对比评估
在本节中，我们将所提出的视觉变换器与在Br35H数据集上评估过的其他近期出现的基于CNN和视觉变换器的方法进行了比较（见表6）。Ojha等人[13]使用DenseNet169迁移学习模型实现了99.66%的准确率，而Ba?arslan[14]的CNN-BiLSTM混合架构则达到了99.33%的准确率。Khan等人[15]证明，得益于CNN的归纳偏置和迁移学习机制，轻型CNN模型也能达到98.67%的准确率。相比之下，视觉变换器则依靠自注意力机制来实现更好的性能。

结论
本研究提出了一种用于在Br35H数据集的T1-CE MRI图像上检测二分类脑肿瘤的紧凑型视觉变换器。该端到端模型通过自注意力机制捕捉全局空间依赖关系，再结合医学领域的专用数据增强技术和正则化手段，使得模型在训练集、验证集和测试集上的性能都十分稳定。该模型的测试准确率为94.66%，F1分数为94.6%，其参数规模仅0.54百万个，浮点运算次数为52.52百万次，计算开销极低。

CRediT作者贡献说明
Rim Missaoui：撰写——初稿撰写，软件开发，资源准备，数据整理。Wided Hechkel：可视化处理，结果验证，形式化分析。Wajdi Saadaoui：撰写——初稿撰写，软件开发，形式化分析。Abdelhamid Helali：撰写——审阅与编辑，项目指导，概念设计。Marco Leo：撰写——审阅与编辑，项目指导，概念设计。

利益冲突声明
作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Marco Leo表示获得了意大利大学与研究部提供的资金支持，同时与该部门存在某种关联，此外他还拥有相关专利申请中。其他作者则声明自己不存在任何可能影响本研究结果的已知财务利益或个人关系。

致谢
本研究是在意大利大学与研究部资助的项目“未来人工智能研究—FAIR CUP B53C220036 30006”支持下开展的，该项目编号为MUR: PE0000013。

Rim Missaoui|Wided Hechkel|Wajdi Saadaoui|Abdelhamid Helali|Marco Leo