基于双分支CNN–轻量Swin Transformer的高效神经解析局部–全局学习用于阿尔茨海默病分析

《Frontiers in Computational Neuroscience》：Efficient neuroanalytic local–global learning with dual-branch CNN–lightweight Swin Transformer for Alzheimer’s disease analysis

　　

阿尔茨海默病（AD）是痴呆症的主要病因之一，早期检测对延缓疾病进展和及时治疗至关重要。近年来，基于深度学习与结构MRI的计算机辅助诊断已展现出最优性能；然而，模型参数数量的增加和较高的计算需求使部署在资源受限环境中面临挑战。本研究提出一种名为"NeuroCST"的高效深度学习框架，基于双分支网络架构，将增强的基于EfficientNet的CNN（卷积神经网络）与轻量Swin Transformer独立结合，以分别捕捉AD的局部与全局信息。增强的高效卷积分支利用深度可分离卷积（DSC）和残差学习提取细粒度形态学特征以捕捉纹理信息。相应地，定制的SwinLite Transformer分支利用带有注意力、移位窗口划分和MLP（多层感知机）的高效SwinLite Transformer模块建模全局上下文依赖。随后，这两个分支的多样性特征向量被拼接，并由空间注意力机制NeuroCST-SA处理，以实现最优像素选择，从而减少冗余并区分微小的对比度和纹理类间差异。所提出的NeuroCST在公开Kaggle AD数据集上进行评估，该数据集包含6,400张原始和33,984张增强MRI图像（共40,384张），分为四类：轻度痴呆（Mild Demented）、中度痴呆（Moderate Demented）、非痴呆（Non-Demented）和极轻度痴呆（Very Mild Demented）。NeuroCST-SA在增强和原始等多种实验设置下均优于现有CNN和ViT（视觉Transformer），在留出法交叉验证中取得98.42%的准确率、98.50%的敏感度、98.60%的精确率和98.55%的F₁分数（均值，标准差为2.49%）。基础NeuroCST模型具有1,530万参数和5.2 GFLOPs，NeuroCST-SA变体具有1,480万参数、4.9 GFLOPs，处理时间为每张图像11.4 ms。该性能表明CNN与Transformer的有效集成能够捕捉多样化的局部–全局特征，实现稳健的AD分类。

**一、研究背景与问题**

阿尔茨海默病（AD）是导致痴呆症的主要神经疾病，其发病机制基于tau蛋白和β-淀粉样蛋白的累积，形成老年斑和神经原纤维缠结，破坏脑细胞。研究指出目前全球约有600万AD患者，至2050年将翻倍至1,300万，治疗成本预计达1.1万亿美元。轻度认知障碍（MCI）是AD的前驱状态且具有较高转化风险。因此，计算机辅助诊断（CAD）系统对提高诊断效率、减轻临床医生负荷具有重要意义。现有基于结构MRI（sMRI）的机器学习方法通常依赖感兴趣区（ROI）分割与手工特征提取，再输入支持向量机或随机森林等分类器。深度学习（DL）中，卷积神经网络（CNN）具备强大的局部归纳偏置与平移等变性，适合提取细粒度形态与纹理特征；而视觉Transformer（ViT）等基于自注意力机制可建模长程依赖与全局上下文。然而现有研究存在若干问题：多数采用计算昂贵的3D架构，训练与部署成本高；依赖ImageNet等自然图像大规模预训练，因域偏移难以稳定迁移至医学影像；评估流程与数据筛选缺乏一致性，多中心测试数据匮乏；CNN与ViT各自的优势未被最优地结合以同时捕捉局部形态与全局依赖；传统ViT计算复杂度随图像尺寸呈二次增长。基于CNN与Transformer的互补性，研究人员提出并行双分支、晚期融合的混合架构思路。

**二、研究开展与结论**

研究人员提出NeuroCST框架，采用并行双分支结构，将增强的基于EfficientNet的CNN分支与轻量Swin Transformer分支（SwinLite）独立结合，分别学习局部形态与全局上下文，随后进行特征拼接并引入NeuroCST-SA空间注意力模块进行融合后空间精修。研究在Kaggle AD数据集（源自OASIS，经DICOM转换器转为224×224×3的2D JPEG切片）上验证，包含原始6,400张与增强33,984张共40,384张四分类MRI图像。主要贡献包括：提出NeuroCST-SA，涵盖SwinLite轻量定制、面向目标的增强EfficientNet卷积分支、各分支特征图的压缩与激励，以及新型空间注意力模块；采用特征图拼接融合两种表征；并在公开数据集上验证泛化性。结论表明，NeuroCST-SA在原始与增强设置下均优于现有CNN与ViT，取得98.42%准确率、98.50%敏感度、98.60%精确率与98.55% F₁分数（留出法交叉验证标准差2.49%），NeuroCST-SA变体具1,480万参数、4.9 GFLOPs、每张图像11.4 ms推理时间，体现了CNN与Transformer融合捕捉局部–全局特征的有效性，并适用于资源受限临床环境。

**三、关键技术方法**

（1）增强EfficientNet卷积分支：采用深度可分离卷积（DSC）替代常规卷积，结合残差连接、GELU激活与层归一化，提取细粒度形态纹理特征；（2）轻量SwinLite Transformer分支：以可分离自注意力（SSA）替代多头自注意力（MSA），采用移位窗口划分（W-SSA）、层归一化前置与MLP，将扩展因子设为1；（3）特征拼接与NeuroCST-SA空间注意力模块：通过卷积层与sigmoid生成空间注意力图并与原特征图相乘；（4）实验设置：基于PyTorch，AdamW优化器、余弦退火学习率、加权交叉熵，并采用留出法交叉验证；样本队列来源为公开Kaggle AD-Multiclass Images DatasetV2（源自OASIS）。

**四、研究结果**

**4.1 实现设置**：在Intel Core i5、32 GB RAM、RTX 3070 8 GB GPU上以PyTorch 1.10.0与Python 3.8.8完成训练测试；首个卷积块后特征图维度为64，经最大池化倍增，patch嵌入层生成384维token；采用AdamW（权重衰减0.04、初始学习率1×10^?5）与加权交叉熵，以准确率、F₁分数、精确率、敏感度、PR曲线与平衡准确率评估，并计算F₁分数在95%置信区间（CI）下的标准误（S.E.），由此得出标准化评估框架。

**4.2 消融研究**：以DSC与W-SSA轻量化卷积分支与SwinLite分支；SwinLite较标准SwinT将参数由1,240万降至960万（约减少23%）、FLOPs由4.6 G降至3.8 G（约减少17%），而准确率未下降（97.74%对97.40%）；CNN分支单独达97.31%；并行结合后NeuroCST达98.18%，较SwinLite单独高0.44个百分点、较CNN单独高0.87个百分点；加入空间注意力后NeuroCST-SA进一步提升0.24个百分点至98.42%，具1,480万参数与4.9 GFLOPs，由此说明各组件对性能的递进贡献，但作者指出相邻配置差异小于标准差（±2.49至±4.14），应视为趋势而非统计确立的增益。

**4.3 对比技术**：在相同训练、增强与优化器条件下比较不同阶段配置与现有2D核心网络；NeuroCST取得98.18%准确率、97.92%敏感度、98.24%精确率与98.08%±3.11% F₁分数，NeuroCST-SA达98.42%、98.50%、98.60%与98.55%±2.49%；优于InceptionResNetV2（86.95%）、GoogleNet（87.48%）、InceptionV3（88.59%）、DarkNet-53（88.13%）、SqueezeNet（89.77%）、VGG-16（91.25%）、DarkNet-19（93.53%）等CNN，以及Tiny ViT（89.14%）、Cross ViT（92.97%）、LocalViT（93.08%）、Dual-ViT（94.52%）、LeViT（96.78%）等ViT；研究未训练3D模型故未作定量比较，由此证明双分支与空间注意力的融合优势。

**五、讨论部分总结**

讨论指出，尽管DL用于AD分类成果可观，但临床广泛部署仍存障碍。NeuroCST刻意回避3D算法以避免参数与计算量激增，并通过DSC与SSA等轻量技术便于低性能机器训练与部署；CNN分支捕捉局部形态纹理，SwinLite分支通过分层移位窗口自注意力建模更广上下文，特征图拼接保留互补信息；融合后空间注意力以类间高权重、类内均衡权重强化判别区域。消融显示准确率随CNN分支、SwinLite分支与空间注意力模块依次组合而逐步上升（单分支97.31%与97.74%，NeuroCST 98.18%，NeuroCST-SA 98.42%），而参数与FLOPs仍与标准SwinT基线相近。作者亦指出省略CNN分支在两套集合上约降0.7个百分点，但其成因未单独验证。与现有ViT与CNN比较，NeuroCST-SA相对CNN准确率提升达4.89至11.47个百分点，相对ViT提升1.44至9.28%。PCA特征空间可视化显示NeuroCST-SA具有更高类间可分性。局限性包括：仅用2D切片缺乏层间体数据上下文、缺少独立多中心验证、增强可能引入分布依赖且无受试者标识无法验证受试者独立划分。

**研究结论译文**：本研究提出一种并行双分支架构，将增强的基于EfficientNet的CNN与轻量SwinLite Transformer相结合，形成NeuroCST——一种用于结构MRI自动AD分类的高效框架。并行CNN分支提供归纳偏置并捕捉AD病理特有的细粒度局部形态特征，而并行SwinLite Transformer分支通过其自注意力机制捕捉全局上下文依赖。两个分支的特征通过拼接组合，形成增强的互补特征图。在NeuroCST-SA变体中引入空间注意力机制，聚焦重要区域并忽略无关特征，从而提升对类间细微差异的判别能力。深度可分离卷积与可分离自注意力等若干轻量方法被纳入，相较严重依赖计算昂贵3D卷积的其他先进模型降低了参数与计算量。所开发的NeuroCST模型给出与先进方法相似或更优的结果；NeuroCST-SA模型取得98.42%准确率、98.50%敏感度、98.60%精确率与98.55%±2.49%的F₁分数，仅需1,480万参数、4.9 GFLOPs的较低计算量和每张图像11.4毫秒的推理时间。本研究凸显了所开发方法在自动AD分类中实现计算开销与诊断效能折衷的有效性。未来可能的研究方向包括纳入性别、年龄与神经心理学评分等非图像数据，以及采用插补方法进行多模态数据整合。