《Scientific Reports》：Cross-attention guided explainable deep transformer model for multi-level classification of rare neurological disorders using MRI images
编辑推荐：
神经系统疾病（Neurological Disorders, ND）影响全球大量人群，累及脑、脊髓及周围神经。此类疾病被划分为神经退行性疾病、神经生物学疾病和神经发育性疾病，涵盖从常见到罕见的多种类型。传统深度学习方法在此类场景中往往泛化效率不足，且多针对常见
神经系统疾病（Neurological Disorders, ND）影响全球大量人群，累及脑、脊髓及周围神经。此类疾病被划分为神经退行性疾病、神经生物学疾病和神经发育性疾病，涵盖从常见到罕见的多种类型。传统深度学习方法在此类场景中往往泛化效率不足，且多针对常见或单标签疾病分类而开发。此外，这些模型可解释性的匮乏会降低医疗专业人员的信任度与使用率。因此，本研究提出了一种基于交叉注意力引导的可解释深度Transformer模型用于罕见神经系统疾病的多级分类（Cross-Attention Guided Explainable Deep Transformer Model for Multi-Level Classification of Rare Neurological Disorders, CAXDT-MLCRND）。该模型将卷积神经网络（Convolutional Neural Network, CNN）用于局部特征表征，并与基于Transformer的网络相结合以捕获全局上下文依赖关系。此外，研究采用了一种新型交叉注意力策略，以实现局部与全局表征之间的动态交互，使模型能够有效区分视觉上相似的罕见疾病模式。进一步地，提取的特征在基于软投票的集成模型中与来自CNN的互补表征进行融合，该集成模型整合了图神经网络（Graph Neural Network, GNN）、深度置信网络（Deep Belief Network, DBN）和堆叠自编码器（Stacked Autoencoder, SAE），以增强分类过程的鲁棒性与泛化能力。此外，研究人员利用贝叶斯优化（Bayesian Optimization, BO）对深度学习方法的超参数进行微调以提升性能。为确保临床可靠性，研究采用特征类激活映射（Eigen Class Activation Mapping, EigenCAM）引入可解释性，为模型预测提供视觉理解并提升临床可解释性。CAXDT-MLCRND系统的实验结果在开放获取的MRI数据集上得到验证，结果显示其在共存神经系统疾病的同时预测方面提升了多标签分类性能。因此，所提出的模型被证实为一种鲁棒且可解释的方法，可在资源有限的环境中辅助临床应用以检测罕见神经系统疾病。此外，本研究使用的源代码已公开于：https://github.com/researcher010-debug/NeurologicalDisorderClassification.git。
本研究发表于《Scientific Reports》，旨在解决罕见神经系统疾病（Neurological Disorders, ND）自动诊断中的关键挑战。神经系统疾病涵盖广泛的中枢及周围神经系统疾病谱系，其中罕见神经系统疾病因发病率低、早期症状不典型而具有独特的诊断复杂性，常导致诊断延迟、治疗延误及患者预后恶化。磁共振成像（Magnetic Resonance Imaging, MRI）作为神经系统疾病的主要分析工具，能够无创地呈现脑结构的细微变化，但MRI图像分析需要广泛的专业知识且耗时费力，且放射科医师间存在观察者间不一致性，这在罕见疾病中尤为突出。计算机辅助诊断（Computer-Aided Diagnosis, CAD）技术通过模式识别方法辅助神经科医师从大量临床数据中识别神经系统疾病，而深度学习（Deep Learning, DL）在神经成像领域发挥着重要作用。
目前存在的主要问题包括：传统深度学习方法泛化效率不足，多针对常见或单标签疾病分类设计；现有模型缺乏有效的多尺度表征动态融合机制，难以区分罕见神经系统疾病中细微且视觉重叠的模式；同时，大多数现有框架未能将优化的混合架构与可解释性、鲁棒集成学习以统一方式结合。此外，模型可解释性的不足降低了医疗专业人员的信任度和使用率。因此，研究人员开展了这项研究，以构建一种能够同时处理多级分类任务、具有可解释性且适用于资源有限环境的罕见神经系统疾病诊断模型。
研究所采用的主要关键技术方法包括：基于交叉注意力引导的CNN-Transformer架构用于特征提取，其中CNN捕获局部模式、Transformer建模全局依赖，交叉注意力机制实现二者的动态交互；基于软投票的异构集成分类系统，整合GNN（捕获关系结构模式）、DBN（提取层次特征）和SAE（执行降维）；贝叶斯优化用于自动选择最优超参数；以及EigenCAM用于可视化输入图像中的关键区域。研究使用的样本数据来源于开放获取的Diagnostic MRI and Medical Imaging Dataset，该队列包含34,192张医学图像，涵盖脑、神经和脊柱的40类疾病，包括Walker-Warburg综合征、伴小脑发育不全的巨脑回、伴脑室内出血的烟雾病、Hallervorden-Spatz病（泛酸激酶相关神经变性）及福山型肌营养不良等多种罕见疾病。
研究背景与预处理模块：研究人员首先对图像进行预处理，采用双边滤波（Bilateral Filter, BF）和对比度受限自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization, CLAHE）增强图像质量、降低噪声并改善对比度。BF通过像素邻域值的几何与光度相似性非线性融合实现平滑同时保持边缘；CLAHE将图像分割为多个不重叠子区域进行独立的直方图均衡化，通过裁剪函数限制对比度增强以避免强噪声放大。
交叉注意力特征提取：研究采用交叉注意力引导的CNN-Transformer进行特征提取。CNN通过卷积层执行核操作提取特征，经池化层降维，全连接层输出最终分类，批归一化（Batch Normalization, BN）提升训练稳定性；Transformer编码器通过自注意力机制（Self-Attention Mechanism, SAM）捕获长程依赖，利用查询（Q）、键（K）、值（V）的缩放点积注意力及多头注意力机制处理输入特征，结合残差连接与层归一化（Layer Normalization, LN）缓解梯度衰减；交叉注意力机制则计算不同特征图之间的关联，实现多源特征融合，动态整合局部细节与全局上下文信息。
软投票集成分类：该模块整合GNN、DBN和SAE三种互补学习机制。GNN通过多层消息传递生成节点嵌入，捕获特征空间中的关系依赖；DBN由堆叠受限玻尔兹曼机（Restricted Boltzmann Machines, RBM）与深度神经网络（Deep Neural Network, DNN）结合，经对比散度（Contrastive Divergence, CD）逐层无监督预训练后进行有监督微调，学习层次化概率表征；SAE通过编码-解码结构实现特征压缩与重建，降低维度。三种模型输出经维度对齐和归一化后，采用软投票策略融合预测概率，以加权平均方式生成最终分类结果，权重满足归一化约束。
贝叶斯优化与可解释性：BO以高斯过程为代理函数，通过期望改进（Expected Improvement, EI）准则平衡探索与利用，迭代更新最优超参数配置，相比网格搜索和随机搜索显著降低计算时间。EigenCAM则利用最终卷积层特征图的协方差矩阵特征向量计算权重，生成类别相关热力图，突出驱动模型预测的关键图像区域，相比Grad-CAM对噪声和特征差异更鲁棒，为临床决策提供可视化解释。
研究结果部分：
数据集与实验设置：研究使用开放获取MRI数据集中5类罕见疾病共4088张图像进行实验，参数设置包括学习率0.01、Dropout 0.5、批量大小5、训练轮次50、激活函数ReLU，在70:30和80:20两种训练/测试划分下验证。
混淆矩阵分析：研究表明CAXDT-MLCRND方法在所有5个类别上均实现了有效样本识别。在80%训练/20%测试划分下，模型平均准确率（Accuracy）达95.86%，精确率（Precision）88.62%，召回率（Recall）88.16%，F1分数88.35%，AUC分数92.78%；在70%训练/30%划分下，各项指标分别为95.36%、88.45%、88.18%、88.29%和92.63%。
训练过程分析：准确率曲线显示模型随轮次增加持续收敛，训练与验证曲线高度一致，表明过拟合程度低、泛化能力良好；损失曲线在初始轮次快速下降后稳步收敛，训练与验证损失紧密贴合，同样验证了模型的有效学习与泛化性能。
对比分析：与ViT、CNN-Transformer、BoW-SVM、GAN-ConvNet、8Holistic-RNN、ANN、Logistic Regression、C5.0、SVM、CAD-HM、Multimodal 3D CNN、DINet及MN-CICT等现有方法相比，CAXDT-MLCRND在准确率（96.52%）、精确率（91.45%）、召回率（90.75%）和F1分数（91.04%）上均取得最优表现。处理时间方面，CAXDT-MLCRND仅需6.02秒，优于多数对比方法。
计算效率分析：原始3D-CNN计算成本最高（30.600 GFLOPs，4.800 GB内存，14.20 ms推理时间），优化后降至5.100 GFLOPs、0.900 GB和3.50 ms；而CAXDT-MLCRND达到最低复杂度（0.001 GFLOPs，0.020 GB，0.17 ms），显示出极高的实际应用效率。
消融研究：通过系统移除或修改各模块评估贡献，仅使用CNN时准确率92.96%；CNN+Transformer提升至93.64%；加入交叉注意力后达94.97%；完整模型（含集成与贝叶斯优化）实现最优性能96.52%，验证了各组件协同增效的设计有效性。
交叉验证：10折交叉验证显示准确率在85.76%至92.46%之间保持稳定，精确率、召回率和F1分数波动较小，证实模型具有良好的泛化能力和鲁棒性。
可解释性可视化对比：EigenCAM相比GradCAM和ScoreCAM生成更局部化、更锐利的激活区域，精准突出最具判别性的特征，而GradCAM和ScoreCAM的热力图更为平滑、空间分布更广，侧重于更大的上下文信息。
讨论与结论：本研究提出的CAXDT-MLCRND模型通过交叉注意力驱动的CNN-Transformer特征融合、异构集成、贝叶斯优化和EigenCAM可解释性的协同设计，显著提升了罕见神经系统疾病多级分类的判别能力和临床可信度。模型在开放获取MRI数据集上的优越表现证明其能够同时预测多种共存的神经系统疾病，为资源有限环境中的临床应用提供了鲁棒且可解释的解决方案。然而，研究也存在若干局限：数据集存在类别不平衡问题，可能偏向常见类别；高质量标注MRI数据的可及性受限，影响算法在不同临床环境中的泛化；模型组件的复杂性增加了计算开销，可能限制实时或资源受限环境中的部署；EigenCAM虽提升了解释性，但未必能完全捕捉模型决策过程的所有方面。
研究结论指出，未来工作将聚焦：采用数据增强、代价敏感学习和合成数据生成等先进方法解决类别不平衡问题；在多中心和真实世界数据集上进一步验证以提升鲁棒性和泛化性；探索更先进的可解释性方法及多模态临床数据融合，以提高诊断准确性和临床适用性。
