《Machine Learning and Knowledge Extraction》:Cross-Dataset Generalisation of Machine Learning and Deep Learning for Three-Class Alzheimer’s Disease Staging: A Six-Model Benchmark Including a Bidirectional State-Space Model
编辑推荐:
阿尔茨海默病(AD)是最常见的神经退行性疾病,其病理在症状出现前多年即已累积,使轻度认知障碍(MCI)阶段处于早期检测的核心。应用于结构磁共振成像(MRI)的机器学习(ML)与深度学习(DL)报告了较高的分类准确率,但这些指标通常在单一队列内测量,很少检验向独
阿尔茨海默病(AD)是最常见的神经退行性疾病,其病理在症状出现前多年即已累积,使轻度认知障碍(MCI)阶段处于早期检测的核心。应用于结构磁共振成像(MRI)的机器学习(ML)与深度学习(DL)报告了较高的分类准确率,但这些指标通常在单一队列内测量,很少检验向独立队列的迁移,因此其能否转化为临床实用性仍未解决。本研究的目标是直接弥补该空白。六种分类器,包括三种经典学习器(Extra Trees、LightGBM和CatBoost)和三种深度网络(ConvNeXt、CoAtNet及所引入的双向Vision Mamba模型MambAD),在来自三个公开数据集ADNI、OASIS和一个公开Kaggle集合的相同海马切片上训练和测试,用于认知正常(CN)、MCI和AD的三分类分期。每个模型均在队列内评估,更重要的是跨队列评估,并对两个临床数据集进行受试者水平评分。在主要ADNI队列中,所引入模型达到最高平衡准确率(BAC)0.578,但该领先无统计学显著性;六模型中无一在所有任务上占优,模型间两两差异均未达显著。所有模型的BAC从队列内约0.55降至跨队列0.38至0.45,深度模型在排序指标上的迁移优于经典学习器。结果表明,轻量级状态空间模型在匹配条件下可与大得多的预训练骨干网络相当,并证实单队列准确率高估了临床准备度,跨数据集泛化仍是临床应用的约束。
研究背景与问题:阿尔茨海默病(AD,一种常见神经退行性疾病)是最常见痴呆病因,其病理改变在记忆丧失出现前可早达二十年,轻度认知障碍(MCI,介于认知正常与痴呆之间的阶段)是早期干预关键。临床早期诊断仍不可靠,结构磁共振成像(MRI)因广泛可用且可捕捉与疾病相关的内侧颞叶萎缩而受关注。机器学习(ML)与深度学习(DL)在ADNI、OASIS和Kaggle等公开数据上报告高准确率,但常基于二分类、图像级划分和单队列评估;图像级划分可使同一受试者切片落入训练与测试两侧,单队列评估不检验外部迁移,导致主要数字被高估,跨数据集泛化证据缺乏。因此,本研究在固定输入、划分和评价下比较六模型,直接测量泛化差距及其对临床准备度的含义。
研究人员在相同二维冠状海马带切片、受试者级划分和同一指标下,比较三种经典学习器(Extra Trees、LightGBM、CatBoost)与三种深度网络(ConvNeXt、CoAtNet、所引入的MambAD)。结果显示,在主要ADNI队列中MambAD的BAC最高,但无统计显著;无单模型在所有任务占优;跨队列BAC明显下降,深度模型在排序指标上迁移更好。其意义在于:单队列高准确率会高估临床准备度,跨数据集泛化是约束。
关键技术与方法:使用公开队列ADNI(295名:102 CN、100 MCI、93 AD;885张切片)、OASIS(235名:135 CN、70 MCI、30 AD;705张切片)和Kaggle图像集(6400张,仅作sanity检查)。每个临床体积取3张冠状海马带切片,统一为224×224灰度输入;ADNI与OASIS按受试者级划分,Kaggle按图像级划分。经典模型使用影像组学特征及ResNet-50嵌入经主成分分析(PCA)降维特征;深度模型为ConvNeXt、CoAtNet和约260万参数MambAD(基于Mamba选择性扫描与Vision Mamba的双向状态空间模型)。以BAC、宏平均AUC、宏F1、MCC评估,并用Cochran Q、McNemar、Friedman、DeLong和Holm校正统计比较。
结果:
3.1 ADNI数据集结果:ADNI含295名受试者,留出45名测试,类别较均衡,作为主基准。
3.1.1 ADNI机器学习结果:CatBoost在ML中BAC最高0.533(AUC 0.686),LightGBM 0.466,Extra Trees 0.438;仅影像组学平均BAC 0.503,高于组合0.479和仅ResNet-50嵌入0.412。结论:单切片特征含真实但有限信号,自然图像嵌入迁移较差。
3.1.2 ADNI深度学习结果:MambAD在全体中BAC最高0.578(AUC 0.694、F1 0.585、MCC 0.365),ConvNeXt 0.552(AUC 0.704),CoAtNet 0.462;MambAD对CN、MCI、AD召回约0.56、0.60、0.57,较均衡。结论:MambAD在二维单切片及无ImageNet预训练条件下仍具竞争力。
3.2 OASIS数据集结果:OASIS含235名受试者,类别偏CN,留出37名测试,AD样本少,作次要队列。
3.2.1 OASIS机器学习结果:LightGBM在ML中BAC最高0.431,Extra Trees 0.380,CatBoost 0.348;三者宏AUC近0.69,排序好于决策。
3.2.2 OASIS深度学习结果:CoAtNet BAC最高0.541(AUC 0.743),MambAD 0.494;ConvNeXt BAC 0.343但AUC 0.721。结论:深度模型排名在ADNI与OASIS间反转,无单架构全队列最优。
3.3 Kaggle数据集结果(Sanity Check):ConvNeXt BAC 0.987、CoAtNet 0.956、Extra Trees 0.876,MambAD 0.548。因无受试者标识且按图像级划分,存在泄漏,数值不能作临床结论;MambAD较低反映容量与粗patch,而非诊断弱点。
3.4 跨数据集泛化:ADNI→OASIS中ConvNeXt BAC 0.609、AUC 0.684最高,LightGBM 0.451,MambAD 0.411;OASIS→ADNI所有模型接近或达到随机,CoAtNet最高0.395。深度模型在排序指标上保持优势,迁移明显不对称,可能因两队列MCI定义不同。
3.5 模型统计比较:ADNI Cochran Q=3.66、p=0.600,OASIS Q=4.40、p=0.494;McNemar-Holm无显著配对差异;ML Friedman各指标p>0.08,深度模型Cochran Q的p=0.446与0.522。结论:MambAD领先不能称显著改善,45名测试集样本量限制排序。
3.6 结果总结:MambAD在ADNI的BAC最高但无统计显著;无单模型全任务最优;深度模型跨队列排序迁移优于树模型;临床队列95%置信区间宽约0.13至0.20且重叠。
讨论部分总结:主要发现为所有模型在ADNI均明显高于随机,MambAD队列内BAC最高,但无模型全任务占优且差异不显著;小测试集使三至四名受试者变化即可重排。MambAD在二维单切片下竞争,相当于关闭其体积扫描优势;且无ImageNet预训练,仅以Kaggle预训练暖启动。与综述中高单队列准确率相比,本研究故意采用三分类、受试者级划分和跨队列迁移,结果下降提示单队列数字高估准备度。计算与方法挑战包括免费GPU限制、重实现选择性扫描、调整patch与深度、分阶段微调及时间尺度初始化;从零训练实验中ConvNeXt在ADNI由0.552降至0.384、迁移由0.609降至0.365,CoAtNet变化小于0.03。局限包括临床测试集小、Kaggle来源可能与ADNI/OASIS重叠而影响MambAD队列内优势解读、单张二维切片、MCI标签 harmonisation 不完全一致、未做完整颅骨剥离及OASIS AD样本少。未来工作为全脑体积建模、大规模无标签脑MRI预训练、更大且更好 harmonised 的多中心队列及域适应。
研究结论(译):本研究旨在测量ML和DL在结构MRI上报告的AD分期准确率,在模型迁移至独立队列后是否仍成立,因为决定临床准备度的是跨数据集泛化而非单队列性能。六种分类器——三种经典学习器和三种深度网络,包括所引入的双向状态空间模型MambAD——在同一协议下,于相同公开数据ADNI、OASIS和公开Kaggle集合上进行基准测试,用于CN、MCI和AD三分类,两个临床队列按受试者水平评分。在主要ADNI队列内,所引入模型达到最高BAC,高于最强经典学习器和两个预训练深度骨干;鉴于其仅在单张二维切片上评估且无预训练权重,这一结果突出。然而,六模型中无一在所有任务占优,且小型临床测试集上模型间差异均未达统计显著。最清楚的结果是BAC从队列内约0.55降至跨队列0.38至0.45,所有模型均受影响,深度模型在排序指标上较经典学习器略好。这些发现传递一个实际信息:单一队列测得的高准确率会高估临床准备度,跨数据集泛化仍是这些模型实际应用的约束。由于三个数据集均公开可用,该比较可在无限制访问条件下复现,支持所综述文献缺乏的外部验证。主要局限是临床队列较小限制统计比较效力,以及使用单张二维切片,未能提供所引入模型本可利用的体积上下文。最直接后续步骤是在全脑体积上评估所引入模型,使其选择性扫描利用贯穿平面萎缩信息;构建更大且更好 harmonised 的多中心队列;加入域适应以缩小扫描仪与人群间差距。该差距而非单队列进一步增益,是这些模型与临床实用性之间的主要问题,也是未来工作应优先处理的问题。