《Frontiers in Aging Neuroscience》:Cross-cohort generalization limitations in gut microbiome-based Alzheimer’s disease classifiers: evidence from four supervised cohorts with batch-correction analysis
编辑推荐:
肠道微生物组失调(gut microbiome dysbiosis)已被提出可作为阿尔茨海默病(Alzheimer’s disease, AD)的生物标志物,但微生物组分类器在不同独立队列间的可迁移性(transportability)仍不确定。研究人员采用统
肠道微生物组失调(gut microbiome dysbiosis)已被提出可作为阿尔茨海默病(Alzheimer’s disease, AD)的生物标志物,但微生物组分类器在不同独立队列间的可迁移性(transportability)仍不确定。研究人员采用统一的DADA2/属水平(genus-level)分析流程,重新处理了五个公开的16S rRNA队列(共509份样本,来自中国、哈萨克斯坦和韩国),并分别使用嵌套式队列内交叉验证(nested within-cohort cross-validation)、留一队列法(leave-one-cohort-out, LOCO)迁移、两两队列迁移、置换多元方差分析(permutational multivariate analysis of variance, PERMANOVA)、批次校正以及折外SHapley加性解释(out-of-fold SHapley Additive exPlanations, SHAP)分析,对逻辑回归(logistic regression)和LightGBM分类器进行了评估。在四个有标签队列中,采用严格的仅训练集属筛选作为主要分类器性能分析流程(见2.5.1节),队列内受试者工作特征曲线下面积(area under the receiver operating characteristic curve, AUC-ROC)介于0.611至0.996之间。Li 2019队列接近完美的结果在50次重复嵌套交叉验证(CV)划分中保持稳定,且超过了1,000次置换标签零模型(p = 0.000999),但无法排除技术性元数据混杂因素的影响(见4.3节)。在LOCO评估中,AUC介于0.506至0.812之间(逻辑回归平均下降0.170,LightGBM平均下降0.133);配对自助法(paired bootstrap)置信区间在八个队列-模型组合中有四个排除了零值。LOCO估计值与用于二次分析的固定公共特征空间参考值高度一致(最大|Δ| = 0.066),但有一个两两迁移单元发生了实质性变化(哈萨克斯坦→Ling 2020,LightGBM:0.58→0.44),该结果未经过平滑处理予以报告。在四队列边际PERMANOVA模型中,队列相关的组成变异超过了诊断相关的变异(R2 = 0.172 vs. 0.014),当限制在三个技术上更具可比性的中国双端MiSeq队列时,该比值降至0.059 vs. 0.023;各队列间的离散度存在显著差异。标签盲(label-blind)转导式(transductive)ComBat-seq和MMUPHin校正使平均LOCO AUC最多改变0.007,未能恢复可迁移性。跨队列顶级预测菌属的重叠度较低:逻辑回归的重叠度仍高于受流行率限制的零模型,而LightGBM则未达到该水平。一项描述性系数稳定性筛查识别出八个逻辑回归菌属在队列间具有相反且稳定的拟合系数方向。这些发现表明,在所评估的公开16S数据集中,跨队列泛化存在显著且异质性的局限性,并且在被测试的标签盲转导设计下,两种批次校正方法均未能恢复可迁移性。在基于微生物组的AD分类器可被视为具有临床可操作性之前,需要在更大规模、地理和技术上更多样化的队列中进行前瞻性验证。
论文解读:跨队列泛化局限性——基于肠道微生物组的阿尔茨海默病分类器系统评估
一、研究背景与问题提出
阿尔茨海默病(Alzheimer's disease, AD)是最常见的痴呆类型,约占全部痴呆病例的60%–70%;2021年全球约有5700万人患有痴呆。肠-脑轴(gut–brain axis)已被提出作为连接肠道微生物群落与神经退行性变的机制通路:肠道微生物组成改变可能通过神经炎症、代谢和神经内分泌途径与AD病理相关联。自无菌APPPS1转基因小鼠在缺乏肠道菌群时较常规定植对照组表现出减少的淀粉样蛋白-β病理这一里程碑式观察以来,数十项16S rRNA和鸟枪法宏基因组研究报道了AD或轻度认知障碍(mild cognitive impairment, MCI)患者与认知正常(cognitively normal, CN)对照之间肠道微生物组成的显著差异。
基于肠道微生物组的诊断标志物的临床吸引力相当可观:粪便采集无创且成本低廉,微生物组分析的可及性日益提高。多个独立研究组在肠道微生物组丰度谱上训练机器学习分类器,并报道了有前景的队列内判别性能,多项已发表研究的受试者工作特征曲线下面积(area under the receiver operating characteristic curve, AUC-ROC)达到0.70–0.90。然而,任何诊断生物标志物的关键属性——跨独立人群的可迁移性(transportability)——在该领域文献中极少被检验。
已有的少数跨队列比较揭示了所报道关联方向上的显著不一致性。一项系统综述和荟萃分析综合了17项已发表研究(679例AD/MCI患者、632例对照),记录了拟杆菌属(Bacteroides)丰度在北美队列中显著升高而在中国队列中显著降低——这一方向性反转跨越了地理上不同的人群。拟杆菌属(Akkermansia)、粪杆菌属(Faecalibacterium)和乳杆菌属(Lactobacillus)也观察到类似矛盾,提示已发表的队列内分类器可能检测到的是队列特异的组成特征——由饮食、地理、宿主遗传、测序方案或其组合驱动——而非AD病理的普适微生物关联。
尽管已认识到这种异质性,很少有研究联合量化:(1)当训练好的分类器应用于独立队列时跨队列AUC崩塌的幅度;(2)队列相关与诊断相关的组成方差的相对大小,通过方差分解估计——需注意“队列”本身是一个复合的研究来源变量(bundling测序平台、文库制备、招募地点、诊断确定、地理和饮食等差异),置换多元方差分析(permutational multivariate analysis of variance, PERMANOVA)无法将其分解为技术和生物学来源;(3)两种被评估的批次校正方法能否恢复跨队列泛化。在统一严格的分析框架中联合回答这三个问题,是本研究的主要贡献。
二、研究内容与核心结论
研究人员汇集了跨越三个国家(中国、哈萨克斯坦、韩国)的五个公开16S rRNA基因测序队列:四个具有逐样本诊断标签、支持有监督分类的队列,以及第五个(Kim/KBASE 2022)仅贡献于无监督组成分析。四个有标签队列包括:Zhuang 2018(中国,86名参与者,43 AD/43 CN,双端MiSeq 2×300 bp,V3–V4区)、Ling 2020(中国,171名参与者,100 AD/71 CN,双端MiSeq 2×300 bp,V3–V4区)、Li 2019(中国,SRA存储包含180份样本代表90名参与者,各贡献粪便和血液两份样本;仅使用90份粪便样本,二元分析使用30 AD和30 CN,n=60,双端MiSeq 2×300 bp,V3–V4区)、Kazakhstan 2022(哈萨克斯坦,84名参与者,41 AD/43 CN,单端NovaSeq,V3–V4区——研究中唯一的单端数据集)。
研究人员采用统一的DADA2扩增子序列变异(amplicon sequence variant, ASV)处理流程,按队列独立处理以避免误差模型估计中的跨队列数据泄漏,使用SILVA v138.1参考数据库进行分类分配,将ASV按属水平汇总。采用两种属筛选方案:主要方案为严格仅训练集属筛选,在每个训练/测试划分内独立地从训练侧样本中重新推导≥20%流行率属集,确保任何留出队列不为其自身评估贡献流行率信息;固定公共特征空间方案(396属)仅保留用于需要跨队列同时共享特征空间的二次描述性/协调分析(批次校正、SHAP、PERMANOVA)。
主要研究结论包括:队列内嵌套交叉验证下,逻辑回归AUC-ROC为Zhuang 2018 0.665、Ling 2020 0.890、Li 2019 0.996、Kazakhstan 0.737;LightGBM分别为0.673、0.842、0.970和0.611。Li 2019接近完美的结果在50次重复嵌套交叉验证中稳定(逻辑回归平均0.9955,SD 0.0027;LightGBM平均0.9760,SD 0.0103),且1,000次标签置换零模型均未达到观测AUC(p = 1/1,001 ≈ 0.000999),但无法排除技术性元数据混杂。LOCO评估中,逻辑回归平均LOCO AUC为0.652(平均下降0.170),LightGBM为0.641(平均下降0.133);配对自助法显示八个队列-模型组合中有四个的下降95%置信区间排除零值(Ling 2020和Li 2019,两种模型均显著)。在四队列边际PERMANOVA模型中,队列相关组成变异(R2 = 0.172)远超诊断相关变异(R2 = 0.014);限制在三个技术上更可比的中国双端MiSeq队列时降至0.059 vs. 0.023;队列间β-离散度存在显著差异。标签盲转导式ComBat-seq和MMUPHin校正使平均LOCO AUC最多改变0.007,未恢复可迁移性。跨队列顶级预测菌属重叠度低:逻辑回归的Jaccard重叠仍高于受流行率限制的零模型,LightGBM则未达到。描述性系数稳定性筛查识别出八个逻辑回归菌属在队列间具有相反且稳定的拟合系数方向。
三、关键技术方法
研究人员使用了以下主要技术方法:(1)DADA2 v1.28流程进行扩增子序列变异处理,按队列独立处理原始FASTQ数据,SILVA v138.1数据库进行属水平分类分配;(2)中心对数比(centered log-ratio, CLR)变换处理组成数据,采用乘法替换策略(multiplicative replacement strategy)处理零计数(δ = 0.65);(3)两种机器学习模型:L2正则化逻辑回归(scikit-learn,solver="saga",C在{0.001, 0.01, 0.1, 1.0, 10.0}中调优)和LightGBM梯度提升树(估计器数量∈{50, 100, 200}、学习率∈{0.05, 0.1}、最大深度∈{3, 5}、叶子数∈{15, 31});(4)嵌套交叉验证(10折外层/5折内层)评估队列内性能;(5)留一队列法(LOCO)和两两迁移设计评估跨队列泛化;(6)PERMANOVA(adonis2,9,999次置换,Type III边际平方和)进行方差分解,betadisper检验β-离散度同质性;(7)ComBat-seq(基于计数的批次校正)和MMUPHin(微生物组特异性元分析框架)在标签盲和标签知情两种转导设计下进行批次校正;(8)折外SHAP(SHapley Additive exPlanations)分析特征重要性,线性解释器用于逻辑回归、树解释器用于LightGBM;(9)配对诊断分层参与者级自助法(10,000次重复)正式比较队列内与LOCO AUC差异;(10)1,000次标签置换检验和50次重复嵌套交叉验证评估Li 2019结果的稳健性。
四、研究结果
4.1 队列特征与处理
五个队列共599份沉积样本来自三个国家。DADA2处理和嵌合体去除后,读长保留率在各队列间差异显著(47.9%–78.3%),反映了测序平台、文库制备和扩增子长度的差异;哈萨克斯坦队列(单端、NovaSeq)的质量动态与双端MiSeq队列显著不同。SILVA v138.1属水平分类和跨队列并集产生396属的统一特征矩阵。排除Li 2019的90份血液微生物组样本后,工作数据集为五个队列509份样本。
4.2 队列内分类性能
在严格仅训练集属筛选下,队列内嵌套交叉验证的AUC-ROC值与原始发表结果大致一致。逻辑回归AUC-ROC为Zhuang 2018 0.665 [0.55–0.78]、Ling 2020 0.890 [0.84–0.93]、Li 2019 0.996 [0.98–1.00]、Kazakhstan 0.737 [0.62–0.84];LightGBM分别为0.673、0.842、0.970和0.611。Li 2019的接近完美AUC值得注意:60份二元样本(每类30份)的10折交叉验证中,每个测试折仅含约6份样本,折水平AUC估计可能不稳定。PERMANOVA显示该队列内诊断解释R2 = 0.094(F = 6.01,p = 0.0001),表明存在统计学上可检测的诊断相关差异,但技术性元数据混杂无法排除。
4.3 跨队列泛化失败
LOCO交叉队列AUC-ROC显示所有队列和模型类型均出现显著且异质的性能下降。逻辑回归平均LOCO AUC为0.652,LightGBM为0.641,分别较队列内性能平均下降0.170和0.133。八个模型-队列组合中有一个接近机会水平:Zhuang 2018逻辑回归[AUC = 0.506 (0.38–0.63)];哈萨克斯坦LightGBM [AUC = 0.525 (0.40–0.65)]仅适度高于机会水平。两种模型的最大绝对AUC下降均为Ling 2020(逻辑回归0.890→0.679,Δ = 0.210;LightGBM 0.842→0.653,Δ = 0.188)。配对诊断分层参与者级自助法(10,000次重复)正式比较显示,八个队列-模型组合中有四个的下降95%置信区间排除零值(Ling 2020和Li 2019,两种模型均显著)。
4.4 PERMANOVA方差分解与β-多样性结构
在四个有标签队列(n = 401)的双变量边际PERMANOVA模型中,队列相关组成变异(R2 = 0.172)远超诊断相关变异(R2 = 0.014)。限制在三个技术上更可比的中国双端MiSeq队列(n = 317)时,该差距缩小至0.059 vs. 0.023。β-离散度检验显示队列间离散度存在显著差异(F = 13.93,p = 0.0001),表明PERMANOVA R2部分反映了组内离散度差异而非仅质心分离。基于CLR特征的队列身份预测逻辑回归分类器(宏AUC)进一步量化了队列可分离性。
4.5 批次校正效果
在标签盲转导设计(主要分析)下,ComBat-seq和MMUPHin校正使平均LOCO AUC最多改变0.007(ComBat-seq:逻辑回归0.634 vs. 未校正0.640,LightGBM 0.654 vs. 0.647;MMUPHin:逻辑回归0.639,LightGBM 0.648),既未恢复也未显著恶化跨队列泛化。标签知情转导敏感性分析(探索性)产生了不同且对某些队列更严重的性能下降(ComBat-seq逻辑回归平均LOCO AUC降至0.493,MMUPHin降至0.612),但由于校正使用了测试队列样本自身的真实诊断标签,该设计不能估计前瞻性外部验证性能,不作为性能界限。
4.6 SHAP特征重要性、方向与跨队列重叠
折外SHAP分析显示,跨队列顶级预测菌属的重叠度较低。在N = 20的Jaccard相似性分析中,逻辑回归的重叠度仍高于受流行率限制的零模型,而LightGBM未达到该水平。描述性系数稳定性筛查识别出八个逻辑回归菌属在队列间具有相反且稳定的拟合系数方向——即在至少一个队列中稳定为正、在另一个队列中稳定为负。该筛查要求方向在10个外折中至少8折保持一致,是保守定义。LightGBM作为树集成模型不具有单一系数样式的全局单调方向,因此未对其应用方向或稳定性筛查。
五、讨论与结论
本研究系统量化了所评估的公开肠道微生物组AD分类器数据集中的跨队列泛化局限性。主要发现包括:分类器在迁移到独立队列时表现出显著且异质的性能下降;队列身份解释的组成方差远超疾病状态,尽管该差距的大小实质性取决于比较哪些队列;在标签盲转导设计下,ComBat-seq和MMUPHin两种批次校正方法均未恢复可迁移性;顶级预测菌属的跨队列绝对重叠度低,且存在子集菌属在队列间具有相反且稳定的拟合系数方向。
“队列”本身是一个复合的研究来源变量,PERMANOVA/betadisper无法将其分解为技术和生物学来源。诊断确定方式在不同队列间存在异质性(Zhuang 2018/Ling 2020/Li 2019:临床AD诊断;哈萨克斯坦:NINCDS-ADRDA标准;Kim/KBASE 2022:淀粉样蛋白-PET阳性)。Li 2019队列的接近完美AUC存在技术性元数据混杂的可能性,应谨慎解读。混合单端/双端设计是队列间异质性的额外技术来源。固定公共特征空间方案因特征选择可能受留出队列自身流行率信息影响,不作为分类器泛化证据。
研究结论表明,在所评估的公开16S数据集中,跨队列泛化存在实质性且异质性的局限性;在被测试的标签盲转导设计下,两种批次校正方法未能恢复可迁移性。在基于微生物组的AD分类器可被视为具有临床可操作性之前,需要在更大规模、地理和技术上更多样化的队列中进行前瞻性验证。