机器学习步态分类准确率受人口学混杂因素驱动的审计研究

《Bioengineering》：Demographic Shortcuts Account for Most of the Apparent Accuracy of Four-Class Gait-Based Differential Diagnosis in Neurodegenerative Disease: An Interpretability-Driven Audit of Machine Learning on a Public Gait Benchmark

　　机器学习步态研究通常报告了区分神经退行性疾病的较高准确率，但很少检验这种准确率究竟反映的是病理本身，还是机会性队列中与疾病相伴的人口学差异。我们对 PhysioNet 神经退行性疾病步态数据库进行了审计（63名受试者：对照组、帕金森病[PD]、亨廷顿病[HD]、肌萎缩侧索硬化症[ALS]），在受试者不相交的分层留一受试者交叉验证下，对37个步幅节律特征进行分类。随机森林模型达到了宏平均一对一多分类AUROC 0.832（95% CI 0.759–0.904；置换检验 p = 0.001）。四项互补审计——仅人口学基线、混杂因素校正、特征族消融和年龄匹配——表明这一结果夸大了步态特异性判别能力：仅五个人体测量变量就达到了AUROC 0.812，与步态模型在统计上无显著差异（p = 0.701），而在校正混杂因素后的步态模型（0.755）在组间进行年龄匹配后进一步下降至0.585。HD是例外，其受校正影响甚微（0.812 → 0.804），主要依赖于变异性和长程相关性指标。在一个独立、年龄匹配的队列中（使用不同传感器记录，n = 110，仅包含PD与对照组），同样的脆弱性通过不同的变量再次出现：步态模型（0.828）与仅使用步行速度的结果（0.746，p = 0.11）之间无统计学显著差异，而年龄和人体测量变量则降至随机水平；该队列不包含HD受试者，因此HD的发现尚未得到外部验证。这一"捷径"脆弱性可跨队列泛化；但驱动它的 demographics 变量则并非如此。在该基准上尚未证明可实现四类疾病的鉴别诊断；HD步态节律紊乱是唯一经得住内部敏感性分析的信号。我们建议，来自小规模、人口学不平衡步态队列的准确率声明应附带此类审计。