数据分区对基于EEG的深度学习模型在跨被试分析中性能影响的初步研究：揭示交叉验证策略的关键作用

本研究针对EEG（脑电图）深度学习模型中数据分区与交叉验证策略对性能评估的影响展开系统研究。通过对比K-Fold、LNSO（Leave-N-Subjects-Out）、N-LNSO（Nested-LNSO）等5种交叉验证方法在BCI（脑机接口）、帕金森病和阿尔茨海默病分类任务中的表现，发现传统方法会因数据泄漏导致性能高估，而嵌套式方法能提供更可靠的评估。该研究为EEG深度学习领域建立了规范的模型评估框架。

　　

在神经科学与人工智能的交叉领域，脑电图（EEG）信号分析正经历着深度学习的革命性变革。然而，这片看似繁荣的科研疆域却暗藏危机——越来越多的研究表明，许多宣称取得突破性进展的EEG深度学习模型，其惊人性能可能源自评估方法的缺陷而非真正的算法进步。问题的核心在于EEG信号具有独特的生物特征：每个受试者的脑电活动都像指纹一样独特，相邻时间窗高度相关，这种特性使得模型容易"记住"受试者特征而非学习疾病标志物。更严峻的是，当前领域缺乏统一的数据分区标准，约73%的研究仍在使用会导致数据泄漏的样本级交叉验证，这直接导致文献中充斥着被高估的性能指标。

针对这一困局，由意大利帕多瓦大学神经科学中心领衔的研究团队在《Computers in Biology and Medicine》发表了开创性研究。研究人员设计了一套系统性的对比实验框架，选取ShallowConvNet、EEGNet、DeepConvNet和T-ResNet四种复杂度递增的经典架构，在BCI运动想象、帕金森病和阿尔茨海默病三个分类任务上，对K-Fold、LNSO、LOSO（Leave-One-Subject-Out）及其嵌套版本N-LNSO、N-LOSO共五种交叉验证策略进行了超过10万次模型训练。所有数据均来自OpenNeuro平台的四个标准化数据集（ds004362、ds002778等），并采用BIDSAlign工具进行标准化预处理。

关键技术方法包括：1）采用BIDS格式的多中心EEG数据集（n=109-88受试者）；2）设计五类交叉验证策略对比框架；3）使用平衡准确率（balanced accuracy）作为核心评估指标；4）实施严格的随机种子控制（seed=83 136 297）确保可重复性；5）基于N-LNSO的嵌套学习率网格搜索（13个梯度值）。

研究结果部分呈现了三个关键发现：

样本级与受试者级验证的鸿沟
通过对比K-Fold与LNSO的结果显示，在病理分类任务中，样本级验证会使模型准确率虚高30%以上。例如DeepConvNet在帕金森病分类中，K-Fold中位数准确率接近100%，而LNSO骤降至53.3%，揭示传统方法严重低估了跨受试者泛化的挑战。

嵌套验证的必要性
N-LNSO与LNSO的对比发现，仅8.6%的测试分区中嵌套验证性能优于传统方法。回归分析显示LNSO准确率每提高1%，其与N-LNSO的差异就扩大0.83-1.62倍，证实传统验证存在系统性高估。值得注意的是，这种偏差在复杂模型中更显著——T-ResNet的帕金森病分类性能下降达23.17%，而简单模型ShallowConvNet仅下降11.08%。

LOSO验证的局限性
在包含88名受试者的阿尔茨海默病数据集上，N-LOSO分析呈现惊人的性能波动：单个受试者的测试准确率在不同训练/验证划分下差异可达91.54个百分点（如从10.58%到100%）。这反映出现有文献广泛采用的LOSO方法严重依赖特定数据划分，仅6.8%的受试者显示嵌套验证优于传统LOSO。

讨论部分指出，这项研究为EEG深度学习领域建立了三个里程碑式的认知：首先，证实样本级验证会诱导模型学习受试者生物特征而非病理特征，这解释了为何BCI任务（各受试者含所有类别样本）的性能波动显著低于病理分类。其次，揭示传统交叉验证通过双重使用验证集（既用于早停又用于评估），使复杂模型获得不公平优势——DeepConvNet在LNSO中表现最佳（阿尔茨海默病分类90.62%），但在N-LNSO中反被ShallowConvNet超越。最后，提出基于数据集规模的实用指南：≤20受试者用N-LOSO，≤50用LOSO-outer/10-inner，>50用10×10 N-LNSO。

这项研究的意义不仅在于方法学的革新，更对领域发展提出警示：当前许多"突破性"模型可能只是巧妙地利用了评估漏洞。正如作者强调的，当使用N-LOSO验证时，表现最好的ShallowConvNet在阿尔茨海默病分类的中位准确率仅为63.05%（IQR: 10.58-91.54），这与文献中普遍报道的>90%性能形成鲜明对比。该成果为建立更严谨的EEG深度学习研究范式奠定了基石，其提出的嵌套验证框架有望成为未来研究的标准评估协议。