《Frontiers in Neuroinformatics》：Window leakage in clinical EEG machine learning: matched subject-independent evaluation across ADHD and Parkinson cohorts
编辑推荐：
基于窗口化处理的脑电（EEG）流水线，当同一受试者的数据片段同时出现在训练集和测试集中时，可能产生具有误导性的高分类性能。研究人员将这种污染定义为窗口泄漏（window leakage），并在两个临床和技术特征迥异的公开队列中对其进行检验：121名儿童（61名
基于窗口化处理的脑电（EEG）流水线，当同一受试者的数据片段同时出现在训练集和测试集中时，可能产生具有误导性的高分类性能。研究人员将这种污染定义为窗口泄漏（window leakage），并在两个临床和技术特征迥异的公开队列中对其进行检验：121名儿童（61名注意缺陷/多动障碍[ADHD]，60名对照）和149名成人（100名帕金森病，49名对照）。信号被统一至18个公共通道和128 Hz采样率。所有主要模型均采用分层8折受试者不相交评估、50%重叠窗口、受试者水平概率聚合，且验证受试者仅从每个外部训练折内抽取。一项刻意引入污染的随机森林（Random Forest）审计对比了随机窗口划分与受试者不相交划分两种方式。随机窗口划分的平衡准确率在ADHD队列中达到95.59%，在帕金森队列中达到92.02%；但当受试者被完全排除在训练集之外时，该指标分别降至60.98%和56.17%。因此，性能膨胀现象在两种疾病、不同年龄、不同记录任务及不同采集系统中均得到复现。在正确评估条件下，CNN-LSTM在ADHD受试者水平平衡准确率上取得最高值（73.21%），而EEGNet在帕金森队列中取得最高平衡准确率（63.75%）。经Bonferroni校正后，所有架构间比较均不再显著。1秒、2秒、4秒和8秒窗口在跨队列间未产生一致的性能排序。移除ATCNN-SA组件同样产生依赖数据集的变化，且校正后无任何消融差异显著。尽管窗口数量达数万，受试者自助法（bootstrap）置信区间仍然很宽，表明推断精度由受试者数量而非片段数量决定。窗口水平的随机划分会污染临床脑电性能估计，不得用于声称对未见个体的泛化能力。应在模型拟合前将受试者分离，结果应在受试者水平报告，并明确披露划分、窗口化、聚合及不确定性处理的具体流程。
论文解读
一、研究背景与问题
临床机器学习研究常将单次生理记录切分为大量短窗口，以增加模型输入样本量。然而，窗口数量的增加并不等同于独立受试者数量的增加。当同一受试者的窗口同时出现在训练集和测试集中时，分类器可能利用稳定的个体、会话或设备特异性结构，而非疾病相关信息，从而产生虚高的性能估计。这种污染被称为窗口泄漏（window leakage），是机器学习研究结果不可复现的公认原因之一。在转化脑电（EEG）研究领域，未能将受试者隔离在训练集之外会严重夸大表观泛化能力。此外，相邻窗口之间存在相关性，重复窗口继承相同的受试者标签，交叉验证训练集相互重叠，因此窗口数量不能作为置信区间或显著性检验的独立样本量。小样本神经影像队列即使在正确的受试者水平交叉验证下仍可能保留较大的不确定性。因此，一项可靠的临床脑电研究要求受试者不相交划分、受试者水平结局指标、保留聚类结构的不确定性程序，以及完整披露窗口生成和聚合流程。
二、研究目的与设计
本研究在两个临床和技术特征互补的公开队列中开展。第一个队列为儿童视觉计数任务期间记录的脑电数据，用于注意缺陷/多动障碍（ADHD）研究，包含121名儿童（61名ADHD，60名对照）。第二个队列为成人睁眼静息态脑电数据，用于帕金森病研究，包含149名成人（100名帕金森病，49名对照）。两队列在诊断、年龄、行为状态、通道密度、采样率和类别平衡方面均存在差异。研究有三个目标：第一，量化随机窗口划分导致的性能膨胀，并检验该现象是否在两个队列中复现；第二，在受试者分离条件下，采用匹配方案比较四种神经架构和四种窗口时长；第三，评估受试者水平聚合、不确定性、计算成本及四种ATCNN-SA组件移除的效果。
三、关键技术与方法
研究人员将两个队列的信号统一至18个公共通道和128 Hz采样率，采用五阶零相位巴特沃斯带通滤波器（0.5–40 Hz）处理，并对每个通道按受试者内均值和标准差进行标准化。信号被切分为1秒、2秒、4秒和8秒窗口，重叠率为50%。主要评估采用分层8折受试者不相交划分，每个受试者的全部窗口保留在同一折内；验证受试者仅从外部训练折内抽取。作为对照，研究人员另设随机窗口80/20划分作为刻意污染的审计。分类器包括随机森林（252个特征/窗口）、1D-CNN、CNN-LSTM、EEGNet和ATCNN-SA四种神经网络架构。窗口概率通过均值、中位数、归一化几何均值、多数投票及验证受试者训练的次级逻辑回归聚合器汇总为受试者水平预测。不确定性通过2000次受试者自助法（bootstrap）重采样获得百分位95%置信区间。
四、研究结果
4.1 窗口泄漏的跨队列复现
随机窗口划分下，ADHD队列平衡准确率为95.59% ± 0.44%，帕金森队列为92.02% ± 0.53%；受试者不相交划分下分别降至60.98% ± 15.07%和56.17% ± 4.33%，降幅分别达34.61和35.85个百分点。ROC AUC在ADHD中从0.996降至0.663，在帕金森中从0.994降至0.675。该膨胀现象在两个诊断、年龄、记录任务和采集系统均不同的队列中一致复现，表明分段受试者结构而非特定疾病或采集协议是共同根源。
4.2 受试者水平架构性能
在受试者不相交评估下，ADHD队列中CNN-LSTM取得最高平均平衡准确率（73.21% ± 12.97%）和准确率（73.33% ± 12.34%），EEGNet取得最高ROC AUC（0.755 ± 0.184）。帕金森队列中EEGNet取得最高平衡准确率（63.75% ± 9.65%）和ROC AUC（0.730 ± 0.083），1D-CNN取得最高常规准确率（70.58%）和F1（79.12%）。后者差异反映了100:49的类别不平衡，支持平衡准确率作为主要阈值化指标。经Bonferroni校正后，所有架构间比较均不显著。受试者自助法置信区间较宽，例如ADHD CNN-LSTM平衡准确率0.734（95% CI: 0.656–0.804），帕金森EEGNet为0.635（95% CI: 0.553–0.716），表明仅具中等判别能力而非诊断就绪水平。
4.3 窗口时长与受试者聚合
窗口时长未产生跨队列一致效应。ADHD队列中1秒窗口取得最高平衡准确率（70.98%），8秒窗口取得最高ROC AUC（0.788）；帕金森队列中2秒窗口平衡准确率最高（62.19%），4秒和8秒窗口ROC AUC描述性更高。更长窗口显著减少训练样本量，ADHD从31,716降至2,768，帕金森从34,860降至3,800。聚合策略方面，验证训练的次级分类器改善了ADHD 1D-CNN准确率（从59.58%升至70.94%），但未一致改善其他模型，且降低了帕金森全部四种架构的准确率，表明小验证受试者集不足以支撑额外决策层。
4.4 ATCNN-SA组件消融
组件移除产生依赖队列的模式。ADHD中移除双向LSTM取得最高消融平衡准确率（72.99%），较完整模型高5.13个百分点；帕金森中移除时间注意力将平衡准确率从60.78%提升至67.22%，ROC AUC从0.664提升至0.743。但经四次Bonferroni校正后无任何消融比较显著，最小校正p值为0.406。消融变体未独立调参，结果反映受控训练协议下的移除效应而非各简化架构的最优性能。
4.5 计算成本
2秒架构基准下，各模型平均每折训练时间从12.54秒到30.57秒不等。ATCNN-SA参数量最大（227,667）且训练时间最长，EEGNet参数量最少（1,730）。计时值依赖A100 Colab运行环境，属于实现记录而非硬件无关基准。
五、讨论与结论
讨论部分强调，窗口泄漏导致的性能膨胀直接源于数据的依赖结构：50%重叠窗口与相邻窗口共享一半样本，非相邻窗口保留生理、采集、阻抗、会话和行为特征，随机划分使这些身份关联结构暴露于评估边界两侧。将数万窗口视为独立样本会低估不确定性，因为有效推断样本量为121和149而非15,014和17,056。架构排名在常规准确率与平衡准确率之间存在差异，仅报告准确率会掩盖特异性局限，类别不均衡时应同时呈现平衡准确率、灵敏度、特异度、ROC AUC和PR AUC。窗口时长的选择涉及信号内容与样本构建的权衡，短窗口提供更多训练实例但冗余更大，长窗口提供更多时间上下文但样本更少。研究局限包括：两队列代表不同疾病和记录状态，仅复现评估失败模式而非跨疾病迁移；18通道协调丢弃了部分通道；帕金森类别不平衡使阈值化指标敏感；8折仅提供8个配对差异，Wilcoxon检验功效有限；超参数固定而非完全嵌套搜索；消融未独立优化；概率未做临床校准。
结论部分指出，窗口水平随机划分在两个不同临床脑电队列中均污染了性能估计，平衡准确率在ADHD中下降34.61个百分点、帕金森中下降35.85个百分点。在受试者不相交评估下，架构和窗口排名依赖队列和指标，无任何ATCNN-SA比较或组件消融在校正后显著。模型提供中等研究水平判别能力而非诊断优越性证据。实践者应在整个开发和测试过程中保持每个受试者完整，报告受试者水平结局和类别平衡指标，按受试者重采样不确定性，在独立队列验证，并记录滤波、窗口化、划分、聚合和模型选择的精确顺序。
