《Brain Sciences》：Evaluating Validation Strategies in Motor Imagery EEG: A Full-Cohort GAF–PLV Analysis and Matched Sensitivity Study
编辑推荐：
背景：运动想象脑电图(MI-EEG)的性能估计强烈依赖于训练、模型选择与测试时的观测划分方式。随机样本级或窗口级切分可能将同一受试者的数据放入不同折，因此无法回答与对既往未见受试者泛化相同的问题。方法：研究人员在保留的全队列(N=105)上采用左右二分类MI任
背景：运动想象脑电图(MI-EEG)的性能估计强烈依赖于训练、模型选择与测试时的观测划分方式。随机样本级或窗口级切分可能将同一受试者的数据放入不同折，因此无法回答与对既往未见受试者泛化相同的问题。方法：研究人员在保留的全队列(N=105)上采用左右二分类MI任务与留一受试者交叉验证(LOSO)，评估既往开发的格拉姆角场–相位锁定值(GAF–PLV)分类器；另在预定义、与结局独立的子集上，对8种分类器、二分类与四分类任务及三种验证策略（随机五折交叉验证、LOSO、含受试者分组内部模型选择的嵌套LOSO）进行匹配敏感性分析。结果：全队列GAF–PLV分析中，平均准确率58.07%±8.27%，宏F1为53.48%±11.19%，受试者间变异性显著。在预定义匹配子集中，性能估计与数值模型排序随验证策略改变；例如二分类数值最高准确率模型在随机五折下为ShallowConvNet，LOSO下为DeepConvNet，嵌套LOSO下为ATCNet。结论：队列内随机分类与对未见受试者泛化是不同评价目标。MI-EEG报告应说明队列、划分单元、验证设计与模型选择流程。多模型分析中的排序以预定义30受试者子集与通用0.4 s输入设定为条件，不作为确定性全队列或架构最优排序。
研究背景与动机：头皮脑电图(EEG)因非侵入、便携与时间分辨率高被用于脑机接口(BCI)。运动想象(MI)解码困难源于信号非平稳与受试者间差异大。当同一受试者派生多个窗口或试次时，划分单元尤为关键：若同受试者样本同时出现在训练与测试折中，模型会利用本不对未见受试者可用的受试者特定结构。已有直接EEG研究表明，片段级切分相对受试者级留出会高估性能；近期MI-EEG工作同样强调数据划分在跨受试者评价中的作用。PhysioNet EEG运动执行/想象数据集公开且规模大，但既往研究在队列规模、任务定义与划分单元上异质，导致仅凭头条准确率比较会混淆架构与评价设计。为此，研究人员在明确区分“队列内分类”与“对未见受试者泛化”两个分析层级的前提下，开展本研究，论文发表于《Brain Sciences》。
主要关键技术方法：数据来自公开PhysioNet EEG Motor Movement/Imagery Dataset（Schalk等发布，BCI2000记录，109个受试者目录，保留105名用于全队列二分类左-右MI的LOSO分析；另从保留队列按固定种子2026在三个ID区间各抽10人形成预定义30人子集，用于八分类器匹配敏感性分析）。预处理每试次4 s经8–30 Hz带通滤波，逐时间点共同平均参考，试次内通道z计分；4 s试次切为10个不重叠0.4 s窗口（160 Hz下每窗64样本）。主框架GAF–PLV–CNN：每通道时序转格拉姆角场(GAF)并向量化，通道间GAF向量算Spearman秩相关得64×64单调相似矩阵；通道对经Hilbert变换相位算相位锁定值(PLV)得功能相位同步矩阵；两矩阵转RGB伪彩图缩放至统一像素作双输入并行CNN（时间支GAF-Spearman、空间支PLV），分支特征拼接后softmax分类，Adam优化、稀疏分类交叉熵、批大小64、最多100轮、内部早停。匹配基线含CSP-SVM、FBCSP-SVM、EEGNet、DeepConvNet、ShallowConvNet、ATCNet、EEG-Conformer。三种验证协议：随机五折（窗口级不隔离受试者）、LOSO（每次留一受试者作外测）、嵌套LOSO（外折留一受试者测试，剩余者用GroupKFold五折选三组预设配置之一，最终在外训练集重拟合）。窗口级预测经多数投票回汇试次级。指标含准确率、宏F1、宏精度、Cohen's kappa、AUC。
研究结果：
3.1 预定义30人子集二分类MI匹配性能：随机五折数值最高为ShallowConvNet（准确率66.48%，宏F1 66.46%，AUC 72.82%）；LOSO下DeepConvNet最高（准确率63.44%，宏F1 63.22%，AUC 68.66%）；嵌套LOSO下ATCNet最高（准确率65.09%，宏F1 65.00%，AUC 71.12%）。GAF–PLV–CNN三策略准确率为56.98%、54.44%、59.29%。说明同子集同输入下数值排序随验证策略变。
3.2 四分类MI匹配性能：各类方法聚合准确率均低于二分类。随机五折ShallowConvNet数值最高（45.19%）；LOSO下准确率最高EEGNet（36.29%）、宏F1最高DeepConvNet（34.87%）、AUC最高GAF–PLV–CNN（63.76%）；嵌套LOSO下准确率最高EEG-Conformer（37.82%）、宏F1最高ATCNet（36.62%）、AUC最高DeepConvNet（64.86%）。GAF–PLV–CNN准确率36.27%/31.59%/31.94%。类别平衡指标与准确率需并列报告。
3.3 验证协议对模型排序的影响：16个方法-任务对（8分类器×2任务）中，随机五折相对LOSO在15对上准确率与宏F1更高，均值差3.03与4.77个百分点，Holm校正后符号检验仍显著；LOSO相对嵌套LOSO非单调（仅2对LOSO更高，均值差为负），因两者模型选择与最终重拟合不同。排序变化为描述性，不推断全队列稳定性。
3.4 全队列GAF–PLV LOSO分析：105外测折试次级平均准确率58.07%±8.27%，宏F1 53.48%±11.19%，宏精度60.97%±14.45%，kappa 0.1615±0.1654；中位数准确率57.14%（IQR 52.38–64.29%，范围38.10–78.57%）。85.7%受试者≥50%，37.1%≥60%，左-右手MI类级精度/召回/F1分别为57.11%/64.81%/60.72%与59.33%/51.34%/55.04%（描述性，无配对推断）。全队列分析回答主框架跨受试者迁移，30人子集回答验证策略敏感性，二者互补不互换。
讨论部分总结：中心结论是MI-EEG分数科学含义取决于划分单元；随机样本级五折在16对中15对高于LOSO，与“片段留出保留受试者特定信息”的直接EEG证据一致。头条准确率跨文献不可比，须匹配队列、任务、输入时长、预处理与受试者隔离。架构排序变化可由各模型归纳偏置差异解释（卷积深度、注意力、Transformer长程依赖、CSP显式空间滤波等），但本实验未隔离机制，且统一0.4 s可能不利于原长上下文架构；GAF-Spearman不编码电极几何、PLV为功能相干非解剖距离。全队列105人二分类LOSO均值58.07%伴大标准差，比单均值更能揭示未见受试者迁移差异。局限包括30人子集非人口代表、统一0.4 s非架构最优、嵌套LOSO外测独立但最终重拟合无独立验证受试者调epoch、公开集缺年龄性别利手元数据、全队列未做四分类八模型嵌套、单数据集无外部泛化、部分折叠级输出未存档故不重建配对检验。
结论翻译：MI-EEG性能估计与数值模型排序在匹配条件下随验证策略改变。保留105受试者二分类GAF–PLV LOSO分析得58.07%±8.27%准确率与显著受试者间变异；独立预定义30受试者敏感性分析显示数值最优模型在随机五折、LOSO与嵌套LOSO间非不变。这些发现支持一条精确报告原则：队列内样本级分类与对未见受试者泛化是不同评价目标。多模型排序以预定义子集与通用0.4 s输入为条件；全队列多模型与四分类排序稳定性留待未来工作。队列定义、划分单元、验证设计与模型选择流程应作为MI-EEG评价核心要素报告。
