《Diagnostics》：MTEP: A Matched Temporal Evaluation Protocol for Cognitive Fatigue Detection from In-Task Self-Reports
编辑推荐：
背景/目标：疲劳模型通常在参与者通过动作产生标签的同时由传感器进行记录。研究人员旨在证明评估设计的估计值反映的是状态本身而非报告行为。方法：研究人员提出匹配时间评估协议（MTEP），该协议实现标签与特征分离、参与者层面泛化、记录内位置平衡以及报告独立性——即用
背景/目标：疲劳模型通常在参与者通过动作产生标签的同时由传感器进行记录。研究人员旨在证明评估设计的估计值反映的是状态本身而非报告行为。方法：研究人员提出匹配时间评估协议（MTEP），该协议实现标签与特征分离、参与者层面泛化、记录内位置平衡以及报告独立性——即用于预测报告的窗口与产生该报告的动作不重叠。研究人员通过前移（lead displacement）和线性及非线性模型认证报告独立性，用已知振幅和形状的注入效应校准两种认证，在已知真实性的语料库上比较四种评估设计，并将MTEP应用于CogBeacon和CL-Drive两个数据集。结果：在已知真实性的语料库上，MTEP在80例中78例返回正确判定，而当前使用的设计为58–62例；后者在20个仅含报告动作的语料库中有16–19例得出检测器有效的结论（MTEP为20例中1例）。报告独立性认证的特异性为39/40，并在30/40次重复中检测到0.05个局部标准差（local standard deviations）的报告动作携带成分；非线性位置认证检测到线性检验遗漏的不平衡（10/10对0/10）。在CogBeacon上，MTEP在前移一轮（lead of one round）时完成认证，合并ROC-AUC（pooled ROC-AUC）为0.659，由任务表现驱动。研究人员的模型在相同脑电图（EEG）特征和协议下超过了所有已发表的单分类器准确率，然而无传感器的时钟（clock）在两个语料库上均达到或超过已发表的准确率。结论：报告独立性是一个独立的要求，现有设计并不蕴含该性质；它可以从采集协议中检查并在评估样本上认证。
论文解读
一、研究背景与问题
认知疲劳（cognitive fatigue）区别于困倦和外周肌肉疲劳，其特征是在持续需求下受控注意效率的下降。由于不存在客观的生理学定义，监督学习方法需要操作性标签，在实践中即主观报告。CogBeacon数据集具有代表性：参与者在执行威斯康星卡片分类测验变体的同时，四通道Muse脑电图（EEG）、68个面部关键点（facial landmarks）和每轮任务指标被同步记录，参与者每当感到难以跟上时按下按钮。这种任务内报告（in-task self-report）机制使语料库具有价值——即时输入的报告按分析单元时间戳记录，支持事件级目标——但同时也对评估设计提出了独特要求：报告是参与者用传感器正在记录的身体完成的动作（移动手到按钮、视线离开任务、按下按钮的轮次耗时更长）。因此，用于预测报告的窗口不得与产生标签的动作重叠，这一性质称为报告独立性（report-independence）。
现有评估设计普遍存在缺陷。泄漏（leakage）分类法围绕数据处理组织，而报告独立性是关于标签如何物理产生的性质，与数据处理是否严谨无关。分组交叉验证保障参与者层面泛化（P2），时间分块和匹配采样保障位置平衡（P3），但这些性质均不蕴含报告独立性——它们管辖区哪些文件可被读取、谁的数据出现在何处、窗口位于何处，而报告独立性管辖窗口在标签产生瞬间包含什么内容。在CogBeacon上，一个持有其他三项性质的设计在报告轮在窗口内时合并ROC-AUC（pooled ROC-AUC）达0.888，排除后降至0.659，而位置模型在两种情况下均返回0.493，无法提出异议。这一差距说明报告独立性是一个此前未被明确表述、也未被检验证实的独立要求。
二、研究内容与核心方法
研究人员提出MTEP（匹配时间评估协议，Matched Temporal Evaluation Protocol），将四项性质——标签与特征分离（P1）、参与者层面泛化（P2）、位置平衡（P3）和报告独立性（P4）——整合为一个可执行协议，并配套两种可校准的认证证书。研究在CogBeacon（77个会话文件夹、20个参与者标识符、6972轮完整记录）和CL-Drive（21名驾驶员、9级诱导复杂度、口头报告认知负荷评级）两个语料库上应用该协议。
关键技术方法包括：第一，事件标签构建，以新按压发生的轮次为正样本，而非累积状态标签，因为后者在会话内由位置完全决定、无法实现位置平衡；第二，会话内匹配病例对照设计，每个病例窗口在报告前L轮结束且不包含任何报告轮，对照窗口距离所有报告至少g轮且至多m轮，按前后平衡规则抽取；第三，前移认证（lead displacement certificate），通过比较相邻前移量下合并ROC-AUC的差异D(L)来检测报告动作的离散痕迹与真实状态的连续自相关特征，认证最小前移量L*；第四，位置认证，用五种线性与非线性位置模型检验窗口位置是否携带标签信息；第五，两种认证均通过向真实特征矩阵注入已知振幅和形状的效应进行校准，报告特异性与灵敏度。
三、研究结果
与CogBeacon已发表结果的比较：在相同EEG特征和协议下，研究人员的模型超过所有已发表单分类器准确率——在Ekim等人的随机划分协议下达96.5%（对照83.34%），在Das等人的十折交叉验证下达98.5%、F1为0.976（对照90.96%和0.86），在数据集论文的会话划分下准确率0.668、与五分类器集成持平。然而，仅含会话内轮次位置的时钟模型在数据集论文协议下达0.686准确率和0.637宏F1，超过已发表集成，说明这些协议下的准确率同时测量了会话位置与疲劳。
认证校准：报告独立性认证在参考设计上特异性为39/40（98%），在0.05局部标准差振幅下拒绝30/40含报告动作成分的设计，在0.1下拒绝33/40；对振幅1.0的真实状态80/80全部通过认证，位移统计量平均+0.019，而动作形状成分将统计量推至+0.188。位置认证在自身采样器下40/40通过（100%特异性），当四分之一对照取自最近前窗时14/40检测到不平衡，一半时38/40，全部时40/40。非线性模型检测到线性检验无法表示的分散性不平衡（γ_far=1时10/10对0/10）。
四种设计在已知真实性语料上的判定：在仅含报告动作、无任何状态的语料中，随机折叠设计16/20、分组留一参与者出法19/20、分组交叉验证加位置平衡匹配18/20得出检测器有效的结论，而MTEP仅1/20；在含真实状态的语料中MTEP 40/40正确判定，总计80例中78例正确，对照设计为58–62例。
CogBeacon上的报告独立性认证：全部特征在L=0时合并ROC-AUC为0.888，L=1时降至0.659，位移统计量+0.228（95%置信区间+0.165至+0.276），超过材料性阈值0.10两倍以上；再前移一步为+0.014，故认证前移量为一轮。面部特征认证为两轮（第一步+0.206、第二步+0.113），因为按压前一轮存在准备痕迹——中位最大地标质心位移为普通轮次的3.9倍；EEG单独认证为零（+0.057），任务遥测认证为一轮（+0.121）。
MTEP下的受控分析：位置检查通过（位置模型0.493，95%置信区间0.482–0.512）。全特征随机森林合并ROC-AUC为0.659（0.612–0.733），任务与时间特征单独为0.707（0.645–0.789），EEG加面部特征0.611，面部单独0.622，EEG单独0.505（处于机会水平）。置换检验200次重复中观测值超过全部零值（p=0.005）。去除两名位置类变量后任务遥测仍为0.701，八项表现变量单独为0.695，轮时长单独处于机会水平（0.546），说明前驱信号是表现下降而非任务难度、时钟或报告轮延长。
全记录流评估：任务遥测在6202个窗口上达合并ROC-AUC 0.686，全特征0.629，位置模型0.509；5%警报预算下精确率4.8%（基线率3.9倍），标记19%的按压提前一轮、32%提前三轮内。
CL-Drive应用：口头报告动作在传感器中可见——颞电极45Hz以上功率在提示后1.5至4.5秒上升，因此已发表评估所用的10秒分段包含动作痕迹；MTEP在三个可比模态组中两个超过已发表十折准确率，无传感器时钟同样达到或超过已发表准确率。
四、讨论与结论
讨论部分指出：报告独立性是一个可通过采集协议检查、在评估样本上认证的独立要求；认证证书以校准过的灵敏度测量动作影响，而非仅作形式声明；材料性阈值0.10经校准确定，在语料库规模缩小时保持保守；持久性干扰（报告后持续偏移）可通过仅使用报告前对照的判别检查排除；标签噪声（报告与状态错位、漏报、虚假报告）不会导致错误结论，但会降低统计功效。研究结论为：报告独立性是现有设计不蕴含的独立要求，可从采集协议检查并在评估样本上认证；MTEP在已知真实性语料上78/80正确判定，在CogBeacon上认证前移量为一轮，合并ROC-AUC 0.659由任务表现承载，而EEG在报告前一轮处于机会水平；无传感器时钟达到或超过两个语料库上已发表的准确率，说明已发表准确率中评估设计贡献了可观份额。
