《Scientific Reports》:DrowsyFormer-Gen: classical baselines match a triple-stream transformer with diffusion augmentation for driver drowsiness detection
编辑推荐:
驾驶员嗜睡检测器必须依据少数类敏感性、校准性能和报警行为进行评判,而非仅凭准确率。DrowsyFormer-Gen结合了生理、车辆和行为三流Transformer编码器、跨模态融合模块、自适应分类头以及类别条件扩散增强模块。研究人员在两个数据集上——DMPS(
驾驶员嗜睡检测器必须依据少数类敏感性、校准性能和报警行为进行评判,而非仅凭准确率。DrowsyFormer-Gen结合了生理、车辆和行为三流Transformer编码器、跨模态融合模块、自适应分类头以及类别条件扩散增强模块。研究人员在两个数据集上——DMPS(225,000个样本,15名驾驶员)和SC-DD(87,430个片段,20名参与者),采用共享因果滑动窗口和被试独立交叉验证方案,对上述模型与五种经典基线进行了复现与评估;其中DMPS的驾驶员是SC-DD参与者的子集。所有基线均经过嵌套超参数优化;决策阈值固定于训练数据之上。经调优的逻辑回归达到了99.747±0.031%的准确率、0.953的嗜睡类别召回率和0.0008的期望校准误差(Expected Calibration Error, ECE),其性能超越了所有神经网路配置。每一项提出的组件均在控制实验中失败:去除扩散增强后各项指标均有提升,而仅使用类别权重即可达到0.989的召回率;将自适应头的参考项归零可使校准误差减半,而其刷新间隔则无效;在25次运行中,融合消融实验在固定阈值下的召回率范围从0.000到1.000不等,尽管排序稳定性尚可。单一样本输入达到了0.915的召回率,而32样本滑动窗口则为0.956。研究人员报告了一项负性结果,该结论的前提条件是所提供的记录确如源出版物所述。
一、研究背景、现存问题与研究目的
驾驶员疲劳是道路安全的重要隐患,利用行为和生理测量监测驾驶员状态已成为研究热点。然而,现有研究在评估驾驶员嗜睡检测系统时,往往过度依赖总体分类准确率,忽视了少数类(嗜睡事件)的敏感性、概率预测的可靠性以及报警时机等关键指标。在此背景下,研究者提出了DrowsyFormer-Gen模型,该模型融合了三流Transformer编码器(分别处理生理、车辆和行为数据)、跨模态顺序融合模块、自适应分类头以及类别条件去噪扩散概率模型(Denoising Diffusion Probabilistic Model, DDPM)用于数据增强。本研究旨在严格检验该复杂架构中各组件在安全性相关指标上的实际贡献,并与经过充分优化的经典基线方法进行比较,以确定其是否具备实质性优势。
二、研究方法概述
研究人员在两个公开数据集上开展研究:DMPS数据集包含225,000个样本,来自15名驾驶员,每样本含23个通道(包括生理、车辆和穿戴式/行为测量);SC-DD数据集包含87,430个片段,来自20名参与者(含全部15名DMPS驾驶员),基于皮肤电导特征和Karolinska嗜睡量表(Karolinska Sleepiness Scale, KSS)评分。研究采用了统一的被试独立五折交叉验证协议,将所有数据划分为因果滑动窗口(DMPS为32个样本,步长4)。关键技术方法包括:(1)针对DrowsyFormer-Gen模型的完整复现,包含三个领域特定的Conv1D茎(stem)加四层Transformer块作为流编码器,以及顺序融合机制;(2)基于余弦调度和确定性采样(Denoising Diffusion Implicit Models, DDIM)的类别条件1D U-Net扩散模型,用于生成少数类合成窗口进行训练增强;(3)对五种经典基线(逻辑回归、K近邻、随机森林、梯度提升和多层感知机)进行嵌套超参数优化,确保公平比较;(4)采用多维度评估体系,涵盖准确率、召回率、精确率、ROC曲线下面积(Area Under the Curve, AUC)、期望校准误差(Expected Calibration Error, ECE)和Brier分数,并分析了不同决策阈值和预设报警策略下的性能表现。
三、研究结果
1. 分类与校准性能
在DMPS数据集上,完整的DrowsyFormer-Gen模型达到99.01±0.57%的准确率和0.948±0.014的召回率。而经调优的逻辑回归实现了99.747±0.031%的准确率、0.952±0.014的召回率以及仅为0.0011的ECE,远低于完整模型的0.0676。在SC-DD数据集上,梯度提升取得了最高的准确率(86.51%)和最低的多类Brier分数(0.1641)。结果表明,在所有评估指标上,DrowsyFormer-Gen并未展现出优于经典基线的性能。
2. 组件消融实验
移除扩散增强模块后,模型的召回率、精确率、AUC和校准性能均得到改善,且这一趋势在不同操作点下保持一致。移除自适应分类头同样降低了校准误差。移除行为流导致召回率最大降幅(至0.788)。序列级融合变体的性能与完整模型相近,而拼接融合变体在固定0.5阈值下的召回率为0。这些结果表明,所提出的各个组件均未带来预期收益。
3. 扩散增强效果评估
对生成的合成窗口质量进行评估发现,真实窗口与合成窗口之间的平均每通道1-Wasserstein距离为0.239,而一个随机森林判别器能够以1.000的AUC完美区分二者,表明生成样本与真实样本存在显著分布差异。更简单的类别不平衡处理方法,如逆频率类别加权和随机过采样,使逻辑回归的嗜睡类召回率分别达到0.989,超过了所有神经网路配置(包括使用扩散增强的模型)。
4. 自适应分类头敏感性分析
改变自适应头的参考刷新间隔(变化幅度达16倍)对召回率和校准误差的影响微乎其微。将训练折叠的参考均值替换为零,即移除该头的核心自适应机制,反而使校准误差减半。这表明该组件不仅未能改善性能,反而恶化了校准效果。
5. 事件覆盖与报警成本
在事件前回溯覆盖分析中,完整模型在1分钟和10分钟回溯窗口内的覆盖率分别为0.343和0.954,高于速率匹配的随机对照(0.138和0.755)。然而,在预设的固定报警策略下,最佳模型(逻辑回归)每小时发出28.7次警报,其中仅1.1次为误报,这意味着约每两分钟触发一次警报,这在部署中是不可行的,而这一操作成本在累积覆盖曲线中被掩盖。
6. 输入长度与被试间变异
仅使用单个样本作为输入时,逻辑回归的召回率达到0.915,AUC为0.9987;而使用完整的32样本窗口时,召回率提升至0.956,AUC为0.9996。这表明在该数据集上,时序模型所能带来的边际增益有限(约4个百分点的召回率)。此外,各被试间的性能差异很小,表明聚合结果并非由特定亚组驱动。
7. 特征重要性分析
描述性的随机森林特征重要性分析显示,行为通道(尤其是手部接触百分比)占据了58.1%的基尼重要性。移除三个手套衍生通道后,逻辑回归在固定阈值下的召回率从0.952骤降至0.835,但AUC仅从0.9995微降至0.9946。这说明这些通道主要影响决策阈值的设定,而非排序能力。
四、讨论与结论
讨论部分指出,本研究旨在检验DrowsyFormer-Gen架构的三个核心组件,但无一经受住严格测试。扩散增强被证明是最明确的失败案例:其去除后各项指标全面改善,而简单的类别权重法在召回率上就超越了所有神经网路配置。跨模态融合模块在原始使用的池化形式下是退化的(注意力权重恒为1),其序列级变体表现更差,而拼接变体的25次重复实验揭示其输出尺度高度不稳定,先前基于单次运行得出的结论是错误的。自适应分类头的刷新间隔无任何作用,其参考项反而恶化了校准性能。最终,一个经调优的逻辑回归,仅使用每个通道的三个汇总统计量,就在两个数据集的所有评估指标上匹敌甚至击败了一个拥有740,869个参数的Transformer加扩散模型。
研究结论总结如下:DrowsyFormer-Gen模型被重建并在统一的被试独立协议下进行评估,同时报告了分类、校准和报警行为。经调优的逻辑回归达到了99.747±0.031%的准确率、0.953的召回率和0.0008的ECE,超越了所有神经网路配置。每一个提出的组件均在控制测试中失败:去除扩散增强改善了所有指标,而简单的类别权重在召回率上超越它;自适应头的参考项恶化了校准,而其刷新规则无效;融合消融实验在25次重复中,固定阈值下的召回率从0.000到1.000不等,反映了训练稳定性而非架构优劣。单个输入样本达到0.915的召回率,而完整窗口为0.956,这界定了时序建模在该数据集上所能增加的上限。在预设策略下,最佳模型每小时发出28.7次警报,其中1.1次为误报——这是覆盖曲线所掩盖的操作成本。这些结果的前提是所提供的记录确如源出版物所述,并且两个数据集的测量时间特性已被完整报告。由于仅有五折交叉验证,任何比较都无法达到校正后的显著性阈值,因此所有发现均为描述性。因此,研究人员报告了一项负性结果:在这些数据集上,所提出的架构未获支持,任何部署声明都需要独立的标注、外部队列和前瞻性报警策略评估。