编辑推荐：
在基于视觉的驾驶员疲劳检测算法于车载嵌入式设备上的实际部署中，实现检测性能与推理效率之间的良好兼容性长期以来一直是核心瓶颈。本研究提出一种面向驾驶员疲劳检测的自适应时序感知特征选择范式，以解决时序孤立性和计算冗余问题。具体而言，研究人员提出一个时序双流融合（T
在基于视觉的驾驶员疲劳检测算法于车载嵌入式设备上的实际部署中，实现检测性能与推理效率之间的良好兼容性长期以来一直是核心瓶颈。本研究提出一种面向驾驶员疲劳检测的自适应时序感知特征选择范式，以解决时序孤立性和计算冗余问题。具体而言，研究人员提出一个时序双流融合（Temporal Dual-Stream Fusion，TDF）模块，用于生成高判别性视频特征的统一嵌入表示，为卓越的最终性能奠定坚实的特征基础。此外，研究人员设计了一种自适应特征选择（Adaptive Feature Selection，AFS）机制，该机制基于置信度估计评估执行每条流的必要性，从而在可接受的轻微精度损失下消除冗余计算。在具有挑战性的NTHU-DDD数据集上的实验结果表明了所提方法的优越性，尤其是在平衡性能与效率方面。
论文解读文章
1. 研究背景与问题
道路交通事故是全球性的重大社会安全问题，其中驾驶员疲劳是导致约12%-20%的道路事故和超过40%的致命碰撞的主要原因。长时间驾驶、单调路况和睡眠不足会引发身心疲劳，损害反应速度、视觉感知和决策能力。随着智能驾驶和驾驶员监控系统（Driver Monitoring Systems，DMS）的广泛应用，基于非接触式视觉的疲劳检测因其低成本和高接受度成为研究热点。
然而，现有方法面临两大挑战：一是时序孤立性——单帧空间模型（如单流CNN）仅提取静态面部线索，忽略了疲劳症状随时间演变的连续动态特性，在昼夜光照剧变、眼镜遮挡等复杂干扰下性能严重下降；二是计算冗余——传统双流网络对所有视频帧采用固定的并行推理，未筛选冗余特征分支，产生大量无用计算，限制了在车载嵌入式设备上的实时推理速度。因此，亟需一种能在检测精度与计算效率之间取得平衡的新范式。
2. 研究内容与结论
针对上述问题，研究人员提出了一种基于自适应时序感知特征选择的统一驾驶员疲劳检测框架。该框架包含两个核心阶段：时序双流融合（Temporal Dual-Stream Fusion，TDF）和自适应特征选择（Adaptive Feature Selection，AFS）。在NTHU-DDD视频数据集（包含36位受试者的高清红外与可见光序列，覆盖昼夜变化、墨镜遮挡等复杂场景）上的实验表明，该方法在保持高精度的同时显著提升了推理速度，实现了精度与效率的最优权衡。具体地，完整模型达到了96.07%的准确率和56.96 FPS的推理速度，优于多种主流CNN（如ShuffleNetV2、MobileNet系列）、Vision Transformer（如MobileViT、Swin Transformer）以及含时序/多特征融合的网络（如EMSRNet、CNN+LSTM）。
3. 关键技术方法概述
研究人员采用了以下三个主要关键技术方法：
- •
时序滑动窗口：构建大小为T=3的因果滑动窗口，仅利用历史帧与当前帧，满足实时系统的因果性约束。对视频起始边界采用静态延续策略，将越界索引映射到首帧，避免零填充引入的人为噪声。
- •
基于门控循环单元（GRU）的时序权重生成：分别对面部分支和头部姿态分支构建GRU网络。GRU通过更新门和重置门捕捉帧间长程依赖关系，输出隐藏状态序列，再经线性层和Softmax归一化生成动态逐帧注意力权重，对多帧特征进行加权聚合。
- •
双流注意力融合模块（DSAF）：首先通过双线性上采样对齐面部特征（来自YOLO）与头部姿态特征（来自FSANet）的空间尺度，沿通道维度拼接后，经逐点卷积和ReLU激活进行非线性净化，再通过第二个逐点卷积生成空间注意力图，最终以Hadamard积完成深度特征调制，输出鲁棒的融合特征。
4. 研究结果
4.1 对比实验结果与分析
在NTHU-DDD数据集上与十种代表性基线模型比较。结果显示，所提模型在准确率（96.07%）、精确率、召回率和F1分数上均达到最优，同时推理速度最高（56.96 FPS）。相比之下，轻量级CNN（如Improved-MobileNetV3）准确率较低（91.06%），Transformer架构（如MobileViT）虽精度高但推理速度慢（约33-36 FPS），而传统时空模型（如CNN+LSTM）因LSTM的串行瓶颈，推理速度仅20.78 FPS且准确率仅约70%。
4.2 滑动窗口大小T的消融实验
测试窗口大小从2到8的性能变化。当T=3时模型捕获最合适的局部时序依赖，达到峰值准确率；继续增大窗口（如T=8）引入过多冗余历史信息，导致准确率降至94.02%，同时增加计算开销。
4.3 自适应特征流选择阈值τ的消融实验
分析阈值τ从0.82增至1.00的影响。随τ增大，送入融合分支的样本比例从6.7%升至100%，F1分数从93.67%提升至95.75%，但推理速度从65.13 FPS骤降至50.55 FPS。当τ=0.98时，精度提升趋于平缓，被选为默认超参数。
4.4 核心组件消融实验
逐步验证各模块贡献：基础双流融合模型准确率95.77%、推理速度66.30 FPS；引入时序模块后准确率达最高96.34%，但帧率降至50.55 FPS；进一步加入AFS机制后，帧率恢复至56.96 FPS，准确率略降至96.07%，仍显著高于基线。此外，对比随机路由变体，证实AFS的自适应路由策略有效优化了性能-效率权衡。
4.5 可视化结果分析
- •
t-SNE可视化：双流网络特征分布较分散；引入时序信息后，疲劳与警觉两类特征的类内紧凑性提高，聚类清晰度最佳；加入AFS后特征簇略有松散但仍保持良好区分。
- •
Grad-CAM热力图：相比单流网络，所提双流融合网络在倾斜、戴眼镜、墨镜遮挡等挑战样本中，能将高响应区域精准锚定到包含面部特征的头部区域，有效抑制手臂、躯干和背景等无关噪声，体现了互补优势。
5. 讨论与结论
讨论：尽管方法表现优异，但在真实场景中仍存在局限性：极端光照会降低图像质量并损害特征提取；帽子、口罩或墨镜等重度遮挡会干扰疲劳特征捕捉；不同摄像头硬件差异可能导致域偏移，降低泛化性能。这些问题有待未来工作探索。
结论：所提出的框架包含两个核心模块：TDF时序融合模块利用帧间时间相关性聚合多帧特征，抑制帧噪声并提高疲劳检测精度；AFS自适应推理模块针对车载嵌入式部署优化计算成本，通过动态选择推理分支减少冗余计算，实现了检测精度与实时性能的良好平衡。
