《Sensors》：Vibration-Based Measurement of Steel Wire Rope Fundamental Frequency Using an Optical Sensor: Mitigation of Mass-Loading Artifacts
编辑推荐：
长期以来，检测性能与推理效率之间难以兼得，一直是视觉驾驶员疲劳检测算法在车载嵌入式设备上实际部署的核心瓶颈。为解决时间隔离与计算冗余问题，研究人员提出一种自适应时序感知特征选择范式。具体而言，研究人员提出时序双流融合（Temporal Dual-Stream
长期以来，检测性能与推理效率之间难以兼得，一直是视觉驾驶员疲劳检测算法在车载嵌入式设备上实际部署的核心瓶颈。为解决时间隔离与计算冗余问题，研究人员提出一种自适应时序感知特征选择范式。具体而言，研究人员提出时序双流融合（Temporal Dual-Stream Fusion, TDF）模块，用于生成具有高辨别力的视频特征统一嵌入，为最终获得优越性能奠定坚实的特征基础。此外，研究人员设计了一种自适应特征选择（Adaptive Feature Selection, AFS）机制，基于置信度估计评估执行每个特征流的必要性，以可接受的轻微精度损失消除冗余计算。在具有挑战性的NTHU-DDD数据集上的实验结果表明，该方法具有优越性，尤其是在平衡检测性能与推理效率方面。
驾驶员疲劳是导致道路交通伤亡的重要风险因素。统计显示，疲劳驾驶约占全部交通事故的12%–20%，在致命碰撞中占比超过40%。基于视觉的疲劳检测算法因非接触、硬件成本低且无需侵入式传感器，已成为驾驶员监控系统（Driver Monitoring System, DMS）的研究热点。然而，现有方法存在两类核心问题：一是单流卷积神经网络（Convolutional Neural Network, CNN）仅从孤立帧提取眼睛开合、打哈欠、头部姿态等静态面部线索，忽略了疲劳行为随时间连续演化的动态特征，在昼夜光照剧变、佩戴或反光眼镜遮挡等复杂条件下性能明显下降；二是朴素时空双流网络虽能同时处理表观与运动信息，却对所有视频帧固定并行推理，大量冗余特征分支计算限制了嵌入式平台上的实时性。因此，检测性能与推理效率之间的兼容性成为实际部署的核心瓶颈。
针对上述问题，研究人员提出一种基于自适应时序感知特征选择的统一驾驶员疲劳检测范式。该范式包含两个核心：时序双流融合（Temporal Dual-Stream Fusion, TDF）模块与自适应特征选择（Adaptive Feature Selection, AFS）机制。TDF引入门控循环单元（Gated Recurrent Unit, GRU）构建时序特征融合网络，通过捕获连续帧间的长程依赖并学习隐藏状态演化模式，生成动态帧级权重，增强对疲劳行为演化过程的建模能力；AFS利用轻量回归网络估计不同分支的置信度，据此动态选择最优推理路径，实现计算资源按需分配。在NTHU-DDD数据集上的实验表明，该方法以2.18M参数获得96.07%的准确率与56.96帧率（Frames per Second, FPS）的推理速度，在性能与效率之间取得了有利平衡，为能量受限的车载疲劳检测提供了新范式。
在关键技术方法上，该研究采用NTHU驾驶员疲劳检测视频数据集（NTHU-DDD）作为评估基准。该数据集包含36段模拟驾驶场景下采集的高清红外与可见光视频，覆盖剧烈昼夜光照变化、眼镜或太阳镜遮挡以及打哈欠、频繁低头等疲劳行为。数据按受试者独立划分：25名受试者用于训练，5名用于验证，6名用于测试；验证集仅用于超参数调节，测试集仅用于最终评估。主要技术方法包括：构建满足因果约束的时间滑动窗口，仅使用历史帧与当前帧，并对视频起始边界采用静态延续策略；分别对脸部与头部姿态分支采用GRU生成时序权重，经双流注意力融合形成统一嵌入；将第一阶段融合模块输出的面部分支权重作为伪标签，训练仅以当前帧为输入的轻量回归网络；推理时根据回归网络输出与阈值比较，动态选择面部单分支、头部单分支或双流融合分支。
### 4.5 对比实验
在统一实验环境下与ShuffleNetV2、MobileNetV2、MobileNetV3、EfficientNetV2、改进MobileNetV3、MobileViT、Swin Transformer、EMSRNet、InceptionV3+LSTM、CNN+LSTM等十种基线比较，提出模型在准确率（96.07%）和推理速度（56.96 FPS）上均取得最优，以2.18M参数同时优于轻量CNN与Transformer架构。与最佳轻量CNN基线相比准确率提升5.01%；与MobileViT相比参数量不足其一半，推理速度提升1.6倍以上；长短期记忆网络（Long Short-Term Memory, LSTM）类时空模型受序列串行计算限制，速度仅约20 FPS，准确率约70%。
### 4.6.1 滑动窗口长度
窗口长度从2增加到8时，准确率先升后降；当窗口长度为3时，模型捕获最合适的局部时序依赖并获得峰值精度；继续增大至8时准确率降至94.02%，表明过多历史冗余信息会干扰当前帧判断。因此默认窗口长度设为3。
### 4.6.2 自适应特征流选择阈值
训练阶段融合模块的面部分支权重高度集中于0.82以上，头部姿态分支权重极低，呈现明显极化，说明当前双分支结构存在计算资源冗余。当阈值从0.82增大到1.00时，进入融合分支的样本比例从6.7%升至100%，F1分数从93.67%提高至95.75%，但推理速度从65.13 FPS降至50.55 FPS；阈值超过0.96后精度增益放缓，故默认设为0.96。
### 4.6.3 核心组件消融
基础双流融合模型精度为95.77%、FPS为66.30；加入TDF时序模块后，模型可捕获帧间动态疲劳特征，精度升至96.34%，但帧率降至50.55 FPS；再引入AFS后，冗余时空特征被过滤，帧率恢复至56.96 FPS，精度仅小幅降至96.07%，仍显著高于基础网络。TDF与AFS的联合消融表明，TDF捕获互补的时序线索，AFS通过动态分配计算缓解效率下降，二者共同优化性能与效率的折中。
### 4.7 可视化结果
t分布随机邻域嵌入（t-Distributed Stochastic Neighbor Embedding, t-SNE）特征可视化显示，双流网络虽能分离疲劳与清醒特征，但类内分布较散；引入时序信息后，类内紧致性明显提升，聚类边界清晰；加入AFS后特征聚类略有放松，但整体仍保持良好类间区分，直观反映了完整架构以轻微表征纯度代价换取推理速度。梯度加权类激活映射（Gradient-weighted Class Activation Mapping, Grad-CAM）热力图显示，面对侧倾、戴眼镜、太阳镜遮挡等复杂样本，融合双流特征的网络能将高响应区域准确聚焦于包含面部特征的头部区域，同时抑制手臂、躯干和背景等无关噪声，证明算法可综合利用面部细节与头部全局特征的互补优势。
### 结论与展望
研究结论：所提框架包含TDF时序融合与AFS自适应推理两个核心模块。TDF利用帧间时序相关性聚合多帧特征，抑制帧级噪声并提升疲劳检测准确率；AFS面向车载嵌入式部署优化计算开销，通过动态选择推理分支减少冗余计算，在检测精度与实时性能之间取得良好平衡。同时，研究人员指出该方法仍存在实际部署局限性：极端光照会降低图像质量与特征提取效果；帽子、口罩或太阳镜造成的严重遮挡会干扰疲劳特征捕获；相机硬件差异可能引起域偏移并降低泛化能力。这些问题将在未来工作中进一步探索。
