L2-L3级自动驾驶中用于实时驾驶人疲劳检测的置信度驱动自适应时间窗(Confidence-Driven Adaptive Time Window, CDATW)：一项多数据集验证研究

《Frontiers in Neurorobotics》：Confidence-driven adaptive time window for real-time driver fatigue detection in Level 2-3 autonomous vehicles: a multi-dataset validation study

　　

摘要：驾驶人疲劳是L2-L3级（Level 2-3，L2-3）有条件自动驾驶车辆中的关键安全隐患，其悖论性要求——即在极少主动操控情况下仍需保持持续监督警觉——会加速认知负荷不足（cognitive underload）并损害及时的接管准备能力。现有的基于视觉的驾驶人监测系统（Driver Monitoring System, DMS）受限于固定的时域分析窗口和二元分类器，既不能量化预测不确定性，也无法适应真实世界疲劳动态的异质性，导致误报率高且跨域泛化能力差。研究人员提出了一种置信度驱动自适应时间窗（Confidence-Driven Adaptive Time Window, CDATW）框架：一种闭环神经计算流水线（closed-loop neuro-computational pipeline），将轻量级的MobileNetV3-CBAM-BiLSTM时空编码器与蒙特卡洛丢弃（Monte Carlo Dropout, MC-Dropout）不确定性估计器耦合，在每次推理时同步输出疲劳概率和认知置信度（epistemic confidence）。置信度信号控制窗口控制器：在高确定性（置信度 > 0.85）时将观测时段收缩至5–10 s以实现快速预警，在低确定性（置信度 < 0.60）时将其扩展至20–30 s以抑制虚假报警——实现了神经机器人感知中反馈驱动的自适应传感原则。该框架在四个异质公开数据集（NTHU-DDD、YawDD、UTA-RLDD和DROZY）上通过单数据集、跨数据集迁移及混合数据集训练协议进行了验证。单数据集准确率范围为88.6%–91.8%，AUC为0.92–0.95；自适应机制使固定15 s基线的误报率降低35.2%。该架构在NVIDIA Jetson Xavier NX车载嵌入式平台上可维持38–45 FPS，置信度校准的期望校准误差（Expected Calibration Error, ECE）为0.078，高置信度预测（>0.9）的准确率达95.6%。研究结果表明，嵌入可部署神经机器人架构中的不确定性感知自适应时域推理，构成了L2-3自动驾驶车辆驾驶人状态监测中计算高效且切实可行的策略，并对安全关键人—机系统中的闭环感知具有更广泛的意义。

论文解读：《Frontiers in Neurorobotics》刊载的此项研究针对L2-L3级有条件自动驾驶中驾驶人由主动操控转为被动监控而引发的认知负荷不足与疲劳风险升高问题展开。现有基于视觉的驾驶人疲劳检测系统多采用固定时长时域分析窗口和二元分类输出，无法量化预测不确定性，亦不能随个体与场景差异调节观测长度，导致误报率高、跨域泛化差，制约了驾驶员监测系统（Driver Monitoring System, DMS）的实际接受度。为此，研究人员提出置信度驱动自适应时间窗（Confidence-Driven Adaptive Time Window, CDATW）框架，将轻量级时空深度网络与蒙特卡洛丢弃（Monte Carlo Dropout, MC-Dropout）不确定性估计相结合形成闭环推理流水线，依据实时 epistemic confidence 动态伸缩观测窗口，并在四个异质公开数据集上系统验证其检测性能、误报抑制效果、置信度校准质量及嵌入式平台实时性。

主要关键技术方法：研究人员采用NTHU-DDD（36名受试者模拟驾驶）、YawDD（322段车内RGB视频）、UTA-RLDD（真实道路自发疲劳）和DROZY（面部视频配生理信号）四个公开数据集；预处理含30 FPS抽帧、拉placian方差与MTCNN人脸及68点landmark筛选、PERCLOS（EAR < 0.25）、MAR（打哈欠阈值 > 0.6持续 > 2 s）及头姿态提取，标签统一二值化（清醒/疲劳），按7:1.5:1.5分层划分；构建MobileNetV3-Small + 卷积块注意力模块（Convolutional Block Attention Module, CBAM）+ 双向长短期记忆网络（Bidirectional Long Short-Term Memory, BiLSTM, 128隐单元）提取特征，BiLSTM以固定30帧（1 s@30 FPS）为输入逐秒输出疲劳概率，上层以指数加权移动平均（Exponentially Weighted Moving Average, EWMA）在5–30 s自适应窗内平滑；MC-Dropout做N=10次随机前向传播估计预测方差合成置信度，窗口控制器按置信度三档（>0.85缩至5–10 s，0.60–0.85取10–20 s，<0.60延至20–30 s）调EWMA读出自适应窗长并加±0.05迟滞与≥2 s最小驻留防抖；复合损失含二值交叉熵、Focal Loss（γ=2, α=0.75）及ECE校准损失；训练用NVIDIA RTX 4090（Adam, lr=0.001, batch=32, ≤100 epoch），推理测于NVIDIA Jetson Xavier NX（8 GB, 30 W）；评估指标含Accuracy、Precision、Recall、F1-score、AUC、FPS、每帧延迟、跨数据集退化率、误报率（False Alarm Rate, FAR）及ECE，验证方式含单数据集5折分层交叉验证、跨数据集直接迁移及四数据集混合训练。

研究结果：

4.1 Single-dataset validation performance：在四个数据集上做5折交叉验证，NTHU-DDD准确率最高达91.8%±1.8%（AUC 0.954），YawDD最低为88.6%±2.1%（AUC 0.923），UTA-RLDD与DROZY分别为89.3%与90.5%；较固定15 s窗口基线准确率提升3.2–5.4个百分点，Jetson Xavier NX上帧率38.7–44.8 FPS。NTHU-DDD消融实验表明：MobileNetV3基线83.2%，加CBAM升至84.5%（+1.3 pp），加BiLSTM升至88.5%（+4.0 pp），完整CDATW达91.8%（+3.3 pp），证明时序建模贡献最大，自适应窗与注意力模块亦有增益。

4.2 Cross-dataset generalization performance：跨数据集直接迁移平均准确率下降12.8个百分点（范围10.8%–14.5%），光照不匹配为主因（约5–8%损失）；四数据集混合训练将平均退化缩至10.5个百分点，准确率80.2%–82.6%；跨数据集下自适应机制仍使误报率自19.6%（固定窗）降至14.7%（相对降25.0%），但ECE升至0.124反映分布偏移下降校准质量。

4.3 Adaptive time window effectiveness：分析1500次检测实例，置信度与窗口长度呈强负相关（r = ?0.742, p < 0.001）；高置信度（>0.85）均窗长8.7 s（快速响应），低置信度（<0.60）均窗长19.2 s（延长观测）。自适应方法整体误报率8.3% vs 固定窗12.8%（相对降35.2%），且与同等MC-Dropout计算量的固定窗或多窗集成比仍额外降误报27.8%–24.5%，说明置信度驱窗本身贡献主要增益；高速路昼/夜、城市拥堵及乡村道路误报分别降39.4%、39.9%、32.2%、33.9%。假阴性率17.6%与固定窗18.1%无统计学差异（p=0.34），表明不牺牲检测灵敏度。清醒态窗口集中于8–10 s，疲劳态呈双峰集中于18–20 s，组间均值差10.5 s显著（t=18.6, p<0.001）。

4.4 Confidence calibration quality：整体期望校准误差ECE=0.078（15等宽bin），高置信度预测（>0.9）经验准确率95.6%，低置信度（<0.6）为72.8%；按置信区间分层准确率单调上升（72.8%→81.5%→87.3%→91.2%→95.6%）。轻度疲劳置信度约0.62（σ=0.11），中重度疲劳集中0.89（σ=0.06），Mann–Whitney U检验显示两组方差差异显著（p<0.001），操作阈值0.7时达90.1%精确率与84.6%召回率。

讨论与结论翻译：研究人员指出CDATW通过置信度驱动时域调制在汽车ECU算力约束内实现误报率降低35.2%，窗口控制逻辑本身引入延迟<5 ms，保留了L2-3接管场景所需的实时性；局限含隧道等瞬变光照可能致不必要窗扩展，当前验证基于传统主动驾驶数据集，L2-3特有被动监控行为数据稀缺，定量L2-3部署性能待专用数据集确认，极低置信下最长约19.2 s窗延时可考虑结合接管上下文设上限。跨数据集约10–15%退化符合同领域报道，光照错配为主因素。MobileNetV3-CBAM-BiLSTM（2.78 M参数，328 M FLOPs）在车载嵌入式达38–45 FPS，INT8量化预期再提速2–3倍；置信度反馈闭环体现了神经机器人中依系统不确定性调节感觉处理时长之生物启发性原则，可推广至行人和障碍物感知。未来方向含多模态融合（ECG/EEG、车辆微修正）、个性化基线建模、L2-3专用疲劳基准及线性注意力Transformer与深度证据学习改进校准。

结论：研究人员提出并验证了用于L2-L3级自动驾驶实时驾驶人疲劳检测的置信度驱动自适应时间窗（CDATW）系统。单数据集准确率88.6%–91.8%、AUC 0.92–0.95，NVIDIA Jetson Xavier NX上38–45 FPS；自适应窗较固定窗误报率降35.2%；跨数据集验证准确率75%–83%，平均退化11%–14%；ECE=0.078，高置信度(>0.9)预测准确率95.6%。CDATW为L2-L3条件自动驾驶中的驾驶人状态监测提供了兼顾检测响应性与误报抑制的可部署神经机器人框架，未来将拓展多模态融合、个性化建模及L2-3行为数据集建设。