自适应多时态融合与跨模态对抗对齐技术用于鲁棒的驾驶员疲劳检测

《Sensors》：Adaptive Multi-Temporal Fusion and Cross-Modal Adversarial Alignment for Robust Driver Fatigue Detection

　　

摘要

为应对驾驶员疲劳检测中多尺度时间动态和传感器侵入性等关键挑战，本文提出了多时态融合注意力网络（MTFA-Net）。该框架包含两项核心创新：一是多尺度时间自适应融合（MTAF）模块，通过场景感知调节器动态调整短期、中期和长期行为特征的权重；二是生理-行为跨模态对抗对齐（PBCAA）网络，利用对抗学习和互信息最大化技术从面部视频中隐式推断潜在的生理状态（如心率变异性）。在RLDD和NTHU-DDD数据集上的实验结果表明，MTFA-Net实现了最先进的准确率（92.8%），同时保持了较高的可解释性和实时处理效率，为智能驾驶舱安全提供了可靠且无侵入性的解决方案。