《PLOS One》:Driver state detection and recognition in conditional automated driving: A review
编辑推荐:
摘要专业翻译
SAE 3级自动驾驶系统在其运行设计域内完全接管动态驾驶任务。因此,确保从自动驾驶向手动驾驶安全且及时的过渡,需要对驾驶员状态进行持续监测与评估。本综述综合了85项主要发表于2021年至2025年之间的研究。研究人员在ScienceDirect、
摘要专业翻译
SAE 3级自动驾驶系统在其运行设计域内完全接管动态驾驶任务。因此,确保从自动驾驶向手动驾驶安全且及时的过渡,需要对驾驶员状态进行持续监测与评估。本综述综合了85项主要发表于2021年至2025年之间的研究。研究人员在ScienceDirect、Web of Science、SpringerLink和IEEE Xplore中进行了遵循PRISMA 2020指南的检索,最终检索于2025年9月15日完成。仅纳入以英文发表、且在与有条件自动化相关的驾驶场景中考察驾驶员状态检测、识别或评估的研究。2021年之前发表的研究被排除,除非其提供了基础性贡献。本综述未进行注册。本综述旨在:(1)识别在有条件自动驾驶中已被研究的驾驶员状态构念,考察其定义与操作化方式;(2)刻画用于驾驶员状态监测的感知模态特征;(3)评估既往研究中使用的计算方法,包括多模态融合;(4)考察性能指标、验证策略与实时可行性;(5)识别方法论局限、报告不一致性以及未来发展与部署的优先事项。本综述建议实现3级数据集的标准化,呼吁建立协调一致的操作性定义并采用更具代表性的抽样方法,最后建议开展更多纵向实车验证研究。本研究受中国国家自然科学基金资助。
论文解读文章
一、研究背景与问题提出
随着汽车自动化进程的加速,SAE(美国汽车工程师学会)分级体系将驾驶自动化划分为从L0(无自动化)到L5(完全自动化)的多个层级。其中,L3级即有条件自动驾驶,允许驾驶员将驾驶任务完全交由车辆系统执行,但系统发出接管请求(TOR)时,驾驶员必须及时恢复对车辆的控制。这一过渡过程的安全性高度依赖于驾驶员的准备状态,而驾驶员的分心、困倦、疲劳、愤怒、挫折等状态均会显著影响接管质量。认知负荷过高会削弱驾驶员在过载状态下的有效响应能力,紧急接管请求还可能进一步增加心理负荷,提升操作失误风险。此外,驾驶员对自动化局限性的理解、对自动化的信任水平以及人格特质等,也会影响接管行为与驾驶稳定性。
在此背景下,驾驶员状态检测成为避免道路碰撞的关键环节。研究表明,驾驶员在执行非驾驶相关任务(NDRTs)后,平均需要约6秒才能重新获得车辆控制权,因此系统必须在此时间窗口内准确评估驾驶员意识状态。目前用于评估驾驶员状态的感知模态主要包括三类:基于视觉的行为测量(如眼睑闭合、眨眼次数、表情、头部运动)、基于生理信号的内部状态检测(如脑电图EEG、眼电图EOG、心电图ECG、肌电图EMG、呼吸和体温)以及基于车辆性能的指标(如转向角、车速、车道位置标准差SDLP)。多模态组合已被证明能提升检测强度与准确性。然而,由于感知技术和分析方法的高度异质性,该领域文献呈现碎片化状态,难以形成统一的驾驶员状态评估标准。
尽管已有综述涉及驾驶员监控或困倦检测的某些方面,但均未提供本工作所呈现的、遵循PRISMA指南的综合整合。现有综述或早于L3自动化的广泛采用,或仅聚焦单一模态,未在统一方法论框架内系统比较视觉、生理、车辆性能及多模态融合方法,也未应用正式偏倚风险评估工具,更未系统评估性能指标报告实践。本研究正是针对上述空白,对L3有条件自动驾驶背景下的驾驶员状态检测研究进行系统性综述。
二、研究设计与方法概述
研究人员在ScienceDirect、Web of Science、SpringerLink和IEEE Xplore四个电子数据库中进行了全面文献检索,最终检索于2025年9月15日完成,覆盖2021至2025年间发表的论文。检索词涵盖“驾驶员状态检测”“驾驶员监控”“接管准备度”“有条件自动驾驶”“L3级自动化”等系统相关术语,以及“疲劳”“困倦”“分心”“信任”“工作负荷”“接管性能”等构念相关术语,并包括“EEG”“眼电图”“心率变异性”“转向熵”“眼动追踪”等方法与信号相关术语。纳入标准包括:考察驾驶场景中的驾驶员状态检测、识别或评估;使用生理或行为评估、摄像头系统、车辆动态传感器或多传感器融合技术;使用经验证的行为工具并提供与接管准备度相关的证据;报告经验性行为或心理测量结果并给出定量结果或分类指标。排除标准包括:2021年前发表(除非为基础性贡献)、非英文发表、仅关注完全自动驾驶(L4–5级)或完全手动驾驶(L0–1级)且与有条件自动化无关的研究。最终纳入85篇论文。研究人员采用QUADAS-2(诊断准确性研究质量评估工具2)的改编版本进行偏倚风险评估,涵盖驾驶员选择、指标测试、参考标准、流程与时机四个领域,并使用RoBVIS(偏倚风险可视化工具)进行汇总。由于研究设计、驾驶员状态定义和实验情境存在显著异质性,未进行定量元分析,而是采用叙述性和主题性综合方法。
三、研究结果
3.1 视觉感知:高采用率,可靠性波动
视觉方法是被综述文献中采用最多的感知模态(n=22项研究),但其报告性能因研究设置和数据集而异。使用RGB摄像头的系统在受控条件下取得了高精度,如基于CNN的YOLOX和RetinaFace分心检测系统报告平均目标检测精度达97.1%,3D-CNN-LSTM困倦检测架构达95.3%,Inception-ResNet人脸识别分类器在标准基准上达98.4–99.2%。然而,这些高数值在自然驾驶条件下经常无法迁移。使用近红外摄像头的用户特定RBF-SVM困倦检测器报告无数值精度,归因于光照和遮挡条件下的性能波动;基于红外摄像头的注视区域估计系统精度在73.1%至83.1%之间,取决于时段和是否佩戴眼镜。基于定制VGG-19架构的面部情绪识别在FER2013及相关数据集上仅达66%。这一模式表明,性能下降问题源于感知原理本身,而非特定硬件选择。
3.2 生理感知:信号一致性以实用性为代价
生理感知(主要为EEG、ECG、EOG和EDA)在所采用的研究中产生了一致的信号输出。堆叠自编码器和注意力LSTM系统应用于EEG、面部EMG、脉搏率、呼吸和GSR数据,在模拟器研究中达98.63%精度;多分支深度CNN融合EEG、EDA和ECG信号在留一受试者交叉验证下达82%;LSTM应用于三层EEG信号在列车驾驶情境下达85.6%。基于ECG衍生特征的集成分类器在VR驾驶模拟器中达64–74%精度。腕戴式传感器的经典ML比较(KNN、SVM、RF、XGBoost、LightGBM)在PPG和EDA数据上达88.7%二分类和85.6%三分类精度。然而,许多生理研究的共同局限是设备侵入性:可穿戴电极阵列限制了驾驶员活动,在消费级L3系统中若无显著小型化进展则难以被接受。
3.3 车辆性能感知:结构化数据,代表性有限
转向熵、SDLP和踏板压力作为驾驶员注意力代理指标的使用在综述文献中代表性不足。广义帕累托分布应用于模拟器衍生的接管时间数据,对老年驾驶员实现90.38%分类精度;LightGBM分类器基于变道前驾驶特征达92.3%。然而,大多数车辆性能研究未报告分类指标,而采用重复测量ANOVA等方法提供经验验证的行为指标。该模态的主要局限是生态效度:产生的行为线索高度依赖于特定模拟器设计和接管事件配置,限制了研究结果在不同实验设置间的泛化性。
3.4 多模态融合:性能优势与实现权衡
多模态融合方法(结合两种或以上感知模态)在所有报告指标上持续产生均衡的性能特征。多传感器融合系统结合皮电反应、驾驶模拟器输出和网络摄像头数据进行情绪分类,达92.0–92.9%精度;结合ECG、EDA、视频和RF/SVM/NN分类的真实高速公路研究达97.8%精度。融合方法能够弥补单一模态的瓶颈,提供更稳健的驾驶员状态表征。然而,较高性能均在受控实验条件下取得,依赖于精确的传感器同步、稳定的信号质量、可靠的缺失数据处理和增加的计算资源。因此,多模态融合不仅应通过分类精度或指标覆盖范围来评判,还应考察其延迟、实现复杂度、对真实驾驶条件的鲁棒性以及持续车载监测的可行性。
3.5 数据流架构与实时约束
综述识别出四种主导数据流架构:直接行为检测流水线(视觉系统处理链短、延迟低,但性能依赖环境条件);生理信号特征工程流水线(需噪声滤波、信号分段和伪迹去除,提高可解释性但引入处理延迟);端到端深度学习流水线(减少手动特征工程但需大数据集和大量计算资源);多模态融合流水线(架构最复杂,需并行预处理和特征提取,面临异构数据流的时间同步挑战)。综述指出,许多研究未明确区分离线与实时检测系统。L3级接管监测必须在有限的接管窗口内确定驾驶员准备状态,而非事后分类。先前研究考察的接管请求时间约为3–12秒,平均驾驶员接管时间约为3.25–3.63秒,这使最小化感知、预处理和推理延迟尤为重要。边缘计算可将驾驶员状态检测模型从离线分析转化为实时车载部署。
3.6 数据与报告方法不一致
综述揭示了报告和解释中的若干问题。传感器结果、数据收集环境和报告方法的不一致性阻碍了跨文献结果的可比性。单指标和多指标研究的存在导致性能解释缺乏平衡。精度、F1分数、AUC和灵敏度的报告频率在感知模态间存在显著差异。这种不一致性很重要,因为驾驶员状态检测通常关注识别罕见但安全关键的状态,而非简单最大化总体正确分类。跨研究数值比较应谨慎解读,因为报告值受驾驶员状态标签、类别分布、采样策略、感知模态、实验任务、模拟器保真度、环境条件和验证程序差异的影响。
3.7 驾驶员状态构念定义不一致
分心等构念通过不同操作化测量进行研究,包括行为指标、生理标记、次要任务表现和模拟器任务操纵。这些方法并非必然矛盾,可能提供同一潜在构念的互补测量;但阈值、时间窗口、任务设计和地面真值标准的差异可能导致跨研究的标签和评估出现显著变异。使用2x2分类表的研究对真阳性、假阳性、假阴性和真阴性的变异非常敏感,类别平衡的任何变化都会导致灵敏度、特异性和F1分数的显著变化。
3.8 方法论异质性
RoBVIS评估显示,70%的研究在指标测试领域被评定为低风险,但高风险评级主要集中在参与者选择和流程与时机领域。两个领域间的70个高风险实例表明,许多研究使用非代表性样本、传感器数据与行为/视觉/生理数据之间存在时间滞后且未同步。参考标准领域有22个高风险评级,可归因于依赖主观地面真值定义而非客观物理标准。
四、讨论总结与结论翻译
讨论部分总结: 综述识别出五个高优先级研究空白:缺乏L3特定基准数据集;驾驶员状态构念定义和操作化不一致;多样化驾驶员群体代表性不足;真实世界和纵向验证不足;缺乏性能评估最低报告标准。在政策层面,UN法规第157号要求配备自动车道保持系统的车辆集成驾驶员可用性识别系统,欧盟法规2019/2144进一步强制要求驾驶员困倦和注意力警告系统,凸显了可靠驾驶员状态监测的监管重要性。
结论部分翻译: 本综述评估了有条件自动驾驶中驾驶员状态检测与识别的最新进展,基于主要发表于2021至2025年间的85项研究。综述显示,感知模态和建模方法已取得显著进展,但该领域仍受限于可靠性、可比性和真实世界适用性方面的局限。视觉系统在受控条件下可实现高分类精度,但在真实世界光照、遮挡和头部运动变化下性能下降;生理感知方法提供更稳定和内部一致的驾驶员状态指标,但受限于侵入性和大规模部署时的实用性降低;车辆性能方法无侵入性但利用不足且缺乏稳健分类框架;多模态融合方法持续展现更均衡和可靠的性能,但引入同步、计算和系统集成方面的额外复杂性。该领域以显著碎片化为特征,缺乏统一的驾驶员状态定义,数据收集环境、实验方案和性能报告实践不一致,评估指标报告失衡,参与者选择、参考标准定义和多模态数据集时间同步方面存在反复出现的偏倚风险。未来研究必须从模型精度的增量改进转向更结构化和标准化的研究框架,包括制定统一定义和分类体系、采用一致的多维评估指标以及开展更多真实世界研究。只有通过改进标准化、方法论严谨性和真实世界验证,驾驶员状态检测系统才能达到L3级自动驾驶所需的安全水平。