《Frontiers in Robotics and AI》:Interpretable driver behavioral state monitoring using facial landmarks for human-autonomous vehicle interaction
编辑推荐:
摘要
引言: 行为感知型机器人系统既需要准确的人类状态识别,也需要透明的机器意图,以支撑信任与安全协作。本研究提出一个面向自动驾驶汽车的集成框架,该框架将实时车辆状态可视化界面与基于校准驱动的面部行为状态识别模块相结合。
方法: 采用一辆配备线控驱动(driv
摘要
引言: 行为感知型机器人系统既需要准确的人类状态识别,也需要透明的机器意图,以支撑信任与安全协作。本研究提出一个面向自动驾驶汽车的集成框架,该框架将实时车辆状态可视化界面与基于校准驱动的面部行为状态识别模块相结合。
方法: 采用一辆配备线控驱动(drive-by-wire)与激光雷达(LiDAR)的北极星GEM e6(Polaris GEM e6)自动驾驶汽车作为试验平台。基于机器人操作系统(ROS)与Foxglove Studio构建的实时人机交互界面(Human-Machine Interface,HMI)对定位、目标检测及驾驶状态进行可视化。同时,基于视觉的行为监测系统采用英特尔实感L515(Intel RealSense L515)相机、MediaPipe与OpenCV提取面部关键点。通过个体校准建立眼纵横比(Eye Aspect Ratio,EAR)、嘴纵横比(Mouth Aspect Ratio,MAR)及头部旋转角度的中性基线。基于实时阈值的有穷状态模型支持五种行为状态的数据采集:中性、闭眼、超出安全区域、打哈欠及快速眨眼。经典分类器(支持向量机(Support Vector Machine,SVM)、随机森林(Random Forest,RF))与深度学习架构(卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN))在受控室内数据集上采用分层k折交叉验证(k=10)进行训练,并在独立室外数据集上进行评估。
结果: HMI提供了稳定、实时的车辆状态与感知可视化,而面部监测系统实现了约98.5%的人脸检测成功率。在线启发式模型能够识别行为状态并支持高质量数据采集,所捕获特征与中性状态相比具有显著的克鲁斯卡尔-沃利斯(Kruskal-Wallis)统计差异:闭眼(EAR,p<0.001)、打哈欠(MAR,p<0.001)、快速眨眼(眨眼率,p<0.01),而超出安全区域状态不显著(头部旋转,p>0.05)。分层交叉验证的准确率与F1分数(F1-score)达到约91%(SVM与RF)。在室外测试数据上,SVM保持了其性能,而RF因跨会话变异与特征模糊性降至约70%的F1分数。深度学习架构的测试F1分数(约80%)与启发式基线模型(约81%)相当。SVM是最稳定且性能最优的分类器,其混淆主要集中于超出安全区域与中性状态之间。
结论: 透明界面设计与个性化校准相结合,支持以人为本的自主性。该机器学习框架提供了可解释的监测能力,而实时可视化增强了态势感知,二者共同促进了行为响应型且透明的人机交互平台的发展。
论文解读:面向人机共驾的可解释驾驶员行为状态监测框架
一、研究背景与问题提出
自动驾驶汽车(Autonomous Vehicle,AV)技术近年来发展迅速,在改善出行便利性、缓解交通拥堵和提升道路安全方面展现出巨大潜力。然而,用户信任与接受度不足仍是制约其大规模推广的关键瓶颈。随着车辆自动化程度不断提升,人类角色从主动驾驶员转变为监督使用者,这对人机交互提出了全新要求:一方面,用户需要理解系统行为逻辑;另一方面,系统必须能够解读人类状态与意图。
当前自动驾驶系统面临的核心问题之一,是决策与通信过程透明度有限。即便车辆具备成熟的感知与规划能力,用户往往难以获得关于车辆内部推理、环境感知或预期动作的充分信息,这种缺乏直觉交互的体验易引发困惑、不适与信任下降,尤其在需要共享控制或人工接管的场景中更为突出。因此,检测用户的注意力、压力、疲劳或脱离等状态,对于保障安全交互与有效接管就绪度至关重要。
在驾驶员监测系统(Driver Monitoring System,DMS)领域,传统方法多依赖脑电图(Electroencephalography,EEG)、心电图(Electrocardiography,ECG)、心率变异性(Heart Rate Variability,HRV)、皮肤电活动(Electrodermal Activity,EDA)及语音分析等生理信号。这些信号虽能提供压力、负荷或疲劳的深层洞察,但通常需要专用传感器,在消费级车辆中部署存在侵入性或实用性不足的问题。相比之下,基于面部特征的分析已成为车内行为状态识别中最实用、最具扩展性的途径之一。基于相机的系统可利用现代车辆已配备的非侵入式传感器持续监测面部表情、眼部运动与头部朝向,眼纵横比(Eye Aspect Ratio,EAR)、嘴纵横比(Mouth Aspect Ratio,MAR)、视线方向及头部姿态等特征可为注意力、疲劳、分心与情绪状态提供有效指示。
然而,现有行为状态识别系统的一个关键局限在于对复杂机器学习(Machine Learning,ML)黑箱模型的依赖。在自动驾驶这类安全关键领域,自动化决策必须保持可解释性与可说明性,使研究人员、系统设计者与用户能够理解行为状态如何从生物特征信号中推断得出。可解释模型有助于改进系统验证、促进调试,并通过透明推理增强用户信任。
二、研究内容与核心结论
针对上述挑战,本研究提出一个面向人机共驾的可解释面部行为状态识别框架。该框架利用非侵入式面部特征(EAR、MAR、头部旋转、眨眼率)刻画驾驶员行为状态,通过计算机视觉技术提取特征,并采用有监督机器学习模型区分与注意力、疲劳及分心相关的用户状态。系统在配备座舱相机的自动驾驶车辆平台上完成实现与评估,并通过结构化校准与验证协议生成带标签的行为数据,支撑可解释分类模型的训练与评估。
研究得出以下核心结论:结合透明界面设计与个性化校准可有效支持以人为本的自主性;机器学习框架提供了可解释的监测能力,实时可视化增强了态势感知,二者共同促进了行为响应型且透明的人机交互平台发展。
三、关键技术方法
研究人员采用以下主要技术方法:其一,以北极星GEM e6(Polaris GEM e6)社区电动车(Neighborhood Electric Vehicle,NEV)为试验平台,该平台经PACMod升级实现全车线控驱动(drive-by-wire),集成双Velodyne VLP-16激光雷达(LiDAR)、前向Triton 3.2 MP相机及NovAtel GNSS-IMU定位系统,基于ROS与Autoware.ai软件栈实现自动驾驶功能;其二,构建基于ROS与Foxglove Studio的实时人机交互界面(HMI),可视化定位、目标检测与驾驶状态;其三,采用英特尔实感L515(Intel RealSense L515)深度相机配合MediaPipe Face Mesh提取每帧468个三维面部关键点,计算EAR、MAR及基于透视n点(Perspective-n-Point,PnP)算法的头部姿态角;其四,设计个体校准协议建立中性基线阈值,并基于阈值有穷状态模型实现五种行为状态的实时识别与数据标注;其五,训练经典分类器(线性核支持向量机(SVM)、随机森林(RF))及深度学习模型(人工神经网络(ANN)、卷积神经网络(CNN)、门控循环单元(GRU)、长短期记忆(LSTM)),采用分层k折交叉验证(k=10)评估室内训练集性能,并在室外独立测试集上验证跨会话泛化能力。
四、研究结果
4.1 各行为状态的面部特征分析
面部监测系统以约16.66帧/秒的速率在960×540分辨率下运行,人脸检测成功率约98.5%。训练数据集包含2,332个处理帧,测试数据集包含2,257个处理帧。时间序列分析显示,各状态呈现显著特征模式:闭眼状态EAR值显著降低,打哈欠状态MAR值显著升高,超出安全区域状态头部旋转角明显偏离,快速眨眼状态眨眼率显著增加。特征空间散点图表明,基于校准阈值的启发式模型能够整体区分各行为状态。克鲁斯卡尔-沃利斯(Kruskal-Wallis)检验及邦费罗尼(Bonferroni)校正的事后比较显示,所有特征在状态间均存在显著差异(p<0.001)。具体而言,EAR有效区分闭眼与中性及超出安全区域状态(p<0.001),MAR有效区分打哈欠与中性(p<0.001)及快速眨眼(p<0.01)状态,眨眼率显著区分快速眨眼与中性(p<0.01)及闭眼(p<0.001)状态。
4.2 机器学习驾驶员状态分类
采用分层k折交叉验证(k=10)评估SVM与RF分类器性能。基于SVM一对多(One-vs-All)配置的受试者工作特征(Receiver Operating Characteristic,ROC)曲线显示,闭眼与快速眨眼状态的平均曲线下面积(Area Under the Curve,AUC)最高(98%),其次为打哈欠(95%)、中性(89%)与超出安全区域(88%)。SVM在训练集上达到91%准确率与91% F1分数,RF达到92%准确率与91% F1分数,均优于基线启发式模型(71%准确率、61% F1分数)。在室外测试集上,SVM保持90%准确率与89% F1分数,优于启发式模型的81% F1分数;其混淆矩阵显示除超出安全区域(66%)与中性(31%)间存在混淆外,其余状态均表现优异。RF在测试集上降至82%准确率与70% F1分数,主要混淆出现在闭眼(47%)与超出安全区域(67%)被误判为中性。
4.3 深度学习驾驶员状态分类
超参数调优显示,2与4个神经元存在欠拟合,16个神经元过拟合,8个神经元为最优选择。序列长度增加会加剧所有GRU与CNN架构的训练过拟合,最优序列长度为5。在测试集上,ANN表现最差(1D:70%准确率/75% F1分数;2D:63%/54%;3D:67%/61%),2D-CNN(74%/76%)与LSTM(78%/78%)居中,GRU(80%/80%)与1D-CNN(78%/80%)为深度学习架构中最佳,但均未超越启发式基线F1分数。平均混淆矩阵显示,GRU在中性与超出安全区域间取得较好平衡(74%、79%),CNN偏向非中性状态预测,ANN严重偏向非中性预测导致中性状态仅49%识别率。
五、讨论与结论
讨论部分指出,本研究探索了人机交互的两个互补维度:通过HMI实现系统透明度,以及通过面部特征DMS实现行为感知。结果表明,EAR、MAR与头部姿态等生物特征在跨会话间具有可解释性与一致性,能够提供有意义的驾驶员行为状态指示,这种透明度对建立信任与支持可解释模型的实际部署至关重要。相比之下,许多基于CNN与RNN的深度学习方案虽可达到较高精度并受益于自动特征提取,但通常需要大规模数据集且作为黑箱模型运行,可解释性有限。本研究提出的显式面部指标方法直接反映行为线索,兼具可解释分类与持续监测能力,轻量级特征集与分类器表明该系统可实时实现。
结论部分翻译如下:将透明界面设计与个性化校准相结合,可支持以人为本的自主性。该机器学习框架提供了可解释的监测能力,而实时可视化增强了态势感知,二者共同促进了行为响应型且透明的人机交互平台的发展。