《ICT Express》:Human–machine interface control and intelligent platform for steering wheels: a review and future directions
编辑推荐:
随着自动驾驶的兴起,方向盘已由机械装置演变为集成监测、反馈与交互功能的智能人机接口(HMI)。本文综述智能方向盘(ISWs)的最新进展,聚焦三个领域:智能监测(例如基于传感器与机器学习(ML)的健康与疲劳检测)、智能反馈(触觉、热觉、视觉与扭矩模态)以及智能交
随着自动驾驶的兴起,方向盘已由机械装置演变为集成监测、反馈与交互功能的智能人机接口(HMI)。本文综述智能方向盘(ISWs)的最新进展,聚焦三个领域:智能监测(例如基于传感器与机器学习(ML)的健康与疲劳检测)、智能反馈(触觉、热觉、视觉与扭矩模态)以及智能交互(手势、触摸及与车载系统集成的多模态输入)。研究人员强调ISWs在提升安全性、舒适性和人机协作方面的潜力,同时概述相关挑战与未来研究方向。
研究背景方面,随着自动驾驶发展,SAE International将自动驾驶分为Level 0至Level 5六个等级,当前产业正从Level 2(部分自动化)向Level 3(有条件自动化)过渡。尽管Audi(Volkswagen)和Tesla等已推出部分自动化功能,多数车辆仍要求驾驶员在收到接管请求(TOR,takeover request)后准备接管;技术瓶颈、法规空白和信任问题使完全自动化渐进实现。在完全自动化实现前,驾驶员仍对车辆运行负责,需保持与方向盘接触;即使高级自动驾驶成为常态,特定情形下仍需人工接管作为安全冗余,因此方向盘仍是未来驾驶场景不可或缺的部件。自Alfred Vacheron于1894年在Panhard et Levassor 4HP上安装方向盘、Ford Model T于1908年引入后,方向盘逐步标准化;一个世纪以来,其由纯机械控制装置演变为集成交互、感知和智能反馈的人机接口(HMI,human–machine interface)。该综述将方向盘智能化分为传统控制方向盘、多功能集成方向盘和智能控制方向盘三阶段,后者包括驾驶员状态监测、健康监测和智能交互方向盘,是研究重点。现有问题在于:智能方向盘(ISWs,intelligent steering wheels)通过传感器支持状态识别、疲劳检测和健康监测,并通过触摸/手势交互减少中控视听操作分心;但相关研究分散于传感器技术、交互设计和人工智能等领域。已有综述多聚焦触觉辅助、车道偏离预警、车内触觉接口或车联网健康监测框架,常局限于孤立技术域,缺少在ISW情境下对驾驶员监测、多模态反馈和人机交互的系统整合。ISW设计是多学科复杂工程,传感、反馈和交互功能相互依赖,例如触觉反馈与驾驶员状态监测和界面设计紧密耦合,但很少统一分析。因此,需要从整合视角综述ISWs关键技术和研究进展。该综述系统评述ISWs的多模态监测、反馈和交互,提供连接传感、反馈、交互机制与驾驶员状态意识和控制性能的统一框架;通过综合近期进展,说明这些技术如何协调以增强驾驶员感知、反应效率和安全,并讨论应用与未来方向。其重要意义在于为ISWs作为未来自动驾驶人机接口提供结构化参考,指出ISWs在提升安全、舒适和人机协作方面的潜力,同时概述挑战和未来研究方向。
关键技术与方法(≤250字):该研究为综述性研究,未涉及试剂、培养或质粒构建,未报告样本队列来源。主要采用文献归纳与分类比较:按侵入式与非侵入式梳理驾驶员状态监测,比较生物特征(脑电图(EEG,electroencephalogram)、心电图(ECG,electrocardiogram)、眼电图(EOG,electro-oculogram)、肌电图(EMG,electromyogram)、表面肌电(sEMG,surface electromyography)等)与行为特征(方向盘运动(SWM,steering wheel movement)、方向盘转角(SWA,steering wheel angle)、握力)方法;归纳触觉(振动、触觉引导、皮肤形变、温度)、视觉(屏幕、LED)反馈及屏幕/手势交互;比较性能、部署阶段和优缺点;最后归纳未来趋势、技术障碍和所需突破。
研究结果:
2 智能监测:基于方向盘的驾驶员状态监测。综述指出驾驶员疲劳、突发疾病或过度压力显著提高事故风险,方向盘传感可实时捕获生理和行为信号以推断状态;系统分侵入式和非侵入式,后者因舒适实用而广泛应用。
2.1 基于生物特征的状态监测。生理测量提供客观数据;方向盘与手持续接触,可承载传感器连续监测。
2.1.1 驾驶员疲劳监测。综述EMG/sEMG疲劳监测,多数EMG系统较侵入;有研究将可拆卸sEMG传感器置于方向盘并筛选有效生物信号,但准确性依赖手位;EEG因设备大、佩戴不便而未作为重点。
2.1.2 驾驶员综合健康监测。有研究将聚偏二氟乙烯(PVDF,polyvinylidene fluoride)、温度、压阻等传感器嵌入方向盘采集脉搏、呼吸、皮温和握力;也有非侵入血压、ECG/光电容积脉搏波(PPG,photoplethysmography)/惯性测量单元(IMU,inertial measurement unit)集成;部分系统结合物联网(IoT,Internet of Things)将信号传至云或急救系统,实现远程健康跟踪和异常警报;多传感器和多模态融合可改善分类性能,但需时间同步、跨传感器校准和运动伪影鲁棒性;ML用于压力、困倦、心脏健康和认知负荷分类,但面临标注数据、跨用户泛化和可解释性挑战。
2.1.3 驾驶员酒精摄入检测。有研究通过皮肤接触生理信号估计血酒精浓度(BAC,blood alcohol concentration),准确率可达93%,也有基于呼气乙醇传感器(如MQ3)监测呼气酒精,并通过微控制器实时评估损害水平。
2.2 基于驾驶行为特征的疲劳检测。车辆运动和控制是疲劳检测指标,方向盘操作是敏感标记;综述比较SWM、SWA和握力三类方法。
2.2.1 SWM与疲劳检测。通过方向柱传感器捕获运动数据评估偏离中性位置,疲劳时纠正转向减少;加速度计SWM方法准确率80.65%,人工神经网络(ANN,artificial neural network)模型约90%,但实施成本高、对道路曲率和转向角敏感。
2.2.2 SWA与疲劳检测。疲劳时转向精度下降、纠正频率降低;研究用角度变化率、位移和振荡行为,模糊递归神经网络87.30%,多尺度自适应模型93.71%,近似熵和决策树类分类器82.07%,SWA+ECG达94%,多模态融合改善性能。
2.2.3 方向盘握力与疲劳监测。握力变化反映身心状态;压力敏感系统验证可行性,后续结合多传感器和算法;统计阈值、小波特征和主观困倦评分;握力方法识别率86.6%(个别88.3%),支持向量机(SVM,support vector machine)平均75%,作为非侵入接触式技术有应用潜力。
3 智能反馈:增强驾驶员感知。反馈系统根据监测结果和车辆状态通过合适接口清晰及时传递信息;随着信息娱乐和自动化功能增加,心理负荷和分心风险上升,触觉、视觉、听觉多模态警报可降低认知负荷、增强意识、减少模式混淆并建立信任。
3.1 触觉反馈。多资源模型认为不共享资源的任务干扰小;触觉通道在注意力过载时提高安全;触觉反馈比单独视觉更快并降低负荷;分触觉警告和触觉引导。
3.1.1 振动反馈系统。嵌入电机提供触觉信号传递驾驶状态或消息;振动触觉显示可传方向信息,转向刺激平均识别率88.4%、反应时1.59 s,最高95.0%、2.03 s;车道偏离预警系统(LDWS,lane departure warning system)中不对称振动有效,触觉提示提高车道保持且不增加认知负荷;部分扭矩偏移振荡被认为侵入并降低控制感;振动LDWS已商业化。
3.1.2 触觉引导系统。通过转向扭矩支持车道保持和曲线行驶;模拟器显示扭矩触觉降低视觉需求、增强路径跟随;脉冲扭矩警告转向反应时约0.30–0.45 s;弱引导更可靠;共享控制中驾驶员和系统共同影响扭矩;解耦共享控制增强信任和直观性。
3.1.3 皮肤形变反馈。通过拉伸或按压皮肤传递方向或连续提示;指尖皮肤拉伸提高变道准确性,比振动更能表示方向、位置和速度;旋转环±2.5 mm、2.34 N提供方向提示;旋转表面11.4 N和双脉冲达98.5%正确转向率;嵌入螺线管皮肤推压反馈对非关键信号识别81.3%。
3.1.4 温度反馈。热反馈用于导航方向盘,转向方向热提示导航警告识别94.2%、转向决策91.7%;热+振动触觉多数信息识别超90%,特定双模态最高99%;但热反馈识别时间较长,低紧迫性提示漏报多;热刺激解释受任务情境和意义影响。
3.2 视觉反馈。主要通过屏幕显示和灯光视觉提示,信息容量和感知特性不同。
3.2.1 基于屏幕的视觉反馈。中控屏视觉反馈增加分心可能;方向盘作为直接控制接口可整合车辆状态反馈,降低认知负荷并直观理解模式;Li Auto L8等验证嵌入显示屏的实用性。
3.2.2 基于光的视觉反馈。LED集成方向盘可传达自动化状态和驾驶任务;研究用颜色、亮度、模式传达燃油经济性、自动化状态、预期转向信息和紧急警告。
4 智能交互:便捷的人机交互。交互使驾驶员回应系统提示并主动参与,形成感知-响应闭环;驾驶员分心约占80%碰撞因素,车载设备是常见来源;多层触屏增加认知和视觉负荷;方向盘交互设计目标减少手动、视觉和认知分心;比较屏幕和手势交互。
4.1 基于屏幕的交互模式。方向盘空间用于娱乐、导航或手机控制;触屏替代物理按钮增加操作复杂性和视觉负担;方向盘触觉交互将次要任务转移至触觉接口,手不离开方向盘提高安全;嵌入屏幕显示车内控制状态;有研究开发HMI逻辑框架和动态布局,方向盘HMI指标优于中控;双小触屏在手动驾驶时停用触摸板并在抬头显示(HUD,head-up display)显示界面;单击交互适合低需求任务;屏幕手写输入比中控减少25%纠正和残余错误;触屏+触觉键盘支持L3自动驾驶办公任务。
4.2 基于手势的交互模式。手势自然直观,不需精确触摸目标,降低视觉需求;评估操作时间、错误率、识别准确率、认知负荷和任务适用性;实现方式包括触摸板、按钮和压力传感器;后侧滑动/按钮+HUD文本输入系统可用性量表(SUS,System Usability Scale)69.4/100,支持手不离开方向盘4.3/5;后侧滑块按钮盲文键盘SUS 73.75/100,240字符21错误约8.8%;拇指触摸板选择时间静止12.02 s、驾驶14.93 s;拇指手势界面可学习;受抑全内反射(FTIR,frustrated total internal reflection)多触摸方向盘手势在导航和收音任务中界面注视减少58.1%和77.2%,视觉注意时间减少59.7%和67.1%,车道偏差无显著恶化,但仅模拟器验证;点击滑动+HUD视听提示;多触摸+语音选择+手势微调,309/312任务生成有意义手势99.0%,86.7%为简单方向手势;触觉反馈触摸板NASA任务负荷指数(NASA-TLX,NASA Task Load Index)负荷显著低于传统方向盘(p<0.01),但功能有限;眼动+按钮减少手动操作;压力传感器WheelSense离线87%、模拟驾驶82%、SUS 84/100;120红外传感器+SVM平均轻扫识别92%;互电容传感器改善语音接口效率并降低负荷;但多受控实验、用户差异、信号鲁棒性、误激活和自适应识别模型限制。
讨论部分:
5 未来趋势与挑战。自动驾驶是汽车产业主要趋势;ISWs成为促进自动驾驶的必要媒介;未来趋势包括多样驾驶员监测、无缝过渡反馈接口、多模态自然交互、增强非驾驶相关任务(NDRTs,non-driving related tasks)参与,对应智能检测、反馈、交互和新应用场景。
5.1 多样驾驶员监测技术。L3条件自动化可能要求驾驶员恢复控制,疲劳驾驶员接管可能无法处理突发情况;需实时检测注意力、疲劳和认知负荷;关键挑战为运动伪影、手接触不稳、跨用户/车泛化、大规模自然数据集、成本和集成复杂度;需自适应多模态传感框架、标准化评估、大规模自然驾驶数据集、低成本嵌入式传感与处理;Rising Auto R7(2023)已集成心率(HR,heart rate)、ECG和呼吸率监测,但振动、颠簸和握力变化会降低信号质量。
5.2 无缝过渡反馈接口。TOR后驾驶员须短时间内恢复控制,需要面向TOR场景的界面;多模态反馈有潜力提高接管准备,但一致可靠多模态交互仍难,尤其非传统方向盘和动态条件;当前反馈多基于预定义警告,未充分考虑驾驶员准备、注意和负荷变化;未来应从固定警告转向自适应控制过渡接口,动态调整反馈时机、模态和强度;共享控制扭矩触觉引导和多模态反馈可改善控制恢复;结合状态监测可实现个性化交接。
5.3 与ISW的多模态自然交互。未来方向盘接口通过跨语音、手势和注视(gaze)动态分配交互任务,降低手动、视觉和认知负荷;挑战包括模态选择、交互一致性和用户偏好适应;需情境感知多模态交互框架;线控转向(steer-by-wire)使方向盘不再限于圆形,支持椭圆或半方向盘及触觉面板、手势传感等新交互;但新形式带来熟悉度、心智模型和信任校准挑战;需精确用户心智模型和反馈策略。
5.4 增强驾驶员在NDRT中的参与。未来方向盘支持通信、办公和娱乐等NDRT;不同任务交互需求不同:通信低视觉需求快速信息交换,生产力高输入精度,娱乐强调舒适连续;需任务自适应交互策略;线控转向提供布置和交互布局灵活性,支持“移动办公室”愿景;但需平衡生产力与驾驶员可用性,尤其快速回接管;需考虑任务需求、驾驶员状态和接管要求的情境感知交互管理。
研究结论(翻译):本文系统综述了现代汽车应用中ISWs的最新进展。综述涵盖传感器集成、信号处理、基于ML的驾驶员监测、触觉与多模态反馈以及交互创新,重点关注这些技术如何促进驾驶员监测、控制过渡和人–车交互。还分析了现有技术的优势、局限和部署挑战,概述了ISWs的当前发展状态和未来方向。未来ISW发展需要自适应驾驶员监测、情境感知反馈接口、多模态交互框架和任务自适应车载应用的进步。特别是,稳健的多模态传感、大规模真实世界验证、标准化评估协议和可解释的自适应算法对于提高系统可靠性和实际部署至关重要。同时,未来研究不仅应考虑技术性能,还应考虑迈向高度自动驾驶过程中的驾驶员信任、接受度、安全性和法规要求。总体而言,ISWs有望从传统控制装置演变为自适应人–车交互平台。通过集成传感、反馈和智能交互能力,ISWs可能成为支持未来自动驾驶车辆中更安全、更高效人–车交互的关键接口。