敏捷驾驶员视角下车辆危险征兆场景提取方法

《Electronics》：A Method for Extracting Vehicle Dangerous Omen Scenarios from the Perspective of Agile Drivers Longfei Chen, Xiaoyuan Wang, Jingheng Wang, Han Zhang, Chenyang Jiao, Bin Wang, Kai Feng and Cheng Shen

本文针对自动驾驶模型训练缺乏大量第一人称危险征兆场景数据的问题，提出了一种基于敏捷驾驶员视角的危险征兆场景提取方法。研究通过实车与虚拟驾驶实验，采集驾驶员脑电（EEG）、心电（ECG）与眼动数据，利用统计检验与隐马尔可夫模型（HMM）精准识别驾驶员的危险征兆感知状态，从而提取对应场景，为端到端自动驾驶模型训练提供了关键样本，显著提升了车辆危险预判能力。

　　

在自动驾驶技术飞速发展的今天，如何让汽车像经验丰富的“老司机”一样，不仅能识别眼前的危险，更能提前感知到潜在的“危险征兆”，成为一个至关重要却又充满挑战的课题。这种“危险征兆”是危险的前奏，出现在异常发生之后、危险情况出现之前，若能提前捕捉，将能有效预防事故发生。然而，现有研究对驾驶员感知危险征兆时的生理心理特征揭示有限，更缺乏从驾驶员第一人称视角系统提取这类场景的有效方法，导致无法为训练高级别自动驾驶模型提供充足的数据“养料”。

为了解决这一瓶颈，一篇发表于《Electronics》的研究提出了一种新颖的解决方案。该研究旨在从具备敏捷感知能力的驾驶员视角出发，提取车辆危险征兆场景。研究团队设计并实施了实车与虚拟驾驶实验，精心构建了两种典型的“鬼探头”场景，招募了67名能感知危险征兆的驾驶员参与。实验过程中，同步采集了驾驶员的脑电图（EEG，一种记录大脑电活动的技术）、心电图（ECG，记录心脏电活动）和眼动数据，以期捕捉驾驶员在不同感知状态下的生理“密码”。

为了完成这项研究，作者们主要运用了以下几项关键技术：1) 多模态生理数据采集与预处理技术：在实车和虚拟环境中同步采集EEG、ECG和眼动信号，并进行滤波、伪迹去除等预处理；2) 基于局部变点分析的EEG时点判定技术：结合视频回放与驾驶员自述，利用统计方法精确判定驾驶员感知危险征兆和危险情境的具体时间点；3) 非参数统计检验方法：使用柯尔莫戈洛夫-斯米尔诺夫（K-S）检验和克鲁斯卡尔-瓦利斯（K-W）检验，分析驾驶员在无危险感知（NPD）、危险征兆感知（PDO）和危险情境感知（PDS）三种状态下的生理特征差异；4) 隐马尔可夫模型（HMM）建模技术：利用HMM构建驾驶员感知状态转移模型，用于从连续的生理数据中自动识别和提取PDO状态对应的第一人称场景。

研究结果

• •
  2. 实验：研究成功设计了实车与虚拟驾驶实验流程，筛选了符合条件的驾驶员参与者，并完成了多模态生理数据的采集。
• •
  3. EEG数据局部变点统计分析：通过结合EEG变点检测与驾驶员询问，研究准确确定了驾驶员感知危险征兆（t₁）和危险情境（t₂）的时间点，为后续数据分段提供了依据。
• •
  4. 不同感知状态下驾驶员的生理特征分析：统计检验表明，驾驶员在NPD、PDO和PDS三种状态下的α、β、θ、δ、γ脑电波及凝视速度（GV）、左右瞳孔直径（LPD， RPD）等眼动特征存在显著差异，而ECG特征无显著差异。这证实了驾驶员确实能清晰区分危险征兆与危险情境，且其EEG和眼动模式会发生特异性改变。
• •
  5. 基于隐马尔可夫模型的驾驶员感知状态转移模型：研究构建了以NPD、PDO、PDS为隐藏状态，以EEG、眼动等特征为观测序列的HMM。该模型能够表征驾驶员感知状态的转移规律，并可利用前向-后向算法等对未知驾驶过程的感知状态进行解码，从而实现危险征兆感知时段（PDO状态）的自动、精准识别。

结论与意义

本研究的核心结论是，具备敏捷感知能力的驾驶员能够清晰区分危险征兆（PDO）与危险情境（PDS），并且其脑电与眼动特征在这三种感知状态（NPD， PDO， PDS）下存在可量化的显著差异。基于此，研究成功构建了驾驶员感知状态转移的隐马尔可夫模型。这项工作的最终产出，是一套能够从驾驶员连续的第一人称视角数据流中，自动、准确地提取出“危险征兆感知”对应时段场景的方法。

这项研究的意义重大。首先，在理论上，它首次系统揭示了驾驶员感知危险征兆时的生物特征，深化了对驾驶员认知过程的理解。其次，在方法上，它将驾驶实验、生理测量与状态建模相结合，为驾驶行为与状态分析提供了创新方法。最重要的是，在应用上，该方法能够批量提取高质量的危险征兆场景数据，为训练端到端（End-to-End）自动驾驶模型提供了至关重要的“困难样本”和“前瞻性样本”，有望直接赋能自动驾驶系统，使其学习人类驾驶员优秀的危险预判能力，从而显著提升行车安全，推动高级别自动驾驶技术的发展。