基于多任务脑电图深度学习框架的认知和心理状态感知自动驾驶，用于危险感知、信任预测、认知负荷估计和脑机接口集成

《Engineering Applications of Artificial Intelligence》：Cognitive and mental state-aware autonomous driving with multi-task electroencephalography-based deep learning framework for hazard perception, trust prediction, cognitive load estimation, and brain–computer interface integration

　　

摘要

自动驾驶系统越来越需要在动态且认知复杂的环境中安全运行，然而相较于车辆感知与规划，车内乘员的认知和心理状态研究仍然十分匮乏。本文提出了一种基于脑电图（EEG，即脑电活动记录）的多任务深度学习框架，涵盖与自动驾驶相关的四个认知状态任务：危险感知、信任预测、基于EEG与心率变异性（HRV）融合的认知负荷估算，以及脑机接口（BCI）运动想象分类。该框架首先在基于五个开源数据集（DEAP、DREAMER、PhysioNet、SEED、OpenNeuro）结构特征所构建的生理参数化合成EEG信号上进行开发；五种分类器——随机森林、极端梯度提升（XGBoost）、支持向量机、卷积循环神经网络（CNN-RNN）以及EEG Transformer——在此合成基准上均达到了接近天花板的准确率，这反映的是模拟中内置的可分离性，而非现实世界中的可解码性。为直接验证这一点，该框架随后在来自PhysioNet（21名受试者，运动想象）和DREAMER（23名受试者，使用效价/唤醒评分作为信任相关情感和认知负荷的代理变量，并结合心电图衍生HRV进行多模态融合）的真实人类记录上进行验证。在真实数据上，被试内准确率为51%–77%，而被试独立评估下准确率降至44%–59%——在某些任务中等于或低于随机猜测水平；置换检验和与合成信号的频谱对比有助于解释这一差距。真实HRV融合为认知负荷估算带来了适度但真实的提升（较仅用EEG提高4.8个百分点），这与合成数据的结果不同。没有公开的含有危险感知范式的可用数据集可用于真实数据验证，此处明确报告为一项局限性。总体而言，这些合成数据与真实数据的结果共同为自动驾驶中基于人工智能的神经生理学人体状态监测提供了一个基准，该基准透明地展示了已验证的内容与在实时车载部署前仍需验证的内容。

引言

自动驾驶及半自动驾驶车辆的普及，为智能交通系统领域带来了前所未有的机遇与挑战。现代L3–L5级自动驾驶车辆不仅需要感知和导航复杂的物理环境，还越来越需要理解和响应车内乘员的认知与情感状态（SAE International, 2021; Tiwari and Farag, 2025）。乘员舒适度、情境意识和对自动化的信任，已被公认为自动驾驶环境中安全且成功的人机交互的关键决定因素（Ayoub et al., 2022; Zhang et al., 2019）。

脑电图（EEG）为实时认知功能的神经相关机制提供了高时间分辨率、无创的观测窗口，涵盖注意力、工作负荷、唤醒度和情绪效价等（Nunez and Srinivasan, 2006; Cohen, 2014）。直接从脑活动解码心理状态的能力，对能够动态适应其行为——速度、警示、通信方式——以匹配推断出的乘员状态的下一代车辆具有变革性意义（Fairclough and Gilleade, 2014; Dong et al., 2011）。尽管脑机接口研究（Wolpaw and Wolpaw, 2012）和驾驶员监控系统（Krajewski et al., 2009）取得了重大进展，但面向自动驾驶的统一多任务EEG框架仍然缺乏。

本文通过提出并评估一个全面的认知状态感知自动驾驶管线来弥合这一空白，该管线涵盖四个互补任务。第一，危险感知建模利用额部EEG的beta和theta功率升高来检测乘员对威胁性交通场景的感知（Parasuraman et al., 1998; Li et al., 2015）。第二，自动驾驶系统中的信任预测利用CNN-RNN架构捕捉的时间动态，利用后部alpha不对称性作为系统依赖的神经标志（Heerink et al., 2008; Khastgir et al., 2018）。第三，认知负荷估算将EEG频谱特征与心率变异性（HRV）指标融合——特别是LF/HF比率和RMSSD——以产生稳健的多模态工作负荷指示器（Strangman et al., 2002; Mulder, 19192）。第四，脑机接口模块从mu和beta事件相关去同步化（ERD）模式中解码左右手运动想象，实现直接的乘员到车辆的通信（Birbaumer et al., 1999; Lotte et al., 2018）。

该框架将五种机器学习模型——随机森林、XGBoost、支持向量机（RBF核）、CNN-RNN和EEG Transformer——基于DEAP（Koelstra et al., 2012）、DREAMER（Katsigiannis and Ramzan, 2018）、PhysioNet EEG运动/运动想象数据库（Schalk et al., 2004）、SEED（Zheng and Lu, 2015）和OpenNeuro ds003004（Hsu et al., 2022）数据集的频谱特征所构建的生理参数化合成EEG信号进行基准评估。全面评估包括分类准确率、AUC、F1分数、混淆矩阵、ROC曲线、特征重要性分析、t-SNE潜空间可视化以及地形图波段功率映射。

本工作的主要贡献如下：
- 提出了一条统一的多任务EEG管线，在单一实验框架内整合了与自动驾驶相关的四个认知状态任务。
- 系统比较了经典机器学习基线方法与最先进的深度学习架构（CNN-RNN和EEG Transformer）在EEG分类任务上的表现。
- 展示了多模态EEG-HRV融合对认知负荷估算的益处。
- 利用15幅图和8个表格进行了全面的定性和定量分析，包括特征重要性图、t-SNE嵌入、地形图波段功率图和雷达图。

本文其余部分组织如下：第2节回顾相关工作；第3节描述数据集和数据模拟方法；第4节提出方法和模型架构；第5节详细介绍实验设置；第6节报告结果；第7节讨论研究结果；第8节总结。

章节片段

自动驾驶及高级驾驶语境中的EEG

将EEG应用于驾驶员和乘员监测有着悠久的历史，始于对驾驶员疲劳和困倦检测的研究（Lal and Craig, 2001; Kaplan et al., 2015）。最近，研究重心转向刻画更高层次的认知状态——包括情境意识、工作负荷以及对自动化接管请求的情绪反应——这些状态与自动驾驶语境更为相关（Aricò et al., 2018; Zander and Kothe, 2011）。额部theta功率……

参考数据集

所提出的框架借鉴了五个开源EEG数据集的结构参数和生理特征。表5（第6.5节）提供了详细的数据集参考。简要说明：DEAP（Koelstra et al., 2012）提供了来自32名参与者在音乐诱发情绪诱导过程中32通道EEG和外围生理信号；DREAMER（Katsigiannis and Ramzan, 2018）提供了来自23名参与者的14通道EEG和心电图（ECG）；PhysioNet EEG运动/运动想象数据库（Schalk……

信号预处理

每个模拟EEG片段经带通滤波（0.5–45 Hz，四阶Butterworth滤波器）并通过对片段均值进行减法进行基线校正。功率谱密度（PSD）采用Welch方法计算（nperseg=256, fs=128 Hz）。手工特征包括：(1) 五个经典频段各自的绝对波段功率；(2) theta/alpha比值；(3) beta/alpha比值；(4) 片段均值；(5) 片段标准差；(6) 超额峰度。每个通道计算这8个特征，产出……

原始EEG信号对比

图1展示了三种认知状态——危险感知、高信任和中性/基线——下代表性的单通道原始EEG片段（额部通道Fp1，DEAP布局）。

目视检查确认了状态依赖的振幅调制：危险感知片段表现出升高的频率振荡（beta/gamma频段），信任片段显示出较慢、振幅较高的alpha频段振荡，而中性片段呈现中间模式。

功率谱密度分析

图2呈现了功率谱密度……

训练动态

图5展示了CNN-RNN和EEG Transformer在所有四个任务上25个epoch的训练损失和验证准确率收敛曲线。CNN-RNN在所有任务中均在10–15个epoch内实现快速收敛，达到接近完美的验证准确率。EEG Transformer收敛较慢，特别是在危险感知和信任预测任务上，这与基于注意力的架构通常需要更多数据的一般特点一致（Zhang et al., 2021）。两种模型均表现出稳定的……

性能分析与模型比较

结果表明，在合成EEG信号的四个认知状态任务上，基于手工特征的分类器和深度学习模型均能实现接近完美的分类性能。CNN-RNN模型在所有任务中均达到了完美准确率（1.000），这得益于其同时建模空间（CNN）和时间（BiLSTM）EEG特征的能力。这一发现与越来越多的文献一致，这些文献确立了混合空间-时间架构作为……

结论

本文提出了一种面向认知和心理状态感知自动驾驶的综合多任务EEG深度学习框架。该框架在单一统一管线中同时解决四个互补问题——危险感知、信任预测、认知负荷估算和BCI运动想象分类——并使用五种机器学习模型进行评估。在生理参数化合成EEG上，CNN-RNN和经典基线方法达到了接近天花板水平的……

作者贡献声明

I. Mohamed Shiek Mothi：写作——审阅与编辑，写作——初稿撰写，可视化，软件，方法论，形式化分析，概念化。U. Sabura Banu：写作——审阅与编辑，资源，调研，数据整理。M. Mohamed Ismail：可视化，验证。

代码可用性

完整的Python实现管线——包括EEGDataSimulator、第6.13节中使用的真实数据加载与验证管线（PhysioNet和DREAMER加载器、特征提取、统一评估协议以及真实EEG-HRV融合）、CNN-RNN、EEG Transformer以及所有可视化代码——作为补充材料提供。

资助

本研究未获得公共、商业或非营利部门任何资助机构的专项资助。

利益冲突声明

作者声明他们没有任何已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

I. Mohamed Shiek Mothi | U. Sabura Banu | M. Mohamed Ismail