面向新手驾驶员的基于混合深度神经网络的多模态情绪识别建模

《Future Internet》:Hybrid Deep Neural Network-Based Modeling of Multimodal Emotion Recognition for Novice Drivers Jianzhuo Li, Ye Yu, Zhao Dai and Panyu Dai

【字体: 大 中 小 】 时间:2026年04月23日 来源:Future Internet 3.6

编辑推荐:

  驾驶员情绪识别是降低交通事故的重要方法。现有多数研究主要以经验型驾驶员为研究对象,而忽视了驾驶经验不足的新手驾驶员。然而,新手驾驶员由于驾驶过程中的高心理负荷,容易发生情绪失控,进而导致严重交通事故。因此,为了实现对新手驾驶员情绪的识别并进行及时预警,研究人员

  
驾驶员情绪识别是降低交通事故的重要方法。现有多数研究主要以经验型驾驶员为研究对象,而忽视了驾驶经验不足的新手驾驶员。然而,新手驾驶员由于驾驶过程中的高心理负荷,容易发生情绪失控,进而导致严重交通事故。因此,为了实现对新手驾驶员情绪的识别并进行及时预警,研究人员提出了一种基于多模态信息的情绪识别模型。该模型由面部特征提取模块、眼动特征提取模块和分类器组成。面部特征提取模块使用ViT-B/16(Vision Transformer-Base/16)提取新手驾驶员的面部特征。眼动特征提取模块为包含双向长短期记忆网络(Bi-LSTM)与Transformer的混合网络,用于提取新手驾驶员的眼动特征。面部特征与眼动特征经融合后输入分类器。分类器可输出新手驾驶员的五类主要情绪:惊讶、愤怒、平静、快乐和其他。实验结果表明,该模型能够准确识别新手驾驶员情绪,识别准确率达到98.72%,优于其他模型。
该文发表于《Future Internet》,聚焦交通安全场景中的新手驾驶员情绪识别问题。研究背景在于,情绪状态会直接影响驾驶行为、注意分配与风险应对能力,尤其对驾驶经验有限的新手驾驶员而言,高心理负荷、风险感知不足以及对突发事件的高敏感性,使其更易出现情绪波动并诱发交通事故。既有驾驶情绪识别研究多围绕经验型驾驶员展开,重点关注愤怒、焦虑、疲劳等状态,而对新手驾驶员这一高风险群体的专门研究相对不足。此外,传统单模态情绪识别方法往往依赖脑电(EEG,脑电图)、心电(ECG,心电图)、皮电(EDA,皮肤电活动)等生理信号,尽管这些信号在情绪识别中具有一定效果,但在自动驾驶或辅助驾驶场景中存在采集复杂、侵入性较强、可能干扰驾驶行为等局限。相比之下,眼动追踪与面部表情图像具有非侵入、获取便捷且更适合驾驶场景部署的优势,但单一模态又容易受到光照、个体差异、表情伪装及弱情绪特征不明显等因素影响,因此开展融合眼动与面部表情的新手驾驶员多模态情绪识别研究具有明确的现实必要性。

围绕上述问题,研究人员提出了一种面向新手驾驶员的混合深度神经网络多模态情绪识别模型,整体框架由面部特征提取模块、眼动特征提取模块、门控加权融合模块(GWF,Gated Weighted Fusion)以及多层感知机分类器(MLP,Multi-Layer Perceptron)构成。其中,面部特征提取采用ViT-B/16(Vision Transformer-Base/16),以增强对驾驶场景中关键面部区域的全局建模能力;眼动特征提取采用Bi-LSTM(Bi-Directional Long Short-Term Memory,双向长短期记忆网络)与Transformer encoder相结合的混合结构,以同时刻画眼动序列的时序依赖与长程关联;在多模态融合阶段,研究引入自设计的GWF模块,对面部特征与眼动特征进行动态加权整合,以克服简单拼接带来的信息冗余与固定权重融合的不足。基于问卷筛选出的高唤醒“场景-音频”刺激材料,研究人员在模拟驾驶实验中同步采集眼动轨迹与面部表情数据,并建立新手驾驶员多模态情绪数据集,用于完成惊讶、愤怒、平静、快乐和其他五类情绪的识别。

从研究结论看,该模型在新手驾驶员五分类情绪识别任务中达到98.72%的准确率,整体性能优于其他对比模型。消融实验表明,多模态方案优于仅使用面部图像或仅使用眼动数据的单模态方案;融合策略方面,GWF较简单特征拼接进一步提升3.27%的准确率;眼动分支方面,Bi-LSTM+Transformer encoder的混合结构优于单独使用Bi-LSTM或Transformer。研究还在AFFEC、SEED-IV和AffectNet三个公开情绪数据集上进行了附加验证,结果显示该模型在一般情感识别任务上也具有较好的稳健性与统计学显著优势。该研究的重要意义在于,将研究对象从一般驾驶员进一步聚焦到事故风险更高的新手驾驶员,提出了面向特定驾驶场景的多模态识别框架,为车载情绪监测、风险预警与智能驾驶人机交互系统提供了可扩展的方法基础。

研究使用的主要技术方法可概括如下:首先,通过387份问卷结合卡方检验与对应分析(CA,Correspondence Analysis)筛选典型驾驶音效与情绪的关联,并据此构建实验刺激材料。其次,在32名18–25岁有效样本的新手驾驶员中开展静态图像与动态视频模拟驾驶实验,同步采集眼动数据与面部表情图像。随后,对眼动数据按5 s时间窗切片形成约500 × 17维序列输入,对面部图像统一缩放至224 × 224并归一化。建模阶段采用ViT-B/16提取面部特征,以Bi-LSTM+Transformer encoder提取眼动时序特征,再通过GWF模块进行自适应融合,并由MLP完成五类情绪分类。

5.1. Training Parameters of the Model
在模型训练设置方面,实验样本包含眼动数据集与面部图像数据集,各有30,000个样本,五类情绪每类均为6000个样本。研究以受试者为单位将样本划分为五个子集,采用五折交叉验证,每次使用四个子集训练、一个子集验证。模型训练30个epoch,batch size为32,初始学习率为10?3,优化器为Adam,损失函数为交叉熵。该设置为后续性能评估与模型比较提供了统一基础。

5.2. Evaluation Indexes
在评估指标方面,研究采用准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1-score综合衡量模型性能。结果显示,所提模型在新手驾驶员情绪分类任务中表现稳定,多个指标的置信区间均显示出较好的平衡性,说明该方法不仅具有较高识别精度,也具备一定鲁棒性,具有面向实际驾驶场景部署的潜力。

5.3. Results of the Ablation Experiment
该部分通过消融研究系统验证不同模态、不同融合策略及不同眼动建模组件对性能的贡献。

5.3.1. Modality Ablation Results
在模态消融中,研究分别比较了仅使用面部图像、仅使用眼动数据以及融合两者的多模态方案。结果表明,多模态识别准确率最高,说明面部信息与眼动信息之间具有明显互补性。单独使用面部图像时性能相对较弱,提示在驾驶任务中,仅依赖面部表情难以充分捕捉细粒度情绪差异。进一步比较融合策略后发现,采用GWF的动态门控加权融合优于简单特征拼接,准确率提高3.27%。这说明门控机制能够根据不同模态在当前样本中的贡献自适应分配权重,从而增强有效信息、抑制噪声干扰。混淆矩阵分析进一步揭示,仅用面部图像时,平静类最易与其他类或愤怒类混淆,原因在于低唤醒情绪的微表情特征较弱;引入眼动数据后,这一混淆现象显著减轻,说明眼动信号在弱表情条件下提供了关键补充信息,但平静与其他类之间仍存在一定混淆,提示低唤醒情绪仍是后续提升重点。

5.3.2. Model Ablation Results
在模型结构消融中,研究重点考察眼动特征提取分支内部组件的作用。结果显示,在仅使用眼动数据的单模态实验中,Bi-LSTM+Transformer encoder混合结构的识别效果优于单独Bi-LSTM或单独Transformer;在多模态实验中,这一趋势同样成立。由此可见,Bi-LSTM擅长建模局部与双向时序依赖,Transformer encoder则在建模全局上下文与长距离依赖方面具备优势,两者结合可更充分挖掘眼动信号中的情绪线索,是该模型性能提升的重要来源。

5.4. Comparative Experiments on Different Datasets
为验证模型的普适性,研究人员在三个公开数据集AFFEC、SEED-IV与AffectNet上进行了比较实验,并严格遵循各数据集原始标签体系与官方设置,不对标签进行手工合并。AFFEC实验使用眼动与面部双模态,SEED-IV实验仅使用眼动分支,AffectNet实验仅使用面部分支。结果表明,所提模型在三个数据集上均取得最高准确率与macro-F1,且5折交叉验证标准差较低,性能提升具有统计学显著性(p < 0.05)。分情绪类别结果亦显示模型无明显类别偏置,说明其在一般情绪识别任务中同样具有稳定、均衡的特征提取与融合能力。论文同时强调,这些数据集并非驾驶场景数据集,因此相关结果仅用于支持模型架构的普适有效性,而非直接证明其在真实新手驾驶场景中的场景特异有效性。

5.5. Comparative Experimental Results
在与其他深度学习方法的综合对比中,研究表明所提方法在多模态情绪识别任务上优于现有方法。该结果说明,本文提出的结构并非简单叠加ViT、Bi-LSTM与Transformer,而是通过针对性场景设计、结构优化及门控融合机制实现了更优性能,尤其适用于具有非典型表情模式和复杂眼动行为的新手驾驶员情绪识别。

Discussion
讨论部分首先指出,眼动数据反映个体在情绪状态下的注意分配与视觉信息加工,面部表情则是情绪的直观外显,二者结合能够从多角度分析情绪状态,弥补单模态方法的不足。实验结果证明,融合Bi-LSTM与Transformer encoder能够显著提升识别性能,多模态条件下准确率达到0.9872,表明时序建模与全局依赖建模的协同对于眼动情绪识别尤为关键。去除Bi-LSTM后,准确率与F1-score下降,进一步证明眼动数据中蕴含的重要情绪线索依赖于时间演化过程的刻画。

论文同时客观总结了研究局限。首先,样本规模有限,且研究对象集中于18–25岁青年新手驾驶员,年龄范围较窄、文化背景有限,影响结论的外推性。其次,情绪刺激材料主要覆盖常见驾驶场景,尚未纳入真实道路环境中更复杂、更突发的高压事件。再次,模型仅在实验室模拟环境中验证,尚未在真实驾驶场景中进行系统测试,因此其在复杂动态环境中的适应性与稳定性仍需进一步确认。讨论还指出,不同年龄层新手驾驶员在社会经验、认知能力和反应速度方面存在差异,因此该模型在26–35岁及36岁以上群体中的识别效果可能有所不同。尽管如此,文中给出的推理效率结果显示,该多模态模型每批样本平均处理时间为29.42 ms,单样本平均处理时间为0.9230 ms,低于驾驶人机交互场景常见的100–200 ms时延阈值,说明其具备较好的实时响应潜力。与此同时,研究者也指出实际部署仍面临感知噪声、车载嵌入式平台资源限制以及真实交通环境高度动态复杂等挑战。

结论部分可译为:本文通过结合眼动追踪技术与面部表情图像分析,对新手驾驶员情绪状态进行研究,以降低事故风险。由于驾驶经验有限,新手驾驶员在突发情境中更易出现情绪脆弱性,因此理解其情绪状态对于道路安全具有重要意义。研究人员同时采集了主观问卷数据与客观眼动数据,并提出了一种融合ViT、Bi-LSTM和Transformer的混合深度神经网络。该模型在新手驾驶员五分类情绪识别任务中取得了98.72%的准确率,且优于基线方法。为进一步验证所提架构的普适优势,研究人员又在三个公开情感数据集AFFEC、SEED-IV和AffectNet上开展了广泛实验。需要强调的是,这些数据集均为非驾驶通用数据集,因为目前尚无公开可用的新手驾驶员专用情绪数据集。研究严格遵循各数据集原始标签与设置,未对标签进行修改。结果表明,所提模型在三个数据集上均取得统计学显著的优越性能,验证了其在一般情感识别中的普适有效性,但这些结果仅支持模型向驾驶任务扩展的潜力,而不构成其在特定驾驶场景中的直接有效性证明。基于本研究的不足与已有成果,后续工作将从扩大样本规模并优化样本结构、丰富情绪刺激材料、以及将模型嵌入车载系统并在真实环境中加入感知噪声抑制预处理后反复测试和优化等方面继续推进。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号