基于维度情绪引导的条件调制方法用于情境感知的多模态驾驶情感识别 沈伟（Wei Shen）， Mou行刚（Xingang Mou）， 伊静（Jing Yi） 乐松青（Songqing Le）

《Applied Sciences》：Dimensional Emotion-Guided Conditional Modulation for Context-Aware Multimodal Driver Affect Recognition Wei Shen, Xingang Mou, Jing Yi and Songqing Le

　　摘要
驾驶员情绪识别是智能驾驶舱系统的核心支柱，在提高驾驶安全性和优化人机交互中发挥着关键作用。尽管最近的多模态方法整合了车辆传感器数据，但由于车辆遥测数据与情绪状态之间的固有噪声和弱语义相关性，传统的融合范式经常遇到性能下降的问题。为了解决这些挑战，本研究引入了一种维度情绪引导的多任务（DEGM）框架，这是一种新架构，旨在明确形式化视觉和车辆模态的不对称角色。该方法不是采用简单的特征串联，而是将多变量车辆数据映射到一个连续的Valence–Arousal–Dominance（VAD）空间中，以表征特定驾驶环境中的潜在情绪倾向。这些预测的维度随后作为语义先验，通过特征级线性调制（FiLM）机制条件性地调节全局面部表示，从而实现稳健且可解释的跨模态交互。此外，该框架采用多任务学习策略，共同优化离散情绪分类和连续维度回归，利用后者作为结构正则化器来精炼潜在特征空间。在对公开PPB驾驶情绪数据集的全面评估中，提出的DEGM取得了87.50%的竞争准确率和0.8727的加权F1分数。结果验证了我们的框架为上下文感知情绪感知提供了一个轻量且稳健的范式，显示出在智能交通系统中实际应用的强大潜力。

1. 引言
驾驶在现代社会中是一种普遍存在但风险极高的活动，其安全性与公共交通系统的稳定性和个人的生理福祉密切相关。越来越多的研究表明，道路交通事故受到驾驶员行为模式和认知状态的深刻影响，情绪波动在塑造感知、注意力分配和决策过程中起着关键作用[1,2]；例如，高度焦虑、极度愤怒或长时间的低唤醒状态会显著损害驾驶员的风险评估和环境意识，从而增加碰撞的可能性。因此，实现准确且稳健的驾驶员情绪识别已成为发展先进驾驶辅助系统（ADAS）和实现智能驾驶舱内直观人机交互（HMI）的基石。驾驶员情绪识别的主要挑战源于驾驶环境的固有复杂性和情绪表达的微妙性质。一方面，驾驶任务带来的认知负荷和行为约束往往导致明显情绪线索的抑制；因此，在这些情境中，面部表情通常表现为强度低、波动快和持续时间短[3]。另一方面，现实世界的驾驶场景引入了多种干扰因素——如非均匀照明、突然的头部姿势变化和部分遮挡——这阻碍了稳定的特征提取。为了缓解这些挑战，当代研究转向了多模态感知，整合了视觉线索、语音和生理信号[4,5,6]。在这些模态中，生理信号（包括脑电图（EEG）和皮肤电反应）可以直接反映自主神经系统的波动。然而，获取这些信号通常需要基于接触或半侵入式的传感器，这增加了部署成本，并可能干扰自然驾驶行为，从而限制了它们的生态有效性[7]。语音信号也有类似的限制，因为驾驶本质上不是一项连续的口头任务，语音特征经常受到语义内容和环境噪声的干扰。相比之下，面部形态提供了一个丰富的、非侵入式的情绪状态推断通道，使其成为智能车辆研究中非言语情绪识别的主要模态[8]。早期的研究主要依赖于带有手工制作特征的传统机器学习框架来从静态图像中分类情绪[9]。然而，这些方法通常缺乏处理驾驶过程中典型的微妙和时变表达所需的通用性和稳健性。深度学习的出现使得通过卷积神经网络（CNN）和循环神经网络（RNN）联合建模时空特征成为可能，例如CNN-LSTM架构[10]。最近，基于Transformer的框架由于其优越的全局建模能力而在基于视频的任务中受到了关注[11]。尽管如此，在不利条件下，仅依赖视觉模态仍然不足，因为性能经常由于感官噪声或信息丢失而下降。

除了明显的面部线索外，车辆还生成连续的多变量传感器流——如速度、加速度、转向角和踏板位置——这些信号反映了驾驶行为与外部环境之间的复杂相互作用。这些信号易于获取，并隐含地编码了驾驶员的心理状态；例如，不规则的纵向控制通常是压力或焦虑的症状。然而，车辆信号具有“弱情绪语义”，将它们作为独立的情绪分类模态通常只能带来边际收益。因此，现有文献往往将车辆数据局限于行为分析，缺乏系统化框架来形式化其在情绪识别中的作用。为了弥合这些差距，本研究认为，车辆信号更有效地用作上下文感知先验——捕捉环境的隐含约束——而不是与面部表情等效的情绪模态。我们提出了一种维度情绪引导的多任务（DEGM）框架来形式化这种不对称交互。在这种架构中，车辆时间信号被建模为预测连续情绪维度（Valence–Arousal–Dominance，VAD），以表征驾驶情境。这些预测的维度随后作为语义指南，通过特征级线性调制（FiLM）机制条件性地调节面部视频特征，使视觉表示与当前驾驶情境保持一致。同时，该框架采用多任务学习策略，其中连续维度回归作为结构正则化器，增强了离散情绪分类的稳定性和区分能力。

本工作的主要贡献总结如下：
- 不对称多模态形式化：我们提出了一种维度情绪引导的条件调节框架，明确地模拟了面部和车辆数据的不对称角色。通过将车辆情境映射到连续的VAD空间，我们实现了比传统对称融合范式更可解释和稳健的跨模态交互。
- 多任务协作优化：我们将驾驶员情绪识别表述为一个联合优化问题。这种多任务方法利用维度回归作为结构正则化器，在噪声或弱上下文信号下显著提高了分类的稳健性和特征一致性。
- 层次化时空编码：我们引入了时空聚合和投影嵌入（STAP-Embed）模块用于面部视频编码。通过层次化聚合短期动态和长期依赖性，STAP-Embed保留了检测微妙面部微表情所需的细粒度时空线索。

2. 相关工作
2.1. 模态演变：从生理线索到视觉线索
驾驶员情绪识别（DER）旨在在复杂的车辆环境约束下解码情感状态，通常利用内部生理反应或外部行为线索。基于生理信号的方法，利用脑电图（EEG）、心电图（ECG）和心率变异性（HRV），对自主神经系统波动具有高敏感性[12]。然而，它们的实际应用仍受到需要专门且往往侵入式传感硬件的限制。正如最近的研究所强调的，多通道生理传感器可能会妨碍自然驾驶操作，从而损害捕获数据的生态有效性和真实性[13,14]。相比之下，面部表情作为一种非侵入性和信息密集的通道用于情感推断。早期研究主要依赖于静态图像，并使用手工制作的特征与浅层分类器[15]。随后向深度学习的转变，特别是卷积神经网络（CNNs），显著提高了从原始像素中提取区分性空间特征的能力[16]。然而，静态分析本质上未能考虑情感的时间演变。这一限制在驾驶场景中尤为重要，因为情感表现通常以低强度的微表情和快速转变为特征，需要细致理解时间动态。
2.2. 面部表情的时空建模
为了捕捉情绪的动态特性，研究人员转向了基于视频的识别方法，整合了时间建模组件。混合架构，如CNN与双向长短期记忆（BiLSTM）网络的组合，已被广泛采用来捕获时空依赖性[17]。最近，由于其在基于视频的任务中的优越全局建模能力，Transformer架构在动态面部表情识别（DFER）领域获得了关注[18]。尽管取得了这些进展，但许多基于Transformer的方法仍然需要将视频流分解成许多细粒度令牌。这一过程经常导致局部结构完整性的破坏，并带来巨大的计算负担——这对实时智能驾驶舱应用来说是一个关键缺陷。这突显了需要更高效的时空聚合策略，以在不产生过多开销的情况下保留细粒度的表达线索。
2.3. 上下文整合和多模态融合范式
将车辆衍生的遥测数据（包括转向角、加速度和踏板位置）作为补充模态的整合已成为一个有前景的研究方向。实证证据表明，驾驶行为与驾驶员的认知和情绪负担密切相关[21,22]。然而，车辆信号具有弱情绪语义，单独基于车辆的情绪分类通常表现不佳，有效利用这些数据仍然是一个未解决的挑战。当前的多模态融合策略通常分为早期（数据级）、晚期（决策级）和中间（特征级）融合。早期融合经常忽略视觉和机械模态之间的固有异质性，而晚期融合倾向于牺牲丰富的跨模态交互[23,24]。尽管基于注意力的中间融合通过动态加权不同特征提高了灵活性，但大多数现有框架将所有模态归类为“对称信息”来源[25,26,27]。这些范式未能明确模拟驾驶情境的不对称角色。与这些传统方法不同，我们所提出的工作不再将车辆信号视为平行的情绪模态。相反，我们将车辆数据重新定义为上下文先验。通过将这些信号映射到连续的维度情绪空间（VAD）并利用结果条件性地调节视觉特征，我们的框架促进了驾驶员环境与其表达线索之间更可解释、上下文感知且稳健的交互。

3. 方法论
3.1. 总体架构
我们提出了一个用于上下文感知驾驶员情绪识别的维度情绪引导的多任务学习网络（DEGM），如图1所示。所提出的框架包括四个核心组件：
- 基于所提出的STAP-Embed模块的面部视频编码器，
- 一个轻量级的车辆情境编码器，
- 一个维度情绪引导的条件调节模块，
- 以及一个用于离散情绪分类和连续情绪回归的多任务预测头。
与将不同模态视为同等信息源的传统多模态情绪识别框架不同，DEGM明确模拟了面部视频和车辆信号在驾驶场景中的不对称贡献。面部视频作为情感表达的主要载体，而车辆信号被视为反映驾驶条件和行为倾向的上下文线索，而不是直接的情绪表现。因此，车辆信号不会直接与面部特征融合。相反，它们首先被映射到一个连续的情绪维度空间（Valence–Arousal–Dominance），该空间捕获了驾驶情境引起的潜在情感倾向。然后，预测的维度表示作为语义指导信号，通过条件性的FiLM机制调节全局面部特征。这种设计在避免直接特征级融合中常见的噪声放大的同时，实现了可控的跨模态交互。

在面部方面，我们引入了STAP-Embed，这是一种层次化的时空嵌入策略，它在视频片段内聚合细粒度的短期面部动态和跨片段的长期时间依赖性。与传统的逐帧或基于令牌的Transformer编码器相比，STAP-Embed显著减少了时间冗余，同时在细微表情变化下保持了情绪区分动态。

最终，DEGM采用多任务学习策略，共同优化离散情绪分类和连续维度回归。维度回归任务不仅提供了补充监督，还规范了特征空间，鼓励分类决策和连续情感趋势之间的一致性。通过这种统一的架构，DEGM在弱相关和噪声较大的上下文信号下实现了稳健的情绪识别。

3.2. 面部视频编码器
面部视频编码器的目标是将输入的面部视频序列映射到一个具有强情绪辨别能力的紧凑时空表示中。设输入面部视频为
(1) 输入视频首先根据预定义的时间和空间尺度划分为一组不重叠的视频块。每个视频块包含一系列连续的帧，其长度为，旨在捕获局部时间动态。然后这些视频块由所提出的STAP-Embed模块处理。在嵌入阶段，视频块内的每个帧都通过卷积神经网络特征提取模块进行处理，以获得空间特征图。该模块包括两个标准卷积层和一个StarBlock，它们共同提取低级空间结构并执行通道级特征投影。因此，每个帧都被表示为一个空间特征向量。为了对每个视频块内的短期时间变化进行建模，空间特征向量进一步沿着时间维度进行编码。具体来说，特征序列首先被输入到一个双向LSTM中，以捕获细粒度的时间演化模式。BiLSTM的输出随后通过一个多头自注意力模块进行精细化处理，该模块动态地为各个时间步骤分配不同的权重，从而强调对情感区分更有信息量的帧。在块级时间建模之后，每个视频块由一个紧凑的特征向量表示。所有块级特征随后被重组成一个结构化的特征序列。这个序列被输入到一个分层变换器编码架构中，该架构包括一个空间变换器编码器，后面跟着一个时间变换器编码器。第一阶段是空间变换器编码器，其目的是捕捉每个时间切片内视频块之间的空间相关性。对于给定的时间索引，相应的块嵌入被重新塑造成一个序列。一个可学习的空间分类令牌被添加到序列的开头，形成空间编码器的输入。得到的序列通过一系列标准变换器层进行处理。在第i层，计算公式为...（此处省略了具体的计算公式）。这个过程在每个时间索引上独立应用，使模型能够学习对情感表达有信息量的空间配置模式，例如协调的面部动作。经过i层处理后，每个时间步骤的最终空间表示从相应的空间分类令牌中获得。第二阶段是时间变换器编码器，它模拟不同时间步骤之间的长期时间依赖性。所有的空间分类令牌被收集起来形成一个时间摘要序列。这种表示显著减少了序列长度，使得时间注意力计算更加高效。一个可学习的時間分类令牌被添加到序列的开头，形成时间编码器的输入。然后该序列通过具有相同结构的变换器层进行处理，其中自注意力机制模拟了整个视频中面部表情的时间演化。最终，面部视频由一个全局特征向量表示，该向量作为后续条件调制和多任务预测模块的核心输入。

3.3. 车辆环境编码器
车辆环境编码器旨在从多通道车辆传感器信号中提取与驾驶情绪相关的背景信息。设车辆传感器输入为...（此处省略了具体的输入表示）。考虑到车辆信号的特性，包括高噪声水平、不一致的采样频率和有限的数据规模，本工作没有直接采用深度时间模型来进行车辆信号编码。相反，构建了一种基于统计的表示方法，以获得一个鲁棒且紧凑的环境描述。具体来说，对于每个传感器通道，计算一组固定的统计描述符，包括平均值、标准差、最大值、最小值、时间变化率和异常值的比例。这些统计数据从全局分布特性和动态变化的角度表征了驾驶行为。来自所有传感器通道的统计特征沿着通道维度连接起来，形成一个固定长度的特征向量。这个过程没有引入可学习的参数，有助于减少模型复杂性并降低过拟合的风险。得到的统计特征向量随后通过一个轻量级的多层感知器进行映射，以获得一个低维的车辆环境表示。映射网络由线性层组成，后面跟着归一化、非线性激活和Dropout。输出维度被有意限制在一个相对较小的大小，确保车辆信息主要作为条件环境信号参与后续建模，而不是作为主导特征源。

3.4. 维度情感引导的条件调制
为了实现面部特征与车辆环境之间的有效交互，引入了维度情感引导的条件调制（DEGCM）机制。该模块的核心思想是首先从车辆信号中预测连续的情感维度，然后使用得到的维度信息来条件性地调制面部表示。具体来说，基于车辆统计特征，引入一个回归分支来预测一个情感维度向量。这个预测向量被解释为驾驶行为所暗示的预期情感状态，并作为跨模态交互的语义指导。在调制阶段，预测的情感维度向量被输入到一个轻量级的多层感知器中，以生成与面部特征表示相同维度的调制参数。然后应用逐特征线性调制（FiLM）机制来转换面部特征。通过元素级的缩放和移动，这种操作引导面部表示朝向车辆环境所指示的情感状态，同时保持原始特征的内在结构。因此，以一种受控和可解释的方式实现了跨模态条件建模。

3.5. 多任务学习预测头
在条件调制之后，得到的特征表示被共同用于离散情感分类和连续情感维度回归。在分类分支中，特征向量通过一个多层感知器，然后是一个Softmax层，以生成情感类别的概率分布。该分支使用交叉熵损失函数进行优化。在回归分支中，模型从相同的特征表示中预测连续的情感维度。输出范围受到Tanh激活函数的约束，并使用平滑L1损失进行监督。此外，仅基于车辆信号的情感维度预测分支也受到回归损失的约束，确保车辆环境学习明确受到维度情感监督的指导。整体训练目标被定义为分类损失和回归损失的加权组合。

4. 实验
4.1. 实验设置
所有实验都是在公开可用的PPB [28] 数据集上进行的。该数据集收集了40名参与者在240个驾驶任务中的心理数据、生理信号和驾驶行为数据。每个样本都用DES和SAM尺度标注了离散情感标签和连续情感维度值，包括七种分类情感——惊讶、恐惧、厌恶、悲伤、愤怒、中性和快乐，以及三种维度情感：愉悦度、唤醒度和支配性。PPB数据集中每个驾驶者的情感分布在各个类别上大致平衡。在训练之前，面部视频数据和车辆驾驶信号都经过了预处理。由于PPB中的视频包含驾驶员的上半身，首先进行了面部检测和裁剪，以分离出面部区域。具体来说，采用了轻量级的MTCNN [29] 面部检测框架来高效地从视频序列中提取面部图像。MTCNN是一个三层网络，可以分为三个层：P-Net、R-Net和O-Net。该模型采用了候选框加分类器的思想，可以同时平衡速度和准确性，并实现快速高效的面部检测。为了数据增强和时间采样，我们随机抽取了240个原始的30秒视频（30 FPS），并在固定间隔内进行分割，每个视频分成32个片段。从每个片段中随机选择一个帧，形成一个32帧的输入序列。这个过程对每个视频重复了三次，共得到了720个面部图像序列。所有序列继承了与其对应原始视频相同的离散情感标签和维度情感注释。图2展示了一个来自不同情感类别的示例序列。为了避免误解，我们澄清图2旨在作为代表性样本的定性说明，而不是一个独立的标签验证实验。情感标签是从官方PPB注释中继承的，这些注释是在原始数据集构建时使用标准化的DES和SAM协议生成的。因为与驾驶相关的面部表情通常强度较低且依赖于上下文，单个静态帧可能显得模棱两可（例如，悲伤与中性）。因此，本研究中类别的有效性主要通过序列级别的定量评估（准确率、F1分数、CCC、皮尔逊相关系数、RMSE）和保留的测试集上的混淆矩阵分析来评估，而不是通过对孤立帧的主观解释。

4.2. 比较实验
为了全面评估所提出的DEGM框架在驾驶员情绪识别方面的有效性和适用性，在相同的数据分割和实验设置下进行了系统的比较实验。DEGM与一系列代表性的基线方法进行了比较，包括基于时间建模、注意力机制和多模态融合策略的方法。这些方法涵盖了驾驶员状态分析和情感计算中的主流建模范式，共同反映了现有方法在不同时间依赖性和跨模态交互方面的性能上限。考虑到驾驶员情绪识别涉及离散情感类别分类和连续情感强度建模，所有方法都在两个互补的任务上进行了评估：任务1是离散情感分类，任务2是连续情感维度回归。对于任务1，采用准确率和F1分数来评估分类性能。对于任务2，使用一致性相关系数（CCC）、皮尔逊相关系数（PCC）和均方根误差（RMSE）来评估回归性能，这些指标共同衡量了预测一致性、线性相关性和绝对误差幅度。除了定量比较外，还使用了混淆矩阵和误差分布分析来可视化不同方法的预测行为。这些可视化提供了对不同情感类别和情感维度下模型特定优势和劣势的进一步洞察，从而为后续的实验分析提供了客观支持。在比较实验中，所提出的DEGM系统地与多种代表性的跨模态驾驶员情绪识别方法进行了比较，这些方法分别在离散情感分类任务（任务1）和连续情感维度回归任务（任务2）上进行了评估，结果如表1所示。可以观察到，DEGM在离散分类任务中表现最佳，获得了87.50%的最高准确率和87.27%的F1分数。与ConvLSTM、DDEC和MER-MFVA相比，DEGM的准确率提高了大约3-8个百分点，并且相比Former-DFER，准确率提高了约7%，展示了在离散情感识别方面的明显优势。表1显示了不同方法在任务1和任务2上的性能比较。这种性能提升还通过图3中的混淆矩阵进一步说明。与其他方法相比，DEGM在大多数情感类别的主对角线上显示出更高的集中度，表明预测更加稳定和一致。特别是，DEGM在SAD、AD和DD类别上的预测分布更加集中，而一些基线方法在SAD和SD类别之间出现了明显的类别间混淆。例如，MER-MFVA和MMA-DFER在SAD和SD类别之间的误分类率相对较高，而ConvLSTM和Former-DFER在FD类别上的召回率不足，导致预测更加分散。图3显示了不同方法在离散情感分类任务上的混淆矩阵。ND = 中性，HD = 快乐，SD = 悲伤，AD = 愤怒，DD = 厌恶，FD = 恐惧。在连续情感维度回归任务中，不同方法在不同评估指标上的表现各不相同。Former-DFER在CCC-Avg（0.8219）和Pearson-Avg（0.8383）方面取得了最高的数值，而DEGM的CCC-Avg为0.8211，Pearson-Avg为0.8333，与Former-DFER处于同一数量级。在误差指标方面，DEGM的RMSE-Avg为0.2793，接近Former-DFER的0.2782。维度分析显示，不同方法在愉悦度、唤醒度和支配度维度的性能有所差异，如图4中的误差分布所示。在愉悦度维度，DEGM和Former-DFER的误差分布较为集中，峰值接近零；而ConvLSTM和MMA-DFER的分布则更加分散，尾部较重。在唤醒度维度，误差分布通常比愉悦度和支配度维度更宽，包括MMA-DFER和ConvLSTM在内的几种方法在正负方向上都呈现长尾分布，表明其回归稳定性较低。在支配度维度，DEGM和Former-DFER的误差分布更为对称且集中，而MER-MFVA和DDEC则显示出更明显的偏移和分散。总体而言，可以观察到不同方法在离散情感分类性能与连续情感维度回归性能之间存在权衡。一些方法在相关指标（如CCC或Pearson）上表现较强，但分类准确性有限。相比之下，DEGM在保持竞争性回归性能的同时，在离散情感分类任务中表现出更高的整体性能。

4.3 激消实验
为了系统地分析所提出的DEGM中每个关键组件的有效性，在相同的实验设置下进行了一系列激消实验。具体研究了三个方面：（1）面部视频与车辆背景之间的不同跨模态交互策略的影响，（2）连续情感维度回归作为辅助任务的贡献及其与不同维度组合的关系，（3）通过移除基线组件来验证车辆模态和多任务学习的必要性。这些实验旨在量化每个设计选择的作用，并提供更深入的理解，了解上下文调制和维度监督如何影响驾驶员情感识别性能。
在跨模态交互策略的激消实验中，不同的融合和调制方案在离散分类任务和连续情感维度回归任务上都表现出显著的性能差异，表明跨模态交互的设计对驾驶员情感识别至关重要。如表2所示，简单的特征级融合方法（Add和Concat）在任务1上表现较好，Concat的准确率为85.64%，F1分数为85.69%。然而，这些方法在任务2上的性能提升有限，CCC-Avg值介于0.8168到0.8214之间，而RMSE约为0.284。相应的散点图显示，尽管总体预测趋势与真实值基本一致，但在中高情感范围内仍存在明显的分散。这一问题在支配度维度尤为明显，大量预测样本偏离对角线，表明简单的融合策略难以准确建模细粒度的情感强度变化。相比之下，无指导的FiLM方法在分类性能上没有明显下降，但在连续回归性能上显示出显著下降，CCC-Avg降至0.7698，RMSE增加到0.3161。散点图显示，在愉悦度和支配度维度上预测更加分散，尤其是在低情感范围内存在系统性偏移。这表明缺乏明确情感语义约束的调制机制难以稳定地将面部表征与车辆背景对齐。Cross-Attention方法在三个情感维度上表现出相对平衡的性能，分别达到了大约0.780、0.882和0.801的CCC值。尽管如此，其整体性能仍低于基于FiLM的方法。散点图显示，Cross-Attention在唤醒度维度上表现出更好的拟合趋势，但在支配度维度上仍然存在较大的方差，表明高自由度的注意力机制在车辆语义线索较弱时可能导致不稳定。这表明情感维度指导有助于车辆背景更有效地调节面部特征。需要注意的是，唤醒度维度的CCC值并未达到绝对最佳性能，并且与某些基线方法相比略有下降。此外，在高唤醒度范围内观察到少数异常值，表明基于维度的调制在建模高度动态和短暂的情绪变化时仍面临挑战。总体而言，该实验证实了跨模态交互对驾驶员情感建模的必要性，并表明带有情感维度约束的条件调制在大多数情感维度上提供了更稳定的建模能力。

为了定量评估连续情感维度作为辅助任务对离散情感分类的影响，进一步进行了不同维度组合的激消实验，总结见表3。当愉悦度、唤醒度和支配度共同优化时，模型获得了最佳的分类性能，准确率为87.50%，F1分数为87.27%，明显优于所有双维和单维配置。移除任何一个维度都会导致性能下降，不同双维组合的准确率分别降至80.55%、80.09%和78.70%。在单维配置下，性能进一步恶化，表明依赖部分情感维度不足以提供有效的离散情感类别区分约束。如图6所示，这种趋势在混淆矩阵中尤为明显。在三维联合建模下，大多数情感类别沿主对角线分布较为集中，而缺失或减少维度设置会导致类别间的混淆显著增加，尤其是在情绪强度或唤醒水平相似的类别之间。这些结果表明，不同情感维度在驾驶场景中起着互补作用，它们的联合建模提供了更加完整的连续情感结构以支持分类。基线激消结果见表4，相应的混淆矩阵见图7。完整的模型结合了面部模态、车辆模态和多任务学习，获得了最佳的分类性能，准确率和F1分数分别为87.50%和87.27%。当保留车辆模态同时移除维度回归辅助任务时，分类性能下降至82.40%/82.28%，表明车辆背景为面部情感特征提供了有效的补充信息。

5. 讨论
实验结果表明，DEGM在离散驾驶员情感识别方面具有明显的性能优势，同时保持了有竞争力的维度回归能力。如表1所示，DEGM在任务1上的准确率为87.50 ± 0.11，F1分数为87.27 ± 0.16，优于所有基线方法。与最强的分类基线（DDEC：准确率为83.79，F1分数为83.73）相比，DEGM分别提高了3.71点和3.54点；与Former-DFER相比，准确率提高了6.95点。这些改进表明，在面部线索微妙且上下文信息嘈杂的驾驶场景中，显式建模模态不对称性是有益的。同时，DEGM并没有在所有回归指标上都占据主导地位，这揭示了一个重要的权衡。在任务2上，DEGM的CCC-Avg为0.8211，Pearson-Avg为0.8333，RMSE-Avg为0.2793，与Former-DFER非常接近。这种接近的平衡表明，所提出的框架在保持鲁棒类别区分的同时，没有牺牲连续情感建模。在实际的智能驾驶舱设置中，这种平衡是可取的，因为以决策为导向的情感类别通常直接关系到下游干预逻辑，而维度输出提供了补充的趋势信息。
激消实验进一步解释了DEGM的有效性。在跨模态交互激消中（表2），DEGCM取得了最佳的整体性能（分类准确率为87.50/87.27，CCC-Avg为0.8468，RMSE-Avg为0.2793）。值得注意的是，移除维度指导（无指导的FiLM）会导致明显的回归性能下降（CCC-Avg从0.8468降至0.7698；RMSE从0.2793升至0.3161），同时分类性能也下降（F1从87.27降至85.57）。这一模式支持了该方法的核心假设：车辆信号作为语义受限的上下文先验比直接融合的情感特征更有效。多维度监督的贡献也得到了定量验证。表3显示，完整的VAD监督（V + A + D）获得了最佳的分类结果（准确率为87.50，F1分数为87.27），而所有双维或单维变体的性能较低（准确率大约介于74.07到80.55之间）。这证实了愉悦度、唤醒度和支配度提供了互补的约束，部分维度监督无法完全规范这个任务中的类别边界。
表4强调了模态和任务设计的互补作用。从完整模型（准确率为87.50/87.27）开始，移除车辆模态后性能降至82.40/82.28，移除维度辅助任务后降至84.72/84.77，同时移除两者后性能降至最低（77.31/77.19）。这些下降幅度表明，性能提升并非由单一组件单独引起，而是来自上下文条件调节和多任务正则化的协同效应。对混淆模式的一种解释是，残余误差部分是任务固有的，而不仅仅是模型引起的。如图3所示，DEGM在主对角线上提高了集中度，尤其是在SAD、AD和DD方面，但在视觉上相邻的低强度类别之间仍存在混淆（例如SAD与SD之间，以及某些基线中FD的召回率较低）。在真实驾驶中，情感表达受到注意力需求和行为抑制的限制，因此相邻类别之间的面部差异可能非常微妙。因此，多模态序列级建模是必要的，但即使采用改进的架构，仍存在一定的模糊性。
仍存在一些限制。首先，唤醒度是最不稳定的维度，这与较宽的误差分布和偶尔出现的高唤醒度异常值一致，表明对快速短暂动态的建模不足。其次，当前的车辆分支是基于统计的，虽然提高了鲁棒性，但可能忽略了细粒度的时间线索。第三，目前的80/20随机分割适用于基准测试，但如果训练集和测试集之间的受试者特征存在重叠，可能会高估泛化能力；应进一步报告更严格的独立于受试者的协议。未来的工作应专注于（i）为车辆流和跨模态对齐开发更丰富的时间编码器，（ii）自适应或考虑不确定性的任务加权以提高唤醒度的鲁棒性，以及（iii）更严格的外部验证，包括跨受试者和跨数据集的协议。这些方向对于将离线收益转化为安全关键智能驾驶舱系统中的可靠实际部署至关重要。

6. 结论
本研究解决了驾驶场景中情感表达能力弱、上下文依赖性强以及多模态信息关联性不平衡的挑战，并提出了DEGM方法。该方法明确区分了面部视频和车辆信号在情感识别中的不对称角色。与其将车辆数据视为一种等同的情绪表达方式，不如将车辆信号视为上下文约束，这些约束通过连续情感维度预测来指导面部表情的条件性调整，从而实现可控且可解释的跨模态交互。此外，还引入了一种多任务学习策略，该策略同时优化离散情感分类和连续情感维度回归，使模型能够在区分性能与连续情感建模之间取得平衡。在PPB数据集上进行的全面实验表明，所提出的方法在离散情感分类任务上的准确率达到87.50%，F1分数为87.27%，持续优于多种代表性的基线方法。在连续情感维度回归任务中，DEGM在CCC（CroOKall Correlation）、皮尔逊相关系数（Pearson correlation coefficient）和RMSE（Root Mean Square Error）等指标上表现 competitive（具有竞争力），同时表现出更为集中的预测误差分布。进一步的消融研究验证了三个关键发现：首先，跨模态交互的设计对驾驶员情感建模有显著影响，基于维度的条件性调整能够在大多数情感维度上实现更稳定的对齐；其次，连续情感维度（价值性、唤醒性和主导性）在分类中起着互补作用，联合建模的表现始终优于任何子集配置；第三，车辆信号模态信息和维度回归辅助任务都对提高分类准确性和预测稳定性做出了不可或缺的贡献。尽管所提出的方法在整体性能上实现了持续提升，但在唤醒性维度上仍存在明显的误差波动，该维度对快速且短暂的情绪变化更为敏感。这表明当前的条件性调节机制在模拟高度动态的情绪变化方面存在局限性。此外，尽管车辆信号的统计建模增强了模型的鲁棒性，但在更复杂或持续时间较长的驾驶场景中可能会限制情感表达的能力。未来的工作将探索更精细的时间建模策略和自适应维度权重机制，以进一步改进对复杂驾驶情境和动态情绪转变的建模。