基于大语言模型（LLM）的多模态驾驶员情绪识别技术在智能出行系统（IoV）中的应用

《ACM Transactions on Internet of Things》：Application of LLM-powered Multimodal Driver Emotion Recognition in IoV System

驾驶员情绪识别在车联网（IoV）中至关重要，现有方法未充分挖掘大语言模型（LLM）在文本信息提取和多模态融合中的作用。本文提出训练阶段的LLM辅助监督模块，通过LTFE模块将文本标签转化为语义特征，结合LAS策略与多模态特征对齐，提升模型推理能力且不增加实时计算负担。实验表明该方法在PPB-Emo、RAVDESS、IEMOCAP数据集上显著优于基线，尤其在复杂光照和多样化驾驶群体中表现优异。

　　

摘要 AI 摘要

摘要

摘要

在车联网（IoV）系统中，识别驾驶员的情绪对于缓解因情绪不稳定导致的危险驾驶行为至关重要。当前的研究主要利用车联网系统中各种类型传感器生成的多模态数据作为输入，通过多模态模型来分析驾驶员情绪的变化。然而，现有的方法不足以充分利用大型语言模型（LLM）在信息提取和多模态特征融合方面的优势，这限制了情绪识别模型的推理能力。因此，本文提出了一种基于LLM的辅助监督模块，该模块在训练阶段通过LLM来提升多模态情绪识别模型的性能。具体来说，我们设计了一个标签文本特征提取（LTFE）模块，该模块利用LLM进行文本数据的增强和提取，将标签文本转换为具有语义信息的特征表示。此外，我们还提出了标签辅助监督（LAS）策略，在训练阶段将LTFE模块学习到的LLM标签文本特征与多模态情绪识别模型有效整合，以增强模型的推理能力。值得注意的是，LTFE和LAS模块仅在训练阶段使用，确保了在推理过程中核心模型所需的计算资源最小化，使其适用于智能车辆的计算限制。在PPB-Emo、RAVDESS和IEMOCAP数据集上进行的广泛实验表明，所提出的方法在驾驶员情绪识别任务中优于现有方法。

AI 摘要

AI生成的摘要（实验性)

此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助发现、评估相关性，并协助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍然是文章的官方摘要。完整文章是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

AI生成的摘要

该摘要由基于已发表文章文本的自动化系统生成。

版本创建于2025年12月30日。

本文探讨了车联网（IoV）系统中驾驶员情绪识别的挑战，重点是在智能车辆的计算限制下改进多模态情绪识别模型。识别驾驶员的情绪对于减少危险行为和提高道路安全至关重要。现有的多模态方法虽然整合了视觉、音频和驾驶行为数据，但往往缺乏文本模态中的丰富语义特征，这限制了它们的推理能力。作者提出了一种新的标签辅助监督策略，该策略利用大型语言模型（LLM）进行训练增强，而不会在推理过程中产生高昂的计算成本。

核心思想包括两个仅在训练阶段使用的模块：标签文本特征提取（LTFE）模块和标签辅助监督（LAS）策略。LTFE使用LLM生成语义丰富的提示句子，然后通过微调的BERT模型将这些句子转换为深度文本特征表示。LAS模块通过余弦相似度和其他损失函数将这些文本标签特征与多模态模型的融合特征对齐，以提高模型的语义理解和推理准确性。这种方法避免了在实时推理过程中依赖文本输入，确保了计算效率，适用于资源受限的车辆系统。

在PPB-Emo、RAVDESS和IEMOCAP等多个数据集上的实验表明，所提出的模型在准确性和鲁棒性方面优于现有的最先进方法。特别是在不同光照条件和不同驾驶员人群等具有挑战性的情况下，识别效果显著提升。消融研究验证了LTFE和LAS模块的加入增强了文本和多模态输入之间的特征对齐，加速了损失函数的收敛，并提高了分类能力，尤其是在单模态模型难以处理的细微和中性情绪状态中。

模型架构包括针对视觉和驾驶员行为数据的独立编码器、具有跨模态注意力模块的多层解码器用于特征融合，并在训练过程中使用多种损失函数来平衡不同模态的特征。该方法保持了实时推理速度和低内存占用，使其能够在典型的汽车硬件平台上部署而不牺牲性能。

本研究通过在训练期间整合强大的语言模型驱动的语义特征来推进多模态驾驶员情绪识别，同时在推理过程中保持效率。这种方法有望通过实现准确的实时情绪识别来提升智能车辆系统的安全性，而无需大量的计算资源。作者还讨论了与类别不平衡和时间不对齐相关的限制，并提出了进一步改进模型鲁棒性的未来工作。总体而言，该研究展示了LLM在物联网环境中的实际且可扩展的应用，特别适用于车辆情绪识别的限制和要求。