《Frontiers in Artificial Intelligence》：Lightweight audio-visual sentiment analysis with dynamic mouth-state modeling and multimodal LLM benchmarking
编辑推荐：
视频流情感分析需要对时间动态和多模态线索进行有效建模。本文提出一种轻量化多模态卷积神经网络-长短期记忆网络（CNN-LSTM）框架，面向实时视频流低延迟运行设计，通过联合利用音频与视觉信息将个体情感状态分类为负向、中性或正向。所提出系统由四个轻量化深度神经网络
视频流情感分析需要对时间动态和多模态线索进行有效建模。本文提出一种轻量化多模态卷积神经网络-长短期记忆网络（CNN-LSTM）框架，面向实时视频流低延迟运行设计，通过联合利用音频与视觉信息将个体情感状态分类为负向、中性或正向。所提出系统由四个轻量化深度神经网络模型组成，将音频和视觉特征序列融合为统一时间流，从而能够随时间累积情感证据以进行稳健预测。为进一步增强判别能力，引入动态口部状态分类，使模型能够更好地捕捉与语音和情感相关的细微视觉线索。在Ryerson Audio-Visual Database of Emotional Speech（RAVDESS）上开展的实验表明，所提出方法在三类情感识别任务上取得84.89%的测试准确率，与规模显著更大的音视频架构具有竞争力，同时参数数量少一个数量级并保持低延迟运行。此外，研究人员在多种输入配置和提示策略下对多个多模态大语言模型（LLMs）进行了全面比较。结果为当代LLMs在音视频情感分析中的优势与局限提供了实践启示，并凸显了紧凑的任务特定神经网络架构在流式音视频输入中的持续有效性。
研究背景与问题：在竞争性商业环境中，客户反馈对战略决策和服务优化具有重要作用。传统问卷和焦点小组易部署，但参与率低、时间覆盖有限，难以捕获真实互动中的自发反应。视频流可自然捕获面部表情与语音，是未充分利用的情感信息资源。既有研究多聚焦单一模态，将文本、音频和视觉隔离处理；而视频天然包含音频与视觉流，融合互补信息有望提升情感识别。因此，研究人员开展面向实时视频流的低延迟多模态情感预测，将个体情感分类为负向、中性或正向，并与多模态大语言模型（LLMs，大语言模型）进行系统比较。研究提出轻量化多模态卷积神经网络-长短期记忆网络（CNN-LSTM，卷积神经网络与长短期记忆网络的组合）框架，包含四个轻量化深度神经网络模型，将音频与视觉特征序列融合为统一时间流；引入动态口部状态分类（mouth-state classification，判断口部开合），在口部全闭时启用视觉路径，否则启用音视频路径。RAVDESS三类任务测试准确率为84.89%，参数约20.9M，较Song et al.的270M+少一个数量级，并保持低延迟。该系统比较多个多模态LLMs，发现专用紧凑模型在同步音视频输入上仍具优势。其意义在于为实时流式情感分析提供高效方案，并揭示通用LLM在低层音视频表示推理上的局限。
关键技术方法（≤250字）：研究人员每35 ms抽取视频帧，采用方向梯度直方图（HOG，图像梯度方向特征描述子）与线性支持向量机（SVM，监督分类器）检测人脸，并以dlib 68点定位裁剪口部；口部图像28×28经五层CNN二分类开/闭，阈值0.5，缓冲最近10帧；口部全闭时，96×96面部序列输入视觉CNN-LSTM；否则对48 kHz音频做短时傅里叶变换（STFT，时频转换方法），生成400×400频谱图，与面部序列分别经CNN-LSTM后拼接融合；从第10帧起对轨迹输出平均。样本队列来自Ryerson Audio-Visual Database of Emotional Speech（RAVDESS，情感语音音视频数据库）音视频格式，24名演员（12女12男），五类映射三类，训练/验证4:1，测试含6名未参与演员192文件及网络摄像头2名演员30段。
研究结果：2.1 面部与口部检测：通过HOG+SVM与dlib 68点，每35 ms取帧并裁剪96×96面部、28×28口部，为后续分支提供输入。2.2 口部分类：通过五层CNN输出张口后验并以0.5阈值判开/闭，缓冲10帧决定走视觉或音视频分支。2.3 序列视觉情感分析：口部全闭时，用CNN提取每帧特征、LSTM聚合时序、均值池化与softmax输出三类，形成纯视觉路径。2.4 序列音视频情感分析：口部任一张开时，音频STFT频谱与面部序列并行经CNN-LSTM，拼接后softmax，联合建模音视频。2.5 实时情感聚合器：从第10帧至轨迹结束平均各预测，取最高概率类别作为整段轨迹情感。3.1 数据集：使用RAVDESS音视频格式，五类映射负/中/正，训练验证4:1，测试6名未参与演员192文件及网络摄像头30段；clip级标注存在标签噪声。3.2 实验I：CNN：单模态音频/视觉验证约45%，音视频CNN验证78.55%、测试69.79%，说明融合优于单模态。3.3 实验II：CNN-LSTM：音视频CNN-LSTM验证91.30%、测试84.89%，较音视频CNN提升约15个百分点，确定最终模型。3.4 替代实现：通过去除口部分类、改变口部策略和序列长度比较，无口部分类82.29%、MC版本II 72.91%、50帧75%和68.75%，均低于提出模型。3.5 实验III：LLMs：在9个LLM上以零样本/三样本、两种解码配置测试；仅人脸最高gemma3:27b 70.8%与gemini-2.5-pro 69.9%，频谱最高deepseek-v2.5:236b 43.9%，多模态最高llava:34b 44.8%，其余13.7%–33.0%；所有LLM多模态低于50%，而CNN-LSTM为91.30%（验证），显示专用模型优势。4 与现有技术比较：多数RAVDESS研究为八类，不能直接比较；在同类音视频/三类设置中，当前84.89%优于Yakaew et al.音视频CNN 69.79%，参数20.9M远少于Song et al.的270M+；近期八类约87–89%但任务不同。
讨论与结论总结：消融显示10帧（约350 ms）优于50帧（约1750 ms），短窗训练序列更多、捕获局部动态；口部策略改善中性和负向，正向略降。网络摄像头小样本（2名演员20段）初步可行性，正向0/5，中负较强；受控RAVDESS与自然网络摄像头差异及西方演员持续夸张表达可能部分解释该差距。LLM在仅人脸有竞争力，但频谱/多模态显著下降。局限性：单一4:1划分、非说话人独立k折、验证clip级随机可能乐观；84.89%为点估计；推理在Apple M4 Max GPU中位34.4 ms、P95 35.0 ms（约29序列/秒），CPU约0.34–0.44 s，峰值约2.2 GiB，仅模型推理；过拟合（训练100%、验证91.30%）；clip级标签噪声。未来：改进融合、数据多样性、混合架构、跨模态注意力、软口部门控、类加权/焦点损失、macro-F1、跨语料泛化、LLM输入波形或转录。
研究结论部分翻译：本文提出了一种用于视频流低延迟、逐帧情感预测的多模态音视频神经网络。所提出框架引入动态口部状态分类机制，根据口部张开或闭合选择处理通路，从而更有效地利用与语音相关的视觉线索。在RAVDESS数据集上，CNN-LSTM架构在联合建模音频与视觉信息时取得84.89%的测试准确率，优于单模态基线。消融研究进一步表明，短时序上下文（10帧，约350 ms）比长序列（50帧，约1750 ms）获得更高准确率，主要因为较短窗口产生更多训练序列并使模型更好捕获局部情感动态。基于口部的聚合处理策略被证明可改善中性和负向情感类别的识别性能，但正向情感略有下降。小样本网络摄像头评估作为初步可行性检查，其规模不足以支持泛化结论。LLM实验显示，部分模型在仅人脸情感分类上具竞争力，但在频谱或多模态输入上效果显著下降；所有评估LLM在多模态设置中低于50%，而所提出CNN-LSTM框架显著更高。这些结果表明，尽管多模态LLM近期取得进展，通用模型在同步低层音视频表示上进行实时情感分析仍受限。
