《Knowledge-Based Systems》：Hybrid MobileNetV2–ViT Architecture for Multimodal Emotion Recognition on Mobile Devices with Contextual Sentiment Fusion
编辑推荐：
摘要在资源有限的移动设备上实现可靠的实时情绪识别，需要考虑那些能够利用视觉与语言信息互补的高效架构。面部表情分类器和文本情感模型这两种常见的单模态方法，在面对视觉上相似的情绪类别时（如中性与压抑的悲伤）会出现系统性歧义。本文提出了一种新的特征级多模态融合框架，该框架结合了用于全局
摘要
在资源有限的移动设备上实现可靠的实时情绪识别，需要考虑那些能够利用视觉与语言信息互补的高效架构。面部表情分类器和文本情感模型这两种常见的单模态方法，在面对视觉上相似的情绪类别时（如中性与压抑的悲伤）会出现系统性歧义。本文提出了一种新的特征级多模态融合框架，该框架结合了用于全局空间建模的MobileNetV2卷积核心网络、轻量级的Vision Transformer（ViT）编码器以及经过微调的DistilBERT上下文情感编码器。所提出的架构通过带门控的注意力融合模块实现跨模态交互，这些特征向量具有相同的维度，从而比以往在该领域中仅在决策层面进行跨模态交互的研究实现了更丰富的模态间互动。这三个组件均使用FER2013、IEMOCAP和MELD数据库中的匹配视觉-文本输入，通过统一的评估标准进行端到端同步训练。实验表明，所提出的模型在各种保留数据集及跨数据集场景下均取得了最高的准确率和F1分数。通过TensorFlow Lite进行训练后的INT8量化显著降低了模型大小，使得中等配置的安卓设备也能在几乎不损失准确率的情况下实现实时推理。消融实验表明，ViT模块和特征级融合机制都对整体性能有所贡献。研究结果证明了该系统在移动设备上的心理健康监测、情感感知人机交互以及行为分析方面的可行性。
引言
人机交互系统越来越需要可靠的情感感知能力，以便提供适应性更强、更具同理心的响应[1]。情绪识别是诸多应用的基础，涵盖心理健康筛查、自适应学习、对话式助手以及客户体验分析等领域[2]。虽然卷积神经网络在单模态面部表情识别方面取得了优异成果，但由于其依赖局部感受野，难以捕捉那些依赖于面部远处特征点之间空间关系的微妙表情（如压抑恐惧时的眉毛上扬与嘴唇紧缩动作）[3]。
Transformer架构通过全局自注意力机制解决了这一局限，使得图像不同区域之间的特征能够进行长距离交互[4]。然而，全规模的Vision Transformer（如ViT-B/16）的参数量超过8600万，不适合直接部署在智能手机上。与此同时，自然语言处理领域的进展，尤其是BERT之类的上下文语言模型，表明文本情感嵌入能够捕捉语义基调，从而消除纯视觉预测中的固有歧义：中性面部表情搭配负面言语往往意味着压抑的悲伤而非真正的中性态度[5]。
尽管人们已经认识到多模态数据的互补性，但现有的面向移动设备的系统大多采用后期融合策略，放弃深入的跨模态交互，或者依赖大型服务器端模型，无法实现实时边缘部署[6]。学术基准测试与可部署的边缘人工智能之间的差距促使我们开展这项工作。
- 1.
一种混合型的MobileNetV2–ViT视觉编码器，它在移动设备可承受的参数范围内，兼顾了局部纹理提取（CNN阶段）与全局依赖关系建模（ViT阶段）的功能。
- 2.
一种带门控的注意力融合模块，能够在特征层面对视觉和文本特征向量进行基于上下文的加权处理，这是以往移动设备情绪识别研究中所没有探索的机制。
- 3.
一种统一的匹配对评估方案，所有基线模型和所提出的模型都在相同划分的数据集上进行评估，从而避免了早期研究中存在的跨数据集比较带来的干扰因素。
- 4.
针对训练后的INT8量化进行了系统性的分析，包括在实际移动硬件上的延迟、内存占用以及电池消耗等方面的测量。
本文的其余部分结构如下：第2节回顾相关研究；第3节阐述所提出的方法；第4节介绍数据集及预处理方法；第5节描述实验设置；第6节报告并分析实验结果；第7节对全文进行总结。
章节要点
基于CNN的面部表情识别
由于深度可分离卷积操作，轻量级的CNN，尤其是MobileNet系列，因其相比传统卷积能将浮点运算次数减少八到九倍，同时还能保持相近的准确率，因而成为设备端面部表情识别的主流核心网络[7]。MobileNetV2引入了带有线性瓶颈的反向残差块，提升了梯度流动效率，使得构建更深层次的网络而不会导致内存溢出[8]。不过，CNN
整体架构
所提出的系统采用双分支架构（见图1）。面部图像（224×224 RGB格式）由视觉分支处理，而对应的文本字符串（话语或语音转录内容）则由文本分支处理。两个分支的输出均为256维的L2标准化特征向量，随后由带门控的注意力融合模块（GAFM）进行融合。融合后的特征向量会经过两层全连接层处理（单元数为512→256→128，激活函数为ReLU，还包含丢弃机制）
数据集与预处理
本研究使用了三个公开的可用基准数据集，它们能够提供多样化的面部表情及对话情感数据：
FER2013包含35,887张灰度面部图像（48×48像素），涵盖了七种不同的情绪类别。这些图像被上采样到224×224尺寸，并转换为三通道格式。原有的28,709/3,589/3,589的训练/验证/测试数据分割方式被保留了下来。
IEMOCAP是一个多模态对话语料库，包含了10位说话者进行的12小时双人对话记录，这些对话记录都附有相应的标注
实验设置
实现方式。所有模型都是使用PyTorch 2.1和TensorFlow 2.13实现的。训练是在一块NVIDIA RTX 3090显卡（24GB显存）上进行的。MobileNetV2核心网络是基于ImageNet预训练权重进行微调的；ViT编码器则是从随机初始状态开始训练的；DistilBERT则是基于HuggingFace的distilbert-base-uncased检查点进行微调的。
训练超参数。批量大小为32；优化器选用AdamW（β?=0.9，β?=0.999，权重衰减值为1×10??）；初始学习率为1×10??，此外还有
定量性能对比
表1展示了在统一的匹配对评估方案下，所有模型变体在相同的FER2013+IEMOCAP测试数据集上的测试结果。所提出的混合多模态模型的准确率为78.9%，F1分数为0.78，这一成绩显著优于仅使用视觉信息的MobileNetV2基线模型（准确率72.5%，F1分数0.71）以及仅使用文本信息的DistilBERT基线模型（准确率68.3%，F1分数0.67），在两项配对t检验中均达到了极显著的差异水平（p值均小于0.001）。仅使用MobileNetV2+ViT视觉信息的模型准确率为74.7%，这一结果进一步证实了
结论
本文提出了一种结合MobileNetV2、ViT架构以及带门控的注意力融合模块和DistilBERT上下文情感编码器的混合系统，用于在移动设备上实现实时多模态情绪识别。与现有研究相比，本工作有三个主要创新点：（1）所采用的带门控的跨模态注意力机制，其性能比简单的特征向量拼接方式高出3.8%的F1分数；（2）统一的匹配对评估方案，确保了所有基线模型之间能够进行公平比较；（3）对移动设备环境进行了详尽的性能分析
代码获取方式
由于本文中用于模拟和实验的源代码已被整合到手稿中描述的设备使用相关软件系统中，因此目前并未公开存放。如有需要，可通过联系相应作者获取这些代码，以确保相关工作的顺利进行
作者贡献
Akshay Kumar：概念设计、方法设计、软件实现、结果可视化、论文撰写——负责初稿的编写。
Kavita Dhull：数据整理、软件开发、文献评审、结果验证。
Ayodeji Olalekan Salau：方法设计、结果可视化、实验分析以及论文撰写——负责评审与编辑工作。
Arun Kumar：方法设计、结果可视化、实验分析、论文撰写——负责初稿的编写。
CRediT作者贡献说明
Akshay Kumar：论文撰写——负责初稿编写，负责结果可视化、结果验证工作，还参与概念设计。 Kavita Verma：负责资源协调、实验分析、形式化分析以及数据整理工作。 Arun Kumar Rana：负责论文撰写——参与初稿编写，负责项目管理、形式化分析以及概念设计工作。 Ayodeji Olalekan Salau：负责方法设计、实验分析、形式化分析以及数据整理工作。
利益冲突声明
作者声明自己不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
Akshay Kumar|Kavita Verma|Arun Kumar Rana|Ayodeji Olalekan Salau
