一种针对听力障碍者的智能、基于上下文的面部情绪识别系统，该系统利用大型语言模型和基于神经网络的特征融合技术来实现功能

《Scientific Reports》：An intelligent context-aware facial emotion recognition system for hearing-impaired individuals using large language models and neural network-based feature fusion

　　

摘要

面部情绪识别（FER）在理解人类行为和沟通中起着至关重要的作用，其应用领域包括人机交互、监控、医疗保健和多媒体内容分析。情绪识别具有挑战性，因为它需要捕捉和分析面部表情的细微变化以及动态语音的变化。青少年和儿童的听力障碍会对他们的社交、情感和行为发展产生显著影响。沟通问题可能会影响听力受损个体的社交和情感发展。无论是否存在听力障碍，情绪都是人类普遍经历的现象。通常，情绪是通过面部表情来表达的。FER 是人们表达自身情感和态度最有效、非语言且自然的手段。目前，自动情绪识别技术受到了广泛关注。由于其在商业和学术上的巨大潜力，FER 成为了人工智能（AI）和计算机视觉（CV）领域的重要研究方向。对于机器学习（ML）方法而言，面部表情的检测是一项具有挑战性的任务，因为不同人在表达情绪的方式上存在显著差异。本文提出了一种基于上下文感知的交互与融合特征模型相结合的方法（CAIFFM-EFER），用于提升听力受损个体的面部情绪识别能力。本文的主要目标是利用先进技术开发出一个能够实现准确且实时情绪识别的模型。首先，在图像处理阶段使用维纳滤波器（Wiener Filter，WF）来消除噪声，从而提高图像质量。在特征表示过程中，CAIFFM-EFER 方法结合了 VGG-19、MobileNetV1 和 InceptionNetV3 模型进行特征提取。随后，采用堆叠稀疏自编码器（Stacked Sparse Autoencoder，SSAE）进行面部情绪分类。最后，由大型语言模型（Large Language Models，LLMs）驱动的上下文感知交互机制有助于更精细的推理，并生成适应性强、具有情境敏感性的响应。实验评估表明，在情感检测数据集上，CAIFFM-EFER 模型的准确率达到了 99.27%，优于现有的方法。