《Knowledge-Based Systems》:Enhanced Facial Expression Recognition Using Deep Learning: A Generalizable Frameworkwith Potential for Cognitive Impairment Monitoring
编辑推荐:
面部表情识别(FER)在心理健康监测中的应用研究,提出融合CNN-LSTM-AM的混合模型,通过空间特征提取、时间依赖建模和注意力机制优化,在FER-2013数据集上达到98.50%准确率,有效捕捉细微表情差异,适用于认知障碍的实时监测与早期诊断。
阿莫尔·潘杜兰格·乔杜里|潘卡杰·达肖雷
印度马哈拉施特拉邦纳希克市桑迪普大学计算机科学与工程系研究学者,邮编422213
摘要
面部表情识别(FER)在心理分析、医疗保健和人机交互中的应用受到了广泛关注。本文介绍了CNN-LSTM-AM模型,该模型整合了卷积神经网络(CNN)、长短期记忆(LSTM)和注意力机制,以提高面部情绪识别的准确性。该方法通过有效捕捉空间和时间数据以及复杂的面部表情,改善了对细微差异的分类。在FER-2013基准数据集上的实验评估显示,该模型取得了98.50%的准确率、96%的精确度、95%的召回率和97%的F1分数,错误率仅为2.50%。结果证明了该架构在标准评估条件下的鲁棒性和高效性。此外,该框架被设计为一个可泛化的FER模型,具有在认知障碍监测和其他医疗相关领域应用的潜力,但需要使用临床标注的数据集进行进一步验证。
引言
面部表情是社交互动的关键元素,在行为研究中常用于解读和检查情绪状态[1]。目前仍需持续研究,以精确获取能够高度准确捕捉面部表情差异的区分特征。本研究[2]引入了FER-Net,这是一种利用卷积和基于softmax的分类层的神经元网络,可以有效对面部表情进行分类。情绪识别是认知心理学研究的基础,但准确评估情绪状态仍然是一个复杂挑战[3]。因此,已经开发了许多方法来促进FER并改进情绪分析[4]。FER是情绪技术和机器学习中的一个重要研究领域,在人机交互、教育、监测和医疗保健等领域具有日益重要的意义[5]。准确解读面部表情不仅有助于实现人与机器之间的自然互动,还能深入了解情绪和认知状态[6]。然而,传统的FER系统常常受到类内变异、细微表情差异以及现实世界非理想条件下泛化能力不足的限制[7]。近年来,深度学习方法显著推动了FER领域的进展,它们能够从面部图像中提取复杂的时空特征[8]。尽管如此,仍有必要提高这些系统的精确度和计算效率,特别是在涉及实时或大规模部署的场景中[9]。此外,传统的DCNN在识别面部表情时经常面临两个主要挑战:训练数据有限可能导致过拟合,以及类别内面部外观的显著差异。为了解决这些问题,本研究[10]提出了FLEPNet,这是一种基于特征的集成并行网络,通过纹理驱动来增强表示学习并减轻数据稀缺性和类内变异。近年来,自动欺骗检测在机器学习领域引起了广泛关注,因其具有广泛的实际应用前景,如社交媒体分析、求职面试、执法调查和军事情报操作[11]。
此外,患有精神障碍的个体为FER系统带来了独特的挑战和机遇。他们的表情可能不典型、不一致或强度较低,需要更复杂的模型来准确识别和分类情绪状态[12]。监测和分析这些表情对于早期诊断、行为评估、治疗评估和个性化护理至关重要[13]。尽管如此,针对心理健康监测调整FER系统的研究仍然有限[14]。本文提出的系统利用深度学习识别面部表情,在医疗保健领域有广泛应用,特别是对于患有精神分裂症、双相情感障碍、自闭症谱系障碍(ASD)和悲伤等精神疾病的人的持续监测和行为分析[15]。在临床环境中,这些系统可以帮助心理健康专业人士评估情绪反应、检测情绪变化和跟踪治疗进展,且无需侵入性[16]。除了临床应用外,这些系统还在智能监控、情绪感知辅助技术和根据用户情绪调整的智能人机交互界面中具有潜在应用[17]。
这类系统的关键优势包括:由于采用了先进的深度学习架构,情绪分类的准确性得到提高;能够学习特定于心理健康状况的细微表情模式;以及可以通过配备摄像头的设备进行可扩展部署。它们提供客观的实时分析,无需患者的主动参与,非常适合被动监测[18]。然而,这些系统可能面临数据稀缺和不平衡的问题,尤其是在针对代表性不足的精神健康人群进行训练时[19]。持续捕捉面部数据还引发了隐私和伦理方面的担忧[20]。此外,在光线不佳、遮挡或面部解剖结构变化的情况下,性能可能会下降,这些情况在不受控制的环境中很常见[21]。现有论文中使用了许多技术,如具有双向注意力的混合特征网络[22]、基于注意力的1D-CNN-GRU[23]、KNN和LSTM[24],但尚未找到完美的解决方案。所提出的框架被设计为一个可泛化的面部表情识别系统,具有监测认知障碍的潜力。然而,目前的验证仅基于基准数据集,需要在医疗环境中进行进一步的临床验证才能实际应用。
本文提出了一种新的深度学习架构,以提高面部情绪识别的效率和准确性。此外,它利用先进的深度学习模型通过分类表达的方法来追踪和检查患有精神疾病的人的面部表情。通过集成强大的特征提取、注意力机制和上下文感知的时间建模,该框架旨在提供一个具有临床意义的工具,促进人工智能与心理健康领域的交叉发展。尽管本研究专注于用于认知障碍监测的面部表情识别,但实验评估使用了基准面部表情数据集来验证所提出架构的基本识别能力。FER-2013基准数据集用于模型的训练、验证和定量性能评估。此外,在初步阶段仅使用了一个小型自定义随机数据集进行数据流程验证和定性测试,未包含在最终模型训练或评估中。
本研究的主要贡献包括:
•建议在混合深度学习架构中使用CNN、LSTM和注意力机制,以提高面部表情理解能力,适用于认知障碍患者。
•该模型同时捕捉单个帧的空间特征和视频序列中的时间依赖性,从而准确检测细微和非典型的情绪表达。
•通过使用注意力层关注最具信息量的面部区域和时间步骤,提高了模型的可解释性和分类性能。
•该框架使用FER-2013基准数据集进行验证,而小型自定义随机数据集仅用于预处理和模型流程功能的初步测试。
•该模型在情绪分类方面取得了高准确率(98.50%)和可靠性,显示出在未来医疗环境、实时监控和早期认知障碍检测中的应用潜力。
本文的结构如下:第2节回顾了相关研究,指出了当前方法的不足之处。第3节阐述了智能实时解决方案的必要性。第4节介绍了CNN-LSTM-AM框架。第5节“结果与讨论”部分评估了模型的性能,第6节总结了主要发现和进一步研究的建议。
相关工作
相关研究
阿里等人[25]开发了一种基于注意力增强的ResNet-50的FER系统,用于在线学习,通过修改后的ResNet-50和卷积注意力机制来更好地捕捉相关特征并减少噪声,从而提高了面部表情识别的准确性(在RAF-DB上达到87.62%,在FER2013上达到88.13%),用于评估学生的学习状态。其优点包括高准确率、更好的特征聚焦和适应性教学支持。
动机
由于面部表情是最自然且难以控制的个体情绪和心理状态的标志之一,因此它们是一种有用的非侵入性早期检测技术。传统的心理健康监测方法主要依赖于护理人员的观察、临床访谈和问卷调查,这些方法可能具有任意性、频率低且效率低下。相比之下,由深度学习驱动的自动化FER系统能够监测情绪变化。
提出的方法
CNN-LSTM-AM是一种新的方法,结合了深度学习方法,包括注意力机制、卷积神经网络和长短期记忆。CNN用于提取每个帧的空间信息,捕捉与情绪分类相关的细微肌肉运动和面部纹理。LSTM用于捕捉可能表明认知变化的模式,如情绪迟钝或冷漠。
结果与讨论
所提出的CNN-LSTM-AM模型在五种不同的教育场景中进行了评估,采用了多种随机初始化和数据混合方法以确保鲁棒性和可重复性。在这些测试中,计算了每个性能指标的平均值和标准差。此外,使用95%的置信水平通过配对t检验评估了模型相对于基线模型的性能改进的统计显著性。需要注意的是,所有定量结果
结论
本研究介绍了一种先进的基于深度学习的FER系统,旨在应对监测认知障碍个体的挑战。所提出的CNN-LSTM-AM架构通过结合CNN进行情绪分类、LSTM进行时空模式识别以及注意力机制的自适应特征加权,大大提高了情绪分类的准确性和可靠性。实证结果证实了这种混合模型的有效性。
CRediT作者贡献声明
阿莫尔·潘杜兰格·乔杜里:概念设计。潘卡杰·达肖雷:监督指导。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。