《Franklin Open》：Artificial Intelligence for Emotion Recognition: Techniques, Trends, and Challenges
编辑推荐：
情感检测已成为人工智能（AI）驱动系统的一项关键能力，特别是在需要以人为中心的交互和决策支持的应用中。尽管机器学习（ML）和深度学习（DL）的最新进展显著提高了从面部图像、视频和多模态数据中识别的准确性，但这些模型的不透明性限制了其可信度和在现实世界中的应用。
情感检测已成为人工智能（AI）驱动系统的一项关键能力，特别是在需要以人为中心的交互和决策支持的应用中。尽管机器学习（ML）和深度学习（DL）的最新进展显著提高了从面部图像、视频和多模态数据中识别的准确性，但这些模型的不透明性限制了其可信度和在现实世界中的应用。本文对基于AI的情感检测技术进行了全面综述，主要关注可解释人工智能（XAI）作为核心分析维度。研究系统性地考察了现有方法在特征提取策略、学习架构、数据集特征和应用背景方面的表现，重点突出了如何集成可解释性机制以增强透明度和可解释性。该综述批判性地分析了基于图像和视频的情感识别的最新进展，指出了与泛化、多标签情感建模和实时部署相关的局限性，并探讨了偏见和问责等伦理挑战。通过以可解释性为中心的框架综合当前研究，本研究概述了开发可靠、可解释且符合伦理规范的情感检测系统的关键研究空白和未来方向。
1. 引言
1.1. 研究意义
情感在人类交互、决策制定和整体幸福感中起着至关重要的作用。在人工智能（AI）时代，识别、解释和响应人类情感的能力推动了情感检测系统的快速发展。这些系统旨在通过使机器能够更具同理心地响应人类需求，彻底改变医疗保健、人机交互（HCI）和教育等领域。AI和机器学习（ML）的进步为能够分析多模态数据（包括面部表情、语音和生理信号）的情感识别（ER）系统奠定了基础。然而，实现稳健的情感检测仍面临挑战，包括实时处理、多标签情感处理以及围绕数据隐私和偏见等AI伦理实践的问题。对透明和可解释人工智能（XAI）解决方案的需求日益增长，凸显了开发不仅能有效检测情感还能阐释决策背后依据的系统的重要性。
1.2. 分布
本综述中收录的文献时间跨度为2005年至2024年。早期研究（2005–2015年）主要关注用于面部情感识别（FER）的经典机器学习技术和手工特征提取方法。2018年以后的研究则越来越多地强调深度学习架构、多模态情感分析和可解释人工智能（XAI）方法。本研究不仅描绘了视频情感分析的宏观图景，还探讨了包括噪声数据处理和计算复杂性在内的紧迫挑战。研究强调了XAI的关键作用，指出了透明度和可解释性在ER系统中的重要性，并提出了桥接可解释性与分类准确性的未来研究方向。
1.3. 研究范围
本研究通过提供以可解释性为中心的AI驱动ER研究综合分析，弥补了现有文献的碎片化问题，特别强调基于图像和视频的情感分析。主要科学贡献包括：首先，进行以可解释性为中心的比较分析，将XAI作为核心分析维度，研究透明度和可解释性如何与性能同步提升；其次，构建跨方法、数据集和应用背景的统一分类法，将特征提取技术、数据集特征和应用背景进行联合分析；最后，识别系统性差距和研究方向，指出泛化能力有限、多标签情感处理不足以及偏见和隐私等伦理问题。
1.4. 路线图
文章结构如下：第一节介绍研究背景和范围；第二节描述方法论和搜索标准；第三节详细探讨情感识别的各种方法；第四节总结并比较不同方法的优缺点；第五节呈现结论；第六节提出未来的研究方向。
2. 方法论与搜索标准
2.1. 研究问题与问题定义
本综述主要关注视频情感分析中的复杂性和进展，特别是通过可解释性技术。核心研究问题是：AI驱动的方法如何提高图像处理中情感检测的准确性和可解释性？研究旨在综合当前AI驱动的情感检测研究，关注特征提取技术的进步和XAI框架的整合。
2.2. 本研究的创新贡献
本综述通过分析涵盖各种可解释性技术的研究，综合了视频情感分析的现有研究。其独特贡献在于从技术和情境角度对方法进行了结构化比较，强调了XAI在增强AI模型可解释性中的作用，突出了创新的特征提取方法，并指出了现有文献中的差距，特别是在复杂环境中增强ER系统的未来方向。
2.3. 数据收集与数据集特征
研究中审查的数据集反映了为特定应用定制的数据源多样性。公共数据集主要来自Kaggle和IEEE DataPort等平台，提供标准化基准。非公开数据集则多来源于临床环境，提供了真实性维度的变化。此外，研究还使用了私有和定制数据集，以在特定应用中实现精确分析。数据集评估维度包括模态、情感表示、数据集规模、表情类型、人口统计多样性和可用性。
2.4. 论文选择的方法论框架
本研究遵循系统性的文献综述方法论，包括数据库选择、搜索策略制定、筛选和最终纳入等阶段。文献检索涵盖2005年至2024年间发表的同侪评审出版物。初步搜索得到候选论文后，进行去重、标题和摘要筛选，并基于预定义的排除标准移除不相关研究，最终选取符合焦点的研究进行详细分析。
2.5. 选择标准与技术分类依据
所选研究基于明确的技术和情境标准进行分类。分类框架强调纳入结合XAI技术或明确探讨ER系统可解释性的研究。研究优先考虑提供跨算法和数据集比较见解的文献，并通过组织时间、技术和应用背景，识别方法学趋势和技术转变。
2.6. 分析性分类法
研究采用统一分类法评估现有研究。研究根据核心方法范式、数据集特征、可解释性机制和应用背景进行分类，揭示了从手工特征提取到端到端学习框架的演变，并明确了数据集可用性和多样性如何影响模型性能。
2.7. 方法分类的操作标准
本综述采用明确的操作标准将ER研究分类，包括基于主成分分析（PCA）的方法、经典机器学习（ML）方法、人工神经网络（ANN）方法、深度学习（DL）方法、卷积神经网络（CNN）方法、混合方法以及可解释人工智能（XAI）驱动的ER系统。分类基于具体的建模特征和评估证据。
2.8. 综述方法论的局限性
本综述的局限性包括：仅限于2005年至2024年间以英语发表的同行评审出版物；各研究采用异构数据集和评估协议，无法进行直接的统计比较；以及研究间数据集组成和人口统计多样性的差异可能影响报告的性能结果。
3. 开展的研究
3.1. 情感识别的AI技术
ER研究经历了不同的方法学阶段。传统ML方法奠定了基础，但在处理非线性和高维情感模式方面存在局限。随后向DL架构转变，实现了多模态情感识别。泛化和鲁棒性机制旨在超越基本情感分类，应对文化和情境变化。可解释性和部署准备则强调XAI对于促进ER系统透明度和伦理适用性的重要性。
3.1.1. 基于PCA的ER：基础特征降维及其结构性局限
PCA通过将高维面部表示降维至紧凑特征子空间，在FER中发挥了基础性作用。结合加伯特征和线性判别分析（LDA），PCA在受控数据集上取得了高识别率。然而，基于PCA的方法本质上依赖于手工特征管线和线性投影，限制了其捕捉细微非线性和自发情感能力，且在变化姿态和人口统计多样性下鲁棒性降低。
3.1.2. 经典ML方法：监督主导与泛化约束
监督学习由于依赖标注情感数据而在ER中占主导地位。早期系统将计算机视觉与经典分类器相结合，优化特征与分类器组合显著提升了识别性能。监督ML已扩展到生理信号分析，展现了跨模态的适应性。然而，这些系统仍对特征工程高度敏感，且在真实世界和细微情感转变建模中存在变异性。无监督学习则更多用于预处理和特征发现阶段，通过发现潜在情感结构减少标注依赖。
3.1.3. DL框架：端到端表示学习与新出现的权衡
DL通过实现端到端的判别性情感表示学习，颠覆了FER领域。卷积神经网络（CNN）能够学习空间层次结构，而循环神经网络（RNN）有效捕捉动态面部线索。架构优化和模型比较推动了性能提升。视觉变换器等架构在捕捉面部表征的长距离依赖方面表现出色。多模态DL系统整合视觉和生理信号，进一步提升了识别准确率。但DL在计算开销、延迟和透明度方面引入了新挑战。
3.1.4. ANN：具有可扩展性限制的过渡性非线性模型
ANN在非线性建模能力与相对较低的计算复杂性之间提供了平衡。结合频域特征和特定面部区域特征，ANN在受控环境中表现出色。然而，ANN对手工特征的依赖以及对数据集特征的敏感性限制了其在非受限环境中的可扩展性。混合ANN架构结合DL组件，反映了方法学的渐进式过渡。
3.1.5. 卷积DNN：FER的主导范式
CNN由于其层次化空间特征学习能力，在FER中占据主导地位。深度CNN变体通过解决姿态变化和跨模态一致性，实现了高识别率。然而，过拟合和数据偏见是CNN持续面临的挑战。通过结合局部纹理描述符和注意力机制，CNN的识别性能得到增强，但仍对真实世界面部噪声和遮挡敏感。
3.1.6. 替代和混合方法：鲁棒性、个性化和伦理敏感性
替代和混合方法强调通过情境感知和特征多样性来提升准确性。可穿戴设备和生理传感器的结合增强了ER精度。面部几何与判别分类结合的混合方法有效提升了识别率。此外，个性化聚类模型和群体ER系统分别减少了受试者间变异性和人口统计学偏差。这些方法突出了ER不仅依赖单一模型优化，还需考虑鲁棒感知和伦理认知。
3.1.7. 基于XAI：透明度、信任与伦理部署
XAI旨在使ER系统对人类利益相关者透明、可解释和可证明。与黑盒模型不同，XAI系统显式暴露情感预测的特征贡献。研究表明，XAI不仅调节用户对AI系统的情感反应，还是偏差缓解和伦理治理的核心工具。通过可视化技术（如Grad-CAM），开发者能够验证学习特征是否与心理学意义相关。XAI对于确保医疗保健等高风险领域的信任和责任至关重要。
3.1.8. AI技术融合：跨模型与模态的协同整合
多模态融合通过结合空间和时序特征，克服了单一模态推理的模糊性。ER研究识别出包括面部表情、语音、生理信号和文本等多模态特征。基于注意力的融合机制增强了跨模态依赖建模，从而在非受限环境中提升了泛化能力。
3.1.9. FER中的表情检查与可靠性
FER系统对低质量面部数据敏感。表情验证机制，如基于面部动作单元（AU）的建模，能够在分配情感标签之前验证肌肉激活。通过结合可解释性驱动框架和注意力机制，系统能够识别并抑制不可靠帧，从而在细微表情检测中提升鲁棒性。
3.1.10. 综述与后续结果的相关性
本综述综合了不同方法范式的进展，强调了数据定义和情感标注对性能结果的显著影响。基于这些观察，提出了一种包含显式表情检查阶段的结构化情感识别框架，旨在通过在分类前验证表情内容，减少遮挡和偏差引起的错误传播。
3.1.11. 所选作品的可调性与可调因素
ER系统需要跨模型架构进行参数调整以实现最佳性能。关键可调参数包括情感阈值、特征选择、学习率、级联深度、标签权重、模态融合比例和聚类大小等。这些参数在平衡准确性、计算效率和实践应用性方面具有特定的最优范围。
3.1.12. ER系统中的伦理风险与缓解策略
ER系统由于在实时或被动环境中收集情感数据，引入了高度的隐私风险。算法偏差和不公平性是另一大挑战，源于数据集未能充分代表人口统计多样性。缓解策略包括知情同意、采用联邦学习等隐私保护学习范式、人口统计感知评估以及XAI审计。此外，情感过度简化和黑盒模型透明度缺失也需通过多标签表示和可解释技术加以缓解。
3.1.13. 总结
ER的最新进展受到监督学习、无监督学习和可解释学习范式的互补优势影响。监督方法因高分类精度占主导地位，但受限于标注数据。无监督方法解决了数据稀缺但精度受限。AI模型提供了必要的表示能力，但其黑盒性质加剧了伦理挑战。XAI已成为信任校准和负责任部署的关键。
4. 讨论
4.1. 基于实施
AER系统根据实施策略分为手工特征驱动管线、端到端DL架构和混合实施。手工特征管线具有可解释性和较低复杂性，但在姿态和照明变化下鲁棒性有限。DL实施通过端到端学习自动提取时空表征，表现出色但面临计算开销和透明度降低的挑战。混合和多模态框架结合深度特征与互补模态，并整合XAI机制成为趋势。结果显示，DL在处理复杂面部表情方面优于传统ML，但数据集差异、表情变化和伦理信任问题仍是挑战。
4.2. 基于结果
性能评估显示，方法选择、数据集特征和评估设置显著影响ER结果。DL方法在大规模数据集上准确率更高，但计算成本和数据依赖性也更高。经典方法在受控数据集上表现出竞争力，且具有可解释性优势。统计比较表明，多模态融合和XAI的改进具有系统可测性。XAI系统虽不总是具有最高原始准确率，但显著增强了信任和透明度。
4.3. 问题与开放挑战
当前研究面临的关键挑战包括：数据与模型泛化偏差、人类情感复杂性导致的表示不足、AI可解释性需求、缺乏跨文化和跨域泛化能力、实时处理与延迟问题、缺乏上下文理解、过度依赖面部表情、数据不平衡、黑盒模型的信任问题、过拟合以及多模态融合的技术复杂性。
5. 结论
ER技术在FER、多模态情感分析和XAI领域取得显著进展。混合技术和个性化方法提升了准确性和适应性。然而，跨域泛化、文化差异处理、实时处理和黑盒模型信任构建仍是主要挑战。整合XAI对于提高系统透明度和用户信心至关重要。
6. 未来范围与方向
未来研究应致力于开发更全面、多模态且符合伦理的方法。重点方向包括：实时视频ER、基于动态视频的增强特征提取、视频ER中的可解释AI、可扩展性与泛化能力提升、实时分割与分类、开发多标签情感模型、构建更多样化和大规模数据集、贯彻伦理AI实践、实时多模态整合以及个性化模型的可持续适应性发展。这些方向将推动更准确、可靠且具社会责任感的情感识别系统的进步。
