摘要
情感识别与情感生成已成为人工智能领域日益重要的研究方向，支撑着医疗、教育、客户服务和人机交互等领域的应用。人类情感本质上是多模态的，通过面部表情、语音和语言来传达，而现代情感AI系统越来越多地整合这些互补模态以提高鲁棒性和表现力。此外，情感识别与情感生成正变得越来越相互关联，识别模型经常为生成系统的训练、控制和评估提供支持，然而现有的综述通常独立地研究这些任务或仅关注单个模态。本综述全面回顾了跨面部、语音和文本模态的情感识别与情感生成领域的最先进方法论，涵盖了预处理技术、数据集、深度学习架构、评估指标和情感控制机制。根据底层方法论对最新进展进行分类，从而实现当前技术的系统性比较，并分析其优势与局限性。定量比较结果表明，基于Transformer的Poster++在RAF-DB上达到了92%的准确率，而XLM-EMO在Affect in Tweets数据集上获得了0.85的F1分数和准确率。在语音情感识别方面，RAVDESS数据集上报告的最高准确率为92.88%。在面部表情生成方法中，EAT在MEAD数据集上达到了75.43%的情感识别准确率。在语音情感生成方面，Seq2seq-VC在VCTK上获得了最低的词错误率和等错误率，分别为2.9%和1.0%，而基于扩散模型的DDDM-VC在VCTK上实现了1.0%的最低字符错误率。这些结果表明，基于Transformer的面部情感识别和文本情感识别方法表现强劲；然而，没有任何单一架构家族在报告的生成指标、数据集和评估设置中展现出一致的优势。最后，本综述讨论了当前的挑战和未来研究方向，为多模态情感AI系统的发展提供了统一的视角。
