综述:基于深度学习的老年人面部表情识别:系统综述
《Expert Systems with Applications》:Deep Learning-Based Facial Expression Recognition for the Elderly: A Systematic Review
【字体:
大
中
小
】
时间:2026年05月06日
来源:Expert Systems with Applications 7.5
编辑推荐:
F. Xavier Gaya-Morey | Jose M. Buades-Rubio | Philippe Palanque | Raquel Lacuesta | Cristina Manresa-Yee
巴利阿里群岛大学,卡雷塔德瓦尔德莫萨,7.5公里处,帕尔马,巴利阿
F. Xavier Gaya-Morey | Jose M. Buades-Rubio | Philippe Palanque | Raquel Lacuesta | Cristina Manresa-Yee
巴利阿里群岛大学,卡雷塔德瓦尔德莫萨,7.5公里处,帕尔马,巴利阿里群岛,07122,西班牙
**摘要**
全球人口的快速老龄化凸显了支持老年人的技术的需求,特别是在医疗保健和情感福祉方面。面部表情识别(FER)系统提供了一种非侵入性的手段来监测情感状态,其应用包括辅助生活、心理健康支持和个人化护理。本研究对基于深度学习的FER系统进行了系统回顾,重点关注其在老年人群体中的应用。遵循系统方法论,我们分析了过去十年发表的39项研究,这些研究探讨了诸如老年人群体特定数据集的稀缺性、类别不平衡以及与年龄相关的面部表情差异的影响等挑战。研究结果表明,卷积神经网络在FER领域仍然占主导地位,尤其是在资源受限的环境中,轻量级版本尤为适用。然而,现有数据集在年龄表示方面往往缺乏多样性,且实际部署仍然有限。此外,隐私问题和对可解释人工智能的需求也成为采纳这些技术的主要障碍。本综述强调了开发包含年龄多样性数据集、整合多模态解决方案以及采用可解释人工智能技术以提高系统可用性、可靠性和可信度的必要性。最后,我们提出了未来研究的建议,以弥合学术进展与老年护理实际应用之间的差距。
**1. 引言**
全球人口正以前所未有的速度老龄化,这对社会多个方面(包括医疗保健、社会服务和经济)产生了重大影响(Bloom & Luca, 2016)。根据《世界人口老龄化报告》(WHO, 2024),到2030年代中期,80岁及以上的人口将达到2.65亿,超过1岁及以下婴儿的数量;到2070年代末,65岁及以上的人口预计将达到22亿,超过18岁以下儿童的数量。这一人口结构的变化是由预期寿命的增加和生育率的下降(尤其是在发达国家)所驱动的,从而对老年护理创新产生了巨大需求。由于老年人更容易出现身体和认知健康问题(如痴呆症、阿尔茨海默病等与年龄相关的疾病,Langa, 2018),他们通常需要专门的护理。大规模提供此类护理面临独特挑战,这就需要开发能够协助监测、诊断并提升这一快速增长且需求特殊群体的福祉的技术。
技术可以在实时识别情感状态方面发挥重要作用。特别是面部表情识别(FER),已成为医疗保健中的一个重要工具,使护理人员和医疗专业人员能够更好地理解患者的情感状态并作出相应反应(Fei et al., 2019)。对于老年人来说,具备FER功能的社交机器人已被证明可以提高他们的社交参与度,通过提供情感支持来减少孤独感和抑郁(Saez-Pons, Syrdal, Dautenhahn, 2015; Wang, Subagdja, Kang, Tan, Zhang, 2014)。通过将这些系统与FER相结合,它们可以与老年人更自然地互动,帮助他们识别情绪并以富有同情心和支持性的方式作出回应。尽管对这类技术的需求日益增长,但针对老年人群体的FER研究在文献中仍相对较少(Ma et al., 2019)。大多数现有的FER研究针对的是成年人和年轻成年人,这对于理解如何优化这些系统以适应老年人群体存在显著差距——老年人的面部特征可能因年龄因素而发生变化(Ko et al., 2021),使得情绪识别变得更加复杂(Mary & Jayakumar, 2016)。
FER系统的基础主要源于心理学家Paul Ekman的工作,他确定了六种基本面部表情——快乐、悲伤、恐惧、愤怒、惊讶和厌恶——这些表情在各种文化中都是普遍存在的(Ekman, 1992)。尽管关于这些表情的普遍性和它们是否能够完全捕捉人类情感的复杂性仍存在争议(Barrett, Adolphs, Marsella, Martinez, & Pollak, 2019),但这六种表情已成为大多数情绪识别系统的基础。对于老年人来说,FER系统有潜力通过促进护理人员与患者之间的更好沟通、支持情感监测以及实现更个性化的护理来大幅提高生活质量。FER可以在多个领域提供帮助,包括医疗诊断和治疗(Grabowski et al., 2019),从而实现及时干预,这对于认知能力下降的个体尤为重要,因为他们可能主要依靠面部表情进行交流。
近年来,深度学习(DL)彻底改变了计算机视觉领域,包括FER(O’Mahony et al., 2020)。DL技术,尤其是卷积神经网络(CNN),在从大型数据集中自动学习特征以识别面部表情方面表现出色,而无需进行大量手动特征工程(Li & Deng, 2020)。DL模型的一个关键优势是它们能够很好地泛化到复杂数据上,例如面部图像,这些图像通常涉及光照、姿势和表情的变化。对于老年人群体的FER,DL技术有助于克服与年龄相关的面部结构变化带来的挑战,从而在不同人群和长期时间内实现更准确的识别。
然而,尽管基于DL的FER系统具有巨大潜力,但也存在挑战。DL模型的一个主要限制是它们的“黑箱”特性,这意味着用户往往无法理解这些模型的决策过程。在诸如医疗保健等高风险应用中,了解模型如何得出特定预测对于建立对其的信任和确保其可靠性至关重要(Adadi, Berrada, 2018; Barredo Arrieta, Díaz-Rodríguez, Del Ser, Bennetot, Tabik, Barbado, Garcia, Gil-Lopez, Molina, Benjamins, Chatila, Herrera, 2020)。例如,医疗专业人员可能需要在基于该预测做出治疗决策之前知道为什么系统认为患者表现出抑郁或痛苦的迹象。DL模型的这种透明度缺乏导致了可解释人工智能(XAI)的出现,这是一个致力于使AI系统更具可解释性和人类可理解性的领域(Barredo Arrieta et al., 2020)。XAI技术旨在通过提供预测的解释来揭示复杂模型的内部运作机制(Gunning et al., 2019)。在老年人的FER背景下,XAI方法可以为护理人员提供关于系统为何以特定方式解释某些面部表情的见解,帮助他们更好地评估患者的情感状态。此外,整合XAI可以通过帮助研究人员识别和减少数据或模型中的偏见来促进FER系统的发展,从而实现更强大和可靠的系统(Burkart & Huber, 2021)。因此,采用XAI技术对于使基于DL的FER系统不仅有效而且可信至关重要。此外,这些技术还可以提供关于受年龄影响的表达差异的见解。
鉴于全球老年人比例的增加、FER技术在支持这一人群方面的潜力、深度学习技术的日益成熟以及可解释人工智能在医疗保健中的关键作用,本文进行了一项系统文献回顾(SLR),专门针对为老年人设计的基于DL的面部表情识别系统。这项工作的主要目标是全面了解这一代表性不足的人群群体的现状,这一需求源于先前的证据表明老年人的面部表情因年龄因素而有所不同,因此需要专门的研究。该回顾遵循Kitchenham & Charters(2007)为软件工程中的SLR制定的指南,确保方法论的严谨性、透明度和可重复性。本SLR的范围限于过去十年来从五个主要计算机科学数据库(ACM Digital Library、Scopus、IEEE Xplore、Web of Science)以及PubMed中检索的经过同行评审的研究,因为FER具有心理学维度。我们的分析围绕两个主要研究目标展开:(i)了解DL技术在老年人FER中的应用,包括架构、数据集、数据特征和相关模态的作用;(ii)探讨影响FER系统在实际应用中部署的因素,如年龄引起的模型偏见、隐私问题、成本效益以及实际验证的存在。主要贡献如下:
- 我们首次进行了专门针对老年人群体基于深度学习的FER的SLR。
- 我们确定了将FER系统应用于老年人群体时面临的关键挑战,包括数据稀缺性、与年龄相关的面部变化以及有限的实际部署。
- 根据主要的研究空白,我们提出了具体的未来研究方向,包括基于视频的FER、隐私保护以及可解释AI技术的整合。
**2. 相关工作**
在本节中,我们查阅了相关文献,以识别评估年龄对FER任务影响的研究以及之前的FER综述。我们的目标有两个:首先,强调缺乏针对特定年龄组(尤其是老年人)的FER综述;其次,提供证据表明年龄中立方法经常引入的年龄偏见。这一分析旨在突出FER领域需要年龄敏感的方法论,并强调解决现有综述中这一差距的重要性。
**2.1. 老化对面部表情识别的影响**
许多心理学研究探讨了老化对面部表情识别的影响,发现观察者和目标个体的年龄都会影响这一过程。例如,老年人往往在解码特定情绪方面存在缺陷(Isaacowitz, Stanley, 2011; Ruffman, Henry, Livingstone, Phillips, 2008)。然而,老化也会影响表现出面部表情的个体。F?lster, Hess, & Werheid(2014)分析了与年龄相关的面部变化(如皱纹和褶皱)如何影响情绪感知,得出面部年龄是解码准确性的关键因素的结论。其他研究还探讨了老化是否会影响表达某些情绪的可能性。大多数研究发现,与年轻面孔相比,老年面孔呈现的情感表情通常被识别得不够准确(F?lster et al., 2014)。F?lster等人还指出,随着年龄的增长,有意表达情感可能会变得不那么有效,而自发的情绪反应在整个生命周期中似乎具有相同的表达力(F?lster et al., 2014)。此外,与年龄相关的面部特征可能会造成永久性情感状态的印象(Hess, Adams, & Kleck, 2008)。Malatesta & Izard(1984)的研究也支持这一观点,他们发现老年面孔更常被归类为悲伤。
这些与年龄相关的表达性和感知差异也反映在自动FER系统中,这一点通过越来越多的研究得到证实。Atallah, Kamsin, & Ismail(2019)关于面部衰老对FER影响的综述指出了几个未解决的问题,包括难以找到跨不同年龄段的同一个人物的图像(这阻碍了衰老模式的学习)、模型忽略重要面部特征的倾向,以及不同受试者之间衰老效应的显著差异(Ko et al., 2021)。这些发现得到了后续研究的支持,例如Ko等人(2021)发现了不同年龄组之间面部表情强度和肌肉使用量的变化。例如,老年人倾向于表现出更多的负面情绪,并且下脸部的肌肉使用更多(Grondhuis, Jimmy, Teague, & Brunet, 2021)。S?nmez(2019)研究了使用不同年龄组的数据训练FER模型的效果,发现识别老年人的面部表情是最困难的。此外,Jannat和Canavan(2021)使用ElderReact和EmoReact数据集训练Siamese CNN时,揭示了老年人和儿童在表情上的差异。Park、Shin、Song、Yun和Jang(2022)展示了在FER中解决年龄偏见的重要性,表明使用特定年龄的数据集进行训练可以将准确率提高22%。自动FER系统受到数据集中面部年龄的显著影响,因此数据集的选择至关重要。像FACES(Ebner、Riediger和Lindenberger,2010)和LifeSpan(Minear和Park,2004)这样的数据集经常被使用(Al-Garaawi、Morris,2016;Al-Garaawi、Morris、Cootes,2022;Caroppo、Leone、Siciliano,2017;Caroppo、Leone、Siciliano,2019;Caroppo、Leone、Siciliano,2020;Guo、Guo、Li,2013;Lopes、Silva、Khanal、Reis、Barroso、Filipe、Sampaio,2018;Mary、Jayakumar,2016;S?nmez,2019;Wang、Wu、Gao、Ji,2015;Wu、Wang、Wang,2015),主要是因为这些数据集包含了广泛年龄范围的受试者,有助于开发出不受年龄影响的模型。为了解决老化问题,已经提出了几种策略。一种方法是通过面部平滑技术去除与年龄相关的特征,同时不牺牲关键的结构信息(Guo、Guo、Li,2013;Mary、Jayakumar,2016)。另一种方法是在训练过程中结合年龄信息,使用贝叶斯网络,而在测试时忽略年龄因素(Wang、Wu、Gao、Ji,2015;Wu、Wang、Wang,2015)。Al-Garaawi和Morris(2016)首先分析了面部特征与年龄的差异,随后在他们的模型中将年龄作为一个关键特征(Al-Garaawi等人,2022),采用年龄组估计器和特定年龄的表情识别器的加权组合。其他研究则专注于特定年龄组,而不是全面考虑老化效应。这些研究使用的数据集包括ElderReact(Ma等人,2019)和Tsinghua(Yang等人,2020)针对老年人的数据集,CK+(Lucey等人,2010)、JAFFE(Lyons、Kamachi和Gyoba,2020a)、AFEW(Dhall、Member、Goecke、Lucey和Gedeon,2007)和FER-2013(Goodfellow等人,2013)针对成年人的数据集,以及LIRIS(Khan、Crenn、Meyer和Bouakaz,2019)、CAFE(LoBue和Thrasher,2014)、DEFSS(Meuwissen、Anderson和Zelazo,2017)和EmoReact(Nojavanasghari、Baltru?aitis、Hughes和Morency,2016)针对儿童的数据集等。
2.2. 既往综述总结
通过梳理文献,我们找到了多项关于面部表情识别的综述,如表1所示。尽管这些综述大多不专门针对老年人,因此没有考虑前文讨论的人类老化效应,但它们确实提供了关于FER中常用数据集和技术的宝贵见解。在本节中,我们分析了过去十年的相关综述和调查,指出我们当前研究中涉及的许多关键方面在之前的综述中并未得到充分探讨。
表1. 既往综述与我们工作的比较,考虑了当前系统性综述的关键方面。从左到右的列分别代表以下标准:综述是否具有系统性;是否包含了先前综述的探索;是否关注老年人群体;是否关注基于深度学习的方法;是否提供了数据集列表;是否研究了FER系统在现实世界的应用;是否将隐私视为关键问题;以及是否讨论了XAI技术在FER系统中的应用。
| 综述 | 系统性 | 是否包含先前综述 | 是否关注老年人 | 是否关注基于深度学习的方法 | 是否提供数据集列表 | 是否研究多模态数据 | 是否探讨了FER系统在现实世界的应用 | 是否将隐私视为关键问题 | 是否讨论了XAI技术在FER系统中的应用 |
|--------------|-----------------|---------------|------------------|------------------|------------------|------------------|------------------|------------------|----------------------|
| 我们的综述(2025) | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| Mohana & Subashini(2024) | ? | ? | ? | ? | ? | ? | ? | ? |
| Kaur & Kumar(2024) | ? | ? | ? | ? | ? | ? | ? | ? |
| Kumari等人(2024) | ? | ? | ? | ? | ? | ? | ? | ? |
| Almasoudi等人(2023) | ? | ? | ? | ? | ? | ? | ? | ? |
| Leong等人(2023) | ? | ? | ? | ? | ? | ? | ? | ? |
| Boughanem等人(2023) | ? | ? | ? | ? | ? | ? | ? | ? |
| Labzour等人(2023) | ? | ? | ? | ? | ? | ? | ? | ? |
| Liang & Dong(2023) | ? | ? | ? | ? | ? | ? | ? | ? |
| Adyapady & Annappa(2023) | ? | ? | ? | ? | ? | ? | ? | ? |
| Karnati等人(2023) | ? | ? | ? | ? | ? | ? | ? | ? |
| Guerdelli, Ferrari, Barhoumi, Ghazouani & Berretti(2022) | ? | ? | ? | ? | ? | ? | ? | ? |
| Khan(2022) | ? | ? | ? | ? | ? | ? | ? | ? |
| Maithri等人(2022) | ? | ? | ? | ? | ? | ? | ? | ? |
| Aziz等人(2022) | ? | ? | ? | ? | ? | ? | ? | ? |
| Canal等人(2022) | ? | ? | ? | ? | ? | ? | ? | ? |
| Modi & Patel(2022) | ? | ? | ? | ? | ? | ? | ? | ? |
| Jain, Quadri & Lalit(2021) | ? | ? | ? | ? | ? | ? | ? | ? |
| Htay(2021) | ? | ? | ? | ? | ? | ? | ? | ? |
| Abdullah & Abdulazeez(2021) | ? | ? | ? | ? | ? | ? | ? | ? |
| Muazu, Manzi & Aminu(2021) | ? | ? | ? | ? | ? | ? | ? | ? |
| Ullah & Tian(2021) | ? | ? | ? | ? | ? | ? | ? | ? |
| Moolchandani, Dwivedi, Nigam & Gupta(2021)| ? | ? | ? | ? | ? | ? | ? | ? |
| Revina & Emmanuel(2021) | ? | ? | ? | ? | ? | ? | ? | ? |
| Dalvi, Rathod, Patil, Gite & Kotecha(2021)| ? | ? | ? | ? | ? | ? | ? | ? |
| Pranathi, Lakshmi & Suneetha(2021)| ? | ? | ? | ? | ? | ? | ? | ? |
| Alexandre, Soares & Thé(2020)| ? | ? | ? | ? | ? | ? | ? | ? |
| Patel等人(2020) | ? | ? | ? | ? | ? | ? | ? | ? |
| Sari等人(2020) | ? | ? | ? | ? | ? | ? | ? | ? |
| Vyas, Prajapati & Dabhi(2019) | ? | ? | ? | ? | ? | ? | ? | ? |
| Chinchanikar(2019) | ? | ? | ? | ? | ? | ? | ? | ? |
| Canedo & Neves(2019) | ? | ? | ? | ? | ? | ? | ? |
| Martinez, Valstar, Jiang & Pantic(2019)| ? | ? | ? | ? | ? | ? | ? | ? |
| Bhattacharya & Gupta(2019) | ? | ? | ? | ? | ? | ? | ? |
| Fei等人(2019) | ? | ? | ? | ? | ? | ? | ? |
| Liliana & Basaruddin(2018) | ? | ? | ? | ? | ? | ? | ? |
| Rajeswari & IthayaRani(2018) | ? | ? | ? | ? | ? | ? | ? |
| Ko(2018) | ? | ? | ? | ? | ? | ? | ? | ? |
| Asad, Kashyap & Singh(2017) | ? | ? | ? | ? | ? | ? | ? |
| Ghayoumi(2017) | ? | ? | ? | ? | ? | ? | ? |
首先,需要考虑既往综述过程的方法学严谨性。系统性综述方法通过精确定义信息来源、搜索策略、研究选择标准和数据提取程序,促进对研究的全面和无偏选择与分析。此外,质量评估步骤对于确保只包含高质量、相关的研究至关重要。然而,在表1中列出的42篇综述中,只有13篇遵循了系统性综述过程。Kitchenham和Charters(2007)也强调了分析现有综述的重要性,以识别文献中的空白并避免重复工作。然而,如表格所示,只有12项研究考虑了之前的综述。
当前研究与早期综述的主要区别在于我们专注于老年人的FER应用和深度学习工具。只有两项综述专门关注老年人群体。Labzour、Fkihi、Benaissa、Zennayi和Bourja(2023)讨论了11项关于老年人FER的研究,涵盖了传统方法和深度学习方法及其相关数据集。Fei等人(2019)也研究了老年人的FER,主要将其作为轻度认知障碍的早期诊断工具。然而,他们的工作没有涵盖过去五年的最新研究,且主要关注传统计算机视觉方法而非基于深度学习的方法。因此,关于针对老年人的最新深度学习FER研究的文献存在空白。
共识别出11篇综述讨论了FER中的深度学习(Abdullah, Abdulazeez, 2021;Boughanem, Ghazouani, Barhoumi, 2023;Chinchanikar, 2019;Ghayoumi, 2017;Karnati, Seal, Bhattacharjee, Yazidi, Krejcar, 2023;Kumari, Kapoor, Saini, 2024;Li, Deng, 2020;Liang, Dong, 2023;Pinto, Alves, Medeiros, Costa, Pires, Costa, Seruffo, 2023;Sari, Moussaou?, Hadid, 2020)。其中,只有Pinto等人和Karnati等人的工作采用了系统性综述过程,且后者仅回顾了之前的FER综述,这可能导致研究列表的重复。尽管许多综述包括了常用的数据集列表——这对于基于深度学习的方法来说是一个重要考虑因素——但没有一篇综述专注于老年人群体,也没有涉及当前工作关注的关键方面,如现实世界中的应用、隐私保护或可解释AI技术。
三个关键方面——现实世界环境中的应用、隐私保护和XAI技术——在之前的综述中仍大多未被深入探讨。现实世界场景中的应用仅在两项综述中进行了研究,这些综述描述了涉及移动应用和机器人的应用(Leong, Tang, Lai, & Lee, 2023)以及智能家居集成(Aziz, Khan, Aziz, Hasnul, & Ismail, 2022)。尽管有两篇综述提到了隐私方面的伦理问题(Almasoudi, Baowidan, Sarhan, 2023;Kaur, Kumar, 2024),但只有一篇综述对此进行了深入探讨(Adyapady & Annappa, 2023)。此外,尽管XAI的重要性日益增加,但在任何综述中都没有对其进行全面研究,尽管有些综述将其列为未来的挑战(Kaur, Kumar, 2024;Mohana, Subashini, 2024;Patel, Mehta, Mistry, Gupta, Tanwar, Kumar, Alazab, 2020)。
鉴于明显缺乏关注使用深度学习技术进行老年人FER的综述,本研究旨在填补这一空白。具体来说,我们的分析表明,现有的综述倾向于单独研究FER、深度学习技术、老年人群体或应用考虑(如现实世界应用、隐私保护和可解释AI)。因此,没有一篇综述系统地探讨了这些维度的交集。通过将基于深度学习的FER明确置于老年用户的背景下,并同时考虑多模态性、部署限制、隐私保护和可解释性,本系统性综述填补了一个未被发现的研究空白,并为开发实用、可靠和可信的FER应用提供了直接相关的见解。
3. 综述问题
我们确定了两个主要综述问题,每个问题都关联多个次要问题,如表2所示。
表2. 用于本系统评价研究(SLR)的主要和次要研究问题
| 研究问题 | 主要问题 | 次要问题 |
|-----------------|---------------------------------|---------------------------------|
| RQ1 | 在老年人群体中应用了哪些深度学习技术? | |
| RQ1.1 | 哪些架构最常用? | |
| RQ1.2 | 哪些数据集使用最频繁? | |
| RQ1.3 | 使用的数据的主要特征是什么? | |
| RQ1.4 | 在FER中使用了多少面部标志点和动作单元? | |
| RQ1.5 | 除了FER之外,还通常计算哪些其他任务? | |
| RQ2 | 如何在现实世界环境中有效部署这些技术? | |
| RQ2.1 | 提出的解决方案是否已被部署? | |
| RQ2.2 | 是否解决了老化偏见问题? | |
| RQ2.3 | 隐私是否是主要考虑因素? | |
| RQ2.4 | 经济成本是否是主要考虑因素? | |
| RQ2.5 | 是否使用了XAI技术? | |
RQ1旨在找出哪些深度学习技术具体应用于老年人的面部表情识别,以及如何使用这些技术。相关的次要问题深入探讨了这些技术的具体方面,例如流行的架构和数据集。此外,这些问题还评估了数据特征(例如图像或视频格式以及多模态集成),并评估了面部标志点和动作单元的作用,这些是FER研究中常见的特征。相比之下,RQ2关注在实际环境中为老年人部署FER系统的实际考虑因素。我们研究了成功部署的关键因素,包括训练数据中与年龄相关的偏见可能导致的性能下降。我们还评估了隐私和经济方面的考虑。最后,鉴于医疗保健环境中对透明度和信任的迫切需求(Adadi & Berrada, 2018),我们探讨了可解释AI技术在这些系统中的集成程度。
4. 综述方法
在本节中,我们详细描述了系统性综述过程,遵循Kitchenham和Charters(2007)制定的指南。首先,我们介绍了用于编制初步研究列表的数据来源和搜索策略。接下来,我们解释了用于排除低质量和相关研究的质量评估和研究选择程序。最后,我们概述了从每项选定研究中提取的信息。
4.1. 数据来源
为了确保收集到全面的相关研究,我们使用了五个不同的数字数据库。SCOPUS和Web of Science(WOS)因其广泛的跨学科覆盖而入选,而ACM Digital Library、IEEE Xplore Digital Library和PubMed则因其专注于计算机科学、技术和生物医学研究而被选中。图1显示了从每个来源检索到的研究分布。值得注意的是,ACM Digital Library提供的研究数量最多。
4.2. 搜索策略
为了在SCOPUS数据库中更精确地进行搜索使用公开可用的数据集非常重要,因为它允许其他研究人员以标准化的方式将他们的结果与以往的研究进行比较。通过应用这些标准,我们能够过滤掉可能存在偏见的研究。这种质量评估被纳入了研究选择过程中,具体内容在第4.4节中有详细说明,而从每项研究中提取的数据列表则在第4.5.4节中列出。
4.4 研究选择
在从多个数据库收集到共计362项研究结果后,我们识别并移除了21个重复条目。随后,我们逐一审查了剩下的研究,排除了与研究主题不直接相关的研究。此外,我们还淘汰了不符合我们纳入标准的研究,包括那些不是用英语或西班牙语撰写的研究、无法全文访问的研究,以及不符合第4.3节中所述质量标准的研究。图3展示了从最初收集研究到最终筛选的过程。最终,有39项研究被选中纳入本综述,其中21篇为期刊文章,18篇为会议论文。正如Kitchenham和Charters(2007)所指出的,“除非特别努力解决这一问题,否则出版偏见会导致系统评价中的系统性偏差”。由于扫描会议论文是应对出版偏见的标准搜索策略,因此这些论文也被保留下来进行分析。
4.5 数据提取与整合
为了整合相关研究,我们从每项研究中提取了不同的信息。提取的信息字段如图4所示。
4.5.4. 数据提取与合成
5. 结果
相关研究的完整列表见表3。在本节中,我们将对这些研究进行详细分析,以回答提出的研究问题。为了提高可读性,结果被组织成几个独立的小节,每个小节都针对一个具体的研究问题。
表3. 系统评价中确定的相关研究。从左到右的列分别表示该研究是否包含针对老年用户的实验、是否研究了年龄对面部表情识别(FER)的影响、是否考虑了时间维度、是否考虑了经济成本、是否将解决方案整合到框架或部署中、是否采用了生成式对抗网络(XAI)工具、是否结合了其他模式,以及是否实施了隐私保护方法。
5.1 研究的质量和影响力
表4总结了本系统评价中包含的研究的出版平台和引用影响力。大多数选定的研究发表在《期刊引用报告》(JCR)索引的同行评审期刊上,且主要集中在高影响力期刊中。特别是,大多数期刊文章位于前两个四分位数(Q1和Q2)内,只有一篇期刊文章未被JCR索引。这种分布表明,所评估的文献中有相当一部分经过了严格的编辑和同行评审过程。
5.2 老年人群中面部表情识别(FER)的深度学习(DL)技术
在深入探讨针对老年人群的特定DL基FER方法之前,有必要概述该领域常用的DL流程(Boughanem, Ghazouani, Barhoumi, 2023; Mohana, Subashini, 2024)。该流程通常从获取合适的数据集开始,这些数据集对训练可靠模型至关重要。在FER的背景下,数据通常包括以RGB格式捕获的面部图像或视频序列,尽管一些研究也探索了多模态输入,如深度或热数据。预处理步骤通常用于提高输入质量和一致性,可能包括面部检测和对齐、图像大小调整、归一化和背景去除。为了弥补数据集规模的限制,经常使用数据增强技术(如翻转、旋转、裁剪和颜色抖动)来增加训练样本的变异性并减少过拟合。
准备好数据后,会使用各种深度学习架构进行特征提取和分类。卷积神经网络是最常见的选择,因为它们在捕捉面部特征的空间模式方面非常有效。其他架构,包括循环神经网络(RNNs)、长短期记忆(LSTM)网络,以及最近的基于Transformer的模型,也被使用——特别是在基于视频的FER中,时间动态起着关键作用。这些模型的训练过程使用了优化算法(如Adam或随机梯度下降),以及损失函数(如分类交叉熵)。为了防止过拟合,通常应用dropout、提前停止或权重正则化等技术。鉴于FER数据集中类别不平衡的情况较为常见(某些表情(例如快乐)比其他表情更常见),有时会使用类别加权或重采样策略来确保公平训练。评估标准指标包括准确率、F1分数、精确度和召回率。此外,当数据集规模有限时,通常会使用k折交叉验证来评估模型的泛化能力。
5.2.1 深度学习架构
表5总结了相关研究中使用的基于深度学习的方法。该表突出了模型架构的多样性及其在面部表情识别流程中各种任务中的应用。
5.2.1.1 深度学习架构
表5提供了相关研究中使用的基于深度学习的方法的概览。表格强调了模型架构及其在面部表情识别流程中各种任务中的应用情况。以下缩写和术语用于简洁表达:面部表情识别(FER)、特征提取(feat. ext.)、对象检测(OD)、面部识别(FR)、对象分割(OS)。近年来,以注意力机制而闻名的Transformer模型逐渐备受关注。表格中的12个模型采用了基于注意力的方法,并出现在13项研究中。Transformer被应用于多种任务,从图像的 facial expression recognition (FER)(Huang, Xu, Wan, Zhang, Zha, Pang, 2024a, Santoso, Kusuma, 2022)到多模态分析(Fan et al., 2022),以及混合卷积-Transformer模型,如 Convolutional Vision Transformer (CvT)。一些研究在他们的FER流程中融入了无监督学习阶段。Uddin 等人(2017a; 2017b)使用了深度信念网络(DBNs),首先进行无监督训练以学习特征提取,然后进行有监督的微调。类似地,Caroppo, Leone, & Siciliano(2018)利用了堆叠去噪自编码器(SDAE),该模型首先在无监督阶段学习重建输入数据,之后再进行FER微调。
为了能够在资源有限的设备上部署或确保实时处理,一些研究采用了轻量级架构。MobileNet(Fei, Yang, Yu, Li, Zhou, Zhou, 2022, Gaya-Morey, Manresa-Yee, Buades-Rubio, 2024a)专门为移动应用设计,而 EfficientNet(De Carolis, Palestra, Castellano, 2024, Gaya-Morey, Manresa-Yee, Buades-Rubio, 2024a, Santoso, Kusuma, 2022)则通过在资源使用上进行优化,提供了可扩展的性能。同样,SqueezeNet(Iandola et al., 2016)通过其提出的 Fire 模块,在参数数量减少50倍的情况下仍达到了与AlexNet相同的准确率。mini-Xception网络作为Xception的紧凑版本,大幅减少了可训练参数的数量,使其成为轻量级FER解决方案的理想选择(Petrou, Christodoulou, Avgerinakis, Kosmides, 2023, Yan, Xu, Klopfer, Nürnberger, 2020)。商业软件也在某些研究中发挥了作用。Kim, Bryant, Srikanth, & Howard(2021)研究了Amazon Rekognition、Face++、Microsoft Face和Sighthound等FER工具中的年龄偏见,发现这些工具在分析老年人的面部时表现较差。Sharma等人(2020)使用了OpenFace 2.0进行面部特征点和动作单元检测,随后这些数据被DL模型用于FER。Zhu等人(2024)研究了FaceReader,该工具能够估计面部特征点、动作单元和表情,并为微笑图像定义了预期输出。Chen & Chen(2023)将FaceReader进一步整合到情感识别护理环境中。
FER模型中的输出类别数量和类型因研究而异。如图5所示,大多数研究集中在六种基本面部表情——快乐、悲伤、愤怒、惊讶、恐惧和厌恶——以及中性表情上。还有一些研究探索了其他表情,如轻蔑(Fan, Wang, Zhu, Cao, Yi, Chen, Jia, Lu, 2022, Jayanthi, Nirmaladevi, Bharathi, Krithiknimalan, Vimalkumar, 2024, Rokkones, Uddin, Torresen, 2019, Zhang, Huang, Tian, 2020)、睡眠、平静(Chen & Chen, 2023)、紧张、疲劳、疼痛(Fan et al., 2022)、兴奋和沮丧(Anand, Devulapally, Bhattacharjee, & Yuan, 2023)等。
最后,一些研究将传统的计算机视觉方法与深度学习结合用于面部表情识别。在其他方法提取特征后,支持向量机(SVMs)经常被用于面部表情分类(Caroppo, Leone, Siciliano, 2020, Fei, Yang, Yu, Li, Zhou, Zhou, 2022)。一些研究在分类前应用主成分分析来降低数据维度(Bi, Tian, Wang, Zhang, 2022, Uddin, Hassan, Almogren, Alamri, Alrubaian, Fortino, 2017a)。在预处理过程中的面部检测和裁剪中,Viola-Jones算法被多次使用(Fei, Yang, Yu, Li, Zhou, Zhou, Zhou, 2022, Gaya-Morey, Manresa-Yee, Buades-Rubio, 2024a, Ismail, Vasudev, 2024)。此外,各种特征描述符也被广泛应用于研究中,包括局部二值模式(Caroppo, Leone, Siciliano, 2020, Uddin, Hassan, Almogren, Alamri, Alrubaian, Fortino, 2017a, Zhang, Huang, Tian, 2020)、局部方向强度模式(Rokkones et al., 2019)和Geneva简约声学参数集(Sharma et al., 2020)。
5.2.2. 数据集
表6提供了综述研究中用于FER任务训练的数据集概览。如表所示,这些数据集在注释、数据类型、类别和样本数量方面存在显著差异。
表6. 本综述中包括的研究使用的FER数据集。从左到右的列分别显示了用户数量、年龄范围、数据集是包含图像还是视频数据、样本总数、面部表情类别的数量以及使用每个数据集的相关研究数量。
参考文献
数据集 用户 年龄范围 类型 样本数量 表情类别 相关研究数量
Goodfellow et al. (2013) FER-2013 N AN/A 图像 35,887 7 10
Mollahosseini, Hasani, & Mahoor (2019) AffectNet N AN/A 图像 440,000 7
Lucey et al. (2010) CK+ 12 31 8-50 视频 593
Ebner et al. (2010) FACES 17 11 9-80 图像 2,052 67
Minear & Park (2004) LifeSpan 57 6 18-93 图像 1,354 84
Ma et al. (2019) ElderReact 46 N AVideo 1,323 63
Nojavanasghari et al. (2016) EmoReact 6 4-14 视频 1,102 83
Zhao et al. (2011) Oulu-CASIA 80 23-58 视频 480 62
Langner et al. (2010) RaFD 49 N/A 图像 5,880 82
Palmero et al. (2025) EMPATHIC WoZ 15 36 5+ 视频(帧) 3,306 490 61
Fei et al. (2025) CFE 46 N/A 图像 240 51
Dou et al. (2024) EFED N AN/A 图像 19,869 51
Fei et al. (2022) CEPD N AN/A 图像 13.6 92 61
Fei et al. (2022) CADN N AN/A 图像 165 51
Hussain (2021) Jafar Hussain N AN/A 图像 67 95 1
Yang et al. (2020) TFED 11 19-76 图像 112 88
Lyons, Kamachi, & Gyoba (2020b) JAFFE 10 N/A 图像 219 71
Mascaró & Amengual (2020) UIBVFED 20 20-80 图像 640 61
Livingstone et al. (2018) RAVDESS 24 21-33 视频 7.35 68
Li, Tsangouri, Abtahi, & Zhu (2018) CIFEN N/A 图像 14.75 67
Bagher Zadeh et al. (2018) CMU-MOSEI 1,000 N AVideo 3.22 86
Zhalehpour et al. (2017) BAUM-1s 31 19-65 视频 1.18 48
Pantic et al. (2005) MMI 75 19-62 视频+ 图像 84 8+ 740 61
Lundqvist, Flykt, & ?hman (1998) KDEF 70 20-30 图像 4,900 71
多个数据集是从互联网上自动收集的,包括FER-2013、ElderReact、AffectNet、EmoReact、Jafar Hussain、CIFE和EFED。这种收集方法可以创建大型数据集,例如FER-2013(35,887个样本)和AffectNet(440,000个样本)。然而,这些数据集通常存在一些问题,如表情标注质量较差(Mejia-Escobar, Cazorla, & Martinez-Martin, 2023)、样本重复(Manresa-Yee, Ramis, & Buades, 2023)以及缺乏用户的人口统计信息。相比之下,在受控条件下收集的数据集具有优势,例如可以根据人口统计标准选择用户、同一人的多个样本以及受控的照明条件。例如,FACES和LifeSpan强调年龄多样性,支持跨年龄段的研究,而ElderReact和EmoReact分别针对老年人和儿童。此外,UIBVFED是唯一一个合成生成的数据集,可以精确控制头像的面部表情和人口统计特征,包括年龄、性别和种族。
尽管大多数数据集是图像格式的,但也有许多是基于视频的(Bagher Zadeh, Liang, Poria, Cambria, Morency, 2018; Livingstone, Russo, 2018; Lucey, Cohn, Kanade, Saragih, Ambadar, & Matthews, Ma, Wang, Yang, Zhang, Girard, Morency, 2019; Nojavanasghari, Baltru?aitis, Hughes, Morency, 2016; Palmero, deVelasco, Hmani, Mtibaa, Letaifa, Buch-Cardona, Justo, Amorese, González-Fraile, Fernandez-Ruanova, Tenorio-Laranga, Johansen, Silva, Martinussen, Korsnes, Cordasco, Esposito, El-Yacoubi, Petrovska-Delacrétaz, Torres, Escalera, 2025; Zhalehpour, Onder, Akhtar, Erdem, 2017; Zhao, Huang, Taini, Li, Pietik?inen, 2011)。值得注意的是,MMI(Pantic, Valstar, Rademaker, & Maat, 2005)提供了图像和视频格式的样本。基于视频的数据集能够将时间信息纳入FER任务,对于需要实时处理的系统特别有价值。
大多数数据集包括六种基本面部表情(快乐、悲伤、愤怒、恐惧、厌恶和惊讶)。此外,14个数据集还包括中性表情,而三个数据集包含了轻蔑表情。其他较少见的表情每个只在其中一个数据集中出现,如无聊(Zhalehpour et al., 2017)、满足(Yang et al., 2020)、平静(Livingstone et al., 2018)、好奇、不确定、兴奋和沮丧(Nojavanasghari et al., 2016)、恼怒和暴躁(Minear & Park, 2004)。
一些研究没有依赖表6中列出的数据集,而是根据特定的研究需求创建了自定义数据集。这些努力为解决现有数据集中代表性不足的特定人群或表情提供了独特的机会。例如,Uddin等人(2017a; 2017b)开发了一个包含六种基本面部表情的40个特写RGB-D视频的数据集。这种方法利用深度信息来提高面部表情识别能力,同时保护用户隐私。同样,Khajontantichaikun等人(2023; 2022)整理了一个包含900张泰国老年人面部图像的数据集,每种基本表情有150个样本。这些样本来自在线媒体,并由五位人类评估者进行标注。Zhu等人(2024)则使用生成对抗网络为每个年龄段(儿童、年轻人、中年人和老年人)合成了20张图像。
一些研究关注具有特定医疗或心理状况的人群。例如,Huang等人(2024a)引入了帕金森病面部表情数据集,其中包含95名帕金森病患者的六种基本表情的RGB图像。Fan等人(2022)构建了一个包含1,302个18-85岁中风患者视频的数据集,不仅捕捉基本表情(快乐、悲伤、惊讶和愤怒),还捕捉了四种特定于状况的表情:痛苦、紧张、疲劳和中性。此外,该数据集还包括面部动作编码系统(FACS)标签,适用于详细的面部动作单元分析。Sharma等人(2020)收集了70名65岁及以上老年参与者的140个视频,其中28人被认定为冷漠,从而能够研究老年人的冷漠识别。
为了解决数据不平衡的问题,有多种技术可供选择,如通过欠采样或过采样重新平衡数据,以及使用加权损失函数。然而,尽管许多研究使用了不平衡的数据集(如AffectNet和LifeSpan),但大多数研究要么没有应用这些方法,要么没有提及它们的使用。在明确处理不平衡问题的研究中,有四个研究采用了欠采样技术(Fahn, Chen, Wu, Chu, Li, Hsu, Wang, Tsai, 2022, Huang, Peng, Cai, Guo, Chen, Tan, 2024b, Sreevidya, Veni, Murthy, 2022, Wu, Wang, Wang, 2015),而三个研究选择完全移除少数类别(Anand, Devulapally, Bhattacharjee, Yuan, 2023, Petrou, Christodoulou, Avgerinakis, Kosmides, 2023, Yang, Lin, Chang, Chen, 2018)。
5.2.3. 数据特征
八项研究利用了视觉数据的时间维度来进行面部表情识别,而其余研究则仅使用静态图像。大多数基于视频的解决方案采用了常见的方法:从单个帧中提取特征,并使用RNN来捕捉时间信息。例如,Zhang等人(2020)使用VGG16网络进行特征提取,然后使用LSTM网络处理序列数据。同样,Rokkones等人(2019)使用局部方向强度模式作为帧描述符,随后将其输入RNN。Bi等人(2022)采用了类似的方法,使用GoogleNet进行特征提取,应用主成分分析来降低数据维度,并用贝叶斯概率框架处理结果数据。同样地,Sreevidya等人(2022)使用卷积神经网络从多个视频帧中提取特征,并使用LSTM处理时间方面。
其他研究探索了这种方法的变体以优化性能。例如,Sharma等人(2020)结合了VGG16提取的视觉特征和通过OpenPose 2.0获得的动作单元和面部特征点,使用门控循环单元(GRU)处理序列数据。虽然大多数研究依赖RNN来建模序列信息,但Anand等人(2023)采取了不同的方法,使用多模态Transformer架构(Vaswani et al., 2017)整合了视觉数据、音频和文本。De Carolis等人(2024)尽管在静态图像上进行FER,但通过计算定义时间内的不同表情频率来整合时间信息。他们通过选择最频繁出现的表情来确定最终表情,并给最新帧赋予更大的权重。
只有六项研究选择了多模态解决方案,将非视觉数据融入面部表情识别流程。这些方法展示了结合多种模态以提高预测性能的潜力。Sharma等人(2020)从多模态角度研究了冷漠检测。对于音频模态,他们使用Geneva简约声学参数集提取特征,该参数集包括基于频率、能量和频谱的18个低级描述符。这些特征通过全连接层进行处理以学习有意义的表示。然后将音频特征与视觉特征、动作单元和面部特征点结合,再通过额外的全连接层进行处理。将他们的多模态模型与单模态方法进行比较时,他们发现利用多种模态时预测准确性显著提高。
Sreevidya等人(2022)提出了两种不同的音频信号处理方法。第一种方法使用一维表示,提取韵律、频谱系数和声音质量特征(如紧张度和粗糙度)并将其输入一维卷积神经网络。第二种方法将音频信号转换为二维频谱图,然后使用Inception-V2(Szeg帕尔梅罗等人(2025年)也采用了类似的方法,他们同样融入了音频模态,使用WavLM(陈等人,2022年)提取音频特征,并将其与来自视觉模态的视觉特征合并。伊斯梅尔和瓦苏德夫(2024年)也结合了音频特征来估计语言中的情感状态。阿南德等人(2023年)在他们的情感面部识别(FER)流程中引入了文本作为第三模态,提出了一个多模态Transformer网络。该架构由特定于模态的并行网络组成,这些网络分别从每种模态中独立学习区分性特征。然后通过最小化并行网络之间的Kullback-Leibler散度来融合这些特征。这种设计使网络能够在有效利用多种模态的同时学习特定于模态的模式,从而在跨数据集设置中显著提高了性能。德卡罗利斯等人(2024年)专注于整合视觉和文本模态。对于视觉模态,他们训练了一个EfficientNet模型(谭和雷,2020年)来处理RGB图像;对于文本模态,他们使用了GPT-4.0(OpenAI,Achiam和Adler,2024年)来从文本输入中预测情感。在最终预测中采用了 late-fusion 策略,使用了来自两种模态的置信度分数。
5.2.4. RQ1.4. 面部标志点和动作单元在情感面部识别中的应用
面部标志点和动作单元(AUs)是面部表情识别中经常使用的两个基本工具。面部标志点是脸上可以视觉识别的点,例如眼睛、鼻子和嘴巴周围的特定区域,有助于表征面部几何形状。而动作单元则是在面部动作编码系统(Ekman和Friesen,1978年)中引入的,用于描述46种基本的肌肉运动,提供了对面部表情的更细致的理解。这些特征作为各种计算方法的面部表情识别输入。
一个值得注意的应用是Sharma等人(2020年)的多模态冷漠检测解决方案。他们将标志点和动作单元作为特征与视觉和音频数据结合到一个多模态模型中。他们使用OpenFace 2.0工具包(Baltrusaitis、Zadeh、Lim和Morency,2018年)计算这些特征,并证明结合多种模态显著提高了系统性能。同样,奥库尼希等人(2025年)也在多模态模型中结合了动作单元,但用于轻度认知障碍的检测。相比之下,卡罗波等人(2020年)从使用改进版主动形状模型(Milborrow和Nicolls,2014年)估计的面部标志点中提取了几何特征——线性、椭圆形和多边形。然后使用这些特征来训练各种机器学习模型。然而,他们的结果显示,基于几何标志点的特征性能低于基于深度学习(DL)的特征,例如VGG16(Simonyan和Zisserman,2015年)计算的特征。吴等人(2015年)采用了不同的方法,他们利用郭等人(2013年)提供的手动标注的参考点来训练一个贝叶斯网络。通过在训练阶段加入年龄标签,吴等人展示了显著的性能提升,突显了将年龄等人口统计特征整合到FER任务中的潜力。
另一方面,一些研究计算了面部标志点和动作单元,但没有直接用于面部表情识别。例如,Gaya-Morey等人(2024a)、朱等人(2024年)和陈等人(2023年)将这些特征用于其他目的,如系统开发和集成,但没有专门用于FER任务。
5.2.5. RQ1.5. 其他任务
除了作为本综述核心的面部表情识别任务外,许多研究还计算了其他相关任务。面部检测是所有回顾研究中最常见的预处理步骤,该步骤涉及裁剪图像以聚焦面部并移除与FER任务无关的数据。使用了多种面部检测方法,其中Viola-Jones技术(Viola和Jones,2001年)由于简单、速度快和计算需求低而最为普遍。另一个常见的预处理任务是面部标志点估计,这在第5.2.4节中有进一步讨论。年龄估计常用于解决不同年龄组之间的面部表情差异。例如,卡罗波等人(2020年)使用基于标志点的方法(Wu、Turaga和Chellappa,2012年)自动标记CIFE和FER-2013数据集中的图像,以研究不同年龄组的FER准确率。同样,朱等人(2024年)使用FaceReader(Noldus Information Technology b.v,2021年)将图像分类到不同年龄组并分析性能变化。黄等人(2024b)不仅使用ResNet18(He、Zhang、Ren和Sun,2016b)进行年龄估计以进行评估,还将其整合到他们的FER系统中以计算特定年龄组的特征。相比之下,杨等人(2018年)采用多任务方法,同时预测年龄和面部表情以提高两个任务的准确性。由于年龄估计被用作研究面部表情识别中老化效应的手段,这些工作在第5.3.2节中有更深入的分析。
FER还被用作检测认知障碍(CI)的工具,后者通常表现为异常的情感模式。费伊等人(2022年)使用连续帧中的面部表情作为SVM的输入,实现了对老年人的CI检测。江等人(2022年)采用了类似的方法,使用VGG19网络(Simonyan和Zisserman,2015年)预测面部表情,然后将这些预测输入到线性回归模型和SVM中进行CI检测。他们发现CI参与者表现出较少的积极情绪、更多的消极情绪和更高的面部表现力。然而,使用相同特征尝试识别CI亚型未能成功。奥库尼希等人(2025年)采用了一种多模态方法,结合了动作单元、表情、情感-唤醒值和图像嵌入,发现痴呆症患者表现出更多的悲伤表情和较少的快乐表情。Sharma等人(2020年)还探索了与FER密切相关的冷漠检测,他们提出了一种结合RGB数据、动作单元和音频的多模态解决方案。他们的结果表明,使用多种模态比依赖单一模态提高了性能。
几项研究将FER与其他任务结合,创建了多功能系统。严等人(2020年)将FER与面部识别和跌倒检测结合起来。对于面部识别,他们使用了MobileNetV2(Sandler、Howard、Zhu、Zhmoginov和Chen,2018年),而跌倒检测则是通过使用OpenPose(Cao、Hidalgo、Simon、Wei和Sheikh,2021年)估计身体姿势并分析肩膀和胸部坐标来实现的。这种整合旨在检测并响应不同警告情况,如跌倒和持续时间较长的消极表情。同样,Fahn等人(2022年)使用身体姿势估计进行跌倒检测,并将注视、面部表情和语音识别结合到社交机器人中。德卡罗利斯等人(2024年)通过结合文本的情感识别和GPT-4.0的对话生成扩展了FER功能。这些任务与FER相结合,赋予了社交机器人同理心能力。一项涉及30名老年参与者的用户研究表明,机器人的同理心特性提高了可用性,提供了更积极的用户体验。Gaya-Morey等人(2024a)进一步在其系统中增加了八项任务:FER、面部和人物检测、年龄和性别估计、面部识别、面部标志点估计和背景减除。他们还为每项任务提供了多种选项,以适应不同的使用场景。他们的目标是创建一个适用于任何社交互动代理的通用AI驱动模块。
5.3. RQ2. 在真实世界环境中的成功应用
我们现在展示与第二研究问题相关的发现,强调框架集成、部署、年龄对FER的影响、隐私考虑、经济成本以及可解释AI技术的使用。
5.3.1. RQ2.1. 部署
在真实世界场景中部署FER系统,例如护理系统,面临多个挑战,包括隐私问题以及与其他工具的无缝集成需求。 beberapa研究解决了这些问题,提供了创新的方法来改进FER系统的功能和用户体验。陈和陈(2023年)提出了一个自适应护理环境,根据检测到的用户情绪调整环境因素——如音乐、照明、温度和气味。该系统旨在将负面情绪转化为正面情绪,例如将愤怒和恐惧引导为平静,将厌恶和悲伤引导为快乐。通过个性化环境设置,他们展示了FER系统如何积极提升用户的幸福感和情绪状态。
基于用户互动的主题,德卡罗利斯等人(2024年)关注了同理心在老年护理中人机互动中的作用。他们的系统使用视觉数据和文本识别情绪,并使机器人能够通过屏幕上显示的语言和面部表情表达情绪。GPT 4.0(OpenAI等人,2024年)被用于情感状态分析和对话生成。一项涉及30名老年参与者的用户研究发现,具有同理心的机器人版本比非同理心版本更用户友好,提供了更好的整体体验。伊斯梅尔和瓦苏德夫(2024年)也研究了与社交机器人的互动,结合了来自视觉数据和语音的FER功能。
同样,严等人(2020年)开发了一个多功能系统用于临床监测,结合了面部表情、手势和面部识别来辅助患者治疗。该系统可以提醒护理人员注意危急情况,如跌倒、陌生人的出现或持续性的消极情绪(例如悲伤、愤怒、恐惧或厌恶)。Gaya-Morey等人(2024a)通过将多个计算机视觉任务整合到专为社交互动代理设计的单一模块中,扩展了FER应用的范围。他们的系统支持多种任务,包括面部表情识别、面部识别、面部标志点估计、面部和人物检测、年龄和性别估计以及背景减除。此外,他们还结合了可解释AI工具以提高透明度和用户信任。
最后,Fahn等人(2022年)探索了在社交机器人中整合FER与补充模态(包括注视、语音和姿势识别)的可能性。虽然他们的工作对每个任务提供了详细描述,但缺乏关于如何将其集成到机器人中的具体信息,也没有包括用户研究。
图6展示了在环境辅助生活系统中部署深度学习工具的一般框架。该图显示了一个社交互动代理,它从环境中收集数据,与深度学习系统通信以执行复杂任务,并根据模型的预测采取行动。此外,两个中间模块分别提供隐私保护和预测解释。这种架构反映了Gaya-Morey等人(2024a)提出的设计,本节中回顾的其他系统也可以通过少量调整适应这一框架——例如社交互动代理的类型(例如社交机器人)、输入数据的模态或涉及的深度学习任务的变化。
下载:下载高分辨率图像(259KB)
下载:下载全尺寸图像
图6. 在环境辅助生活系统中部署深度学习工具的一般框架。
5.3.2. RQ2.2. 年龄对面部表情识别的影响
众多研究(F?lster、Hess、Werheid,2014;Ko、Kim、Bae、Seo、Nam、Park、Park、Ihm、Lee,2021;S?nmez,2019)强调了用户面部年龄显著影响人类和自动化方法解码面部表情的能力。因此,各种工作引入了特定的关注机制来应对年龄差异在面部表情识别中带来的挑战。最早将年龄纳入FER模型的努力之一是由吴等人(2015年)提出的,他们提出了一个在三节点贝叶斯网络中训练时整合年龄信息的方法。利用包括表情和年龄标签的FACES和LifeSpan数据集,他们通过组内和组间评估评估了模型的性能。他们的发现表明,在所有组间案例中都存在显著偏差,强调了针对年龄进行特定建模的重要性。值得注意的是,在训练期间整合年龄信息提高了大多数表情的识别准确性,除了快乐之外。
基于这一概念,杨等人(2018年)采用了一个多任务学习框架来同时预测年龄和表情。他们的方法利用了两个特征提取子网络(卷积神经网络和散布网络),允许跨任务共享特征表示。该模型在FACES和LifeSpan数据集上表现出优于早期单一任务解决方案的性能。
另一种创新方法来自黄等人(2024b),他们将年龄组分类器直接集成到识别流程中。这使得他们的模型能够针对不同组别(婴儿(0-3岁)、青少年(4-19岁)、年轻成人(20-39岁)、中年成人(40-69岁)和老年人(70岁以上)专门处理年龄特定特征。在RAF-DB、AffectNet和FACES数据集上进行的测试表明,该方法取得了显著的性能提升,尤其是在识别老年人的面部表情方面。一些研究专注于评估和解决商用面部表情识别(FER)系统中的年龄相关偏见问题。例如,Kim等人(2021年)使用FACES数据集对四个商用系统进行了基准测试,涵盖了三个年龄组:年轻人、中老年人以及老年人。他们发现这些系统在年轻人群体上的表现最好,而在老年人身上的表现最差。此外,某些表情类别(如愤怒和中立)在老年人中的阳性预测值显著降低,凸显了当前FER技术的关键缺陷。Zhu等人(2024年)也研究了一个商用系统——FaceReader(Noldus Information Technology b.v,2021年)的性能。他们使用生成对抗网络(GAN)生成了80张分布在四个年龄组中的图像:儿童、年轻人、中老年人以及老年人。为了验证该系统,他们通过亚马逊机械土耳其(Amazon Mechanical Turk)招募了496名参与者进行调查。虽然该系统在年轻人和中年人的图像识别上与调查结果高度一致(Cohen’s kappa > 0.8),但在儿童图像上的表现较差(kappa = 0.4),这表明在识别年轻面孔的表情方面存在独特挑战。
Jannat和Canavan(2021年)对特定年龄段的数据集进行了更针对性的研究,他们使用了EmoReact和ElderReact数据集来研究儿童和老年人群体。通过使用在相同表情的图像对和不同表情的图像对上训练的连体神经网络(siamese neural network),他们在数据集内部达到了良好的性能。然而,跨数据集测试显示了一些有趣的现象:在ElderReact上训练然后在EmoReact上测试会导致性能下降,而在EmoReact上训练然后在ElderReact上测试则带来了意想不到的性能提升。
最后,Caroppo等人(2020年)从更广泛的角度研究了传统机器学习和深度学习方法在四个数据集(FACES、LifeSpan、FER-2013和CIFE)上的应用。他们分析了四个年龄组(18-29岁、30-49岁、50-69岁和70-93岁)的表现。由于FER-2013和CIFE缺乏年龄标签,他们通过基于标志点的方法(Wu等人,2012年)自动计算了这些标签以进行评估。在测试的模型中,VGG16深度架构与随机森林的组合取得了最佳效果,尤其是在老年人识别方面。然而,跨数据集评估显示,尤其是在年轻人身上的性能有显著下降,且不同数据集间的每类结果差异很大。
5.3.3 用户隐私保护
隐私保护在多个领域都是一个重要问题,尤其是在涉及视觉数据的医疗应用中。多项研究通过多种策略来解决这个问题,旨在保护用户身份的同时保持面部表情识别系统的有效性。Huang等人(2024a)采用Star Generative Adversarial Network(StarGAN)生成了帕金森病患者的合成面部表情图像,从而在保留患者身份的同时保护了重要的表情数据,确保了隐私而不影响系统性能。另一种有效的策略是使用深度图像而不是RGB数据(Uddin等人,2017a;Uddin等人,2017b),他们证明了使用深度图像进行FER的可行性,因为深度图像本身可以模糊用户身份。他们采用了各种特征描述符,如局部方向位置模式和修改后的局部方向模式,以实现强大的FER性能。
一些研究利用面部标志点或动作单元来增强FER,同时减少对原始RGB数据的依赖。例如,Sharma等人(2020年)、Caroppo等人(2020年)和Wu等人(2015年)利用了这些中间特征,在初始RGB图像处理阶段之后实现了数据匿名化。这种方法在准确性和隐私之间取得了平衡,去除了可识别的信息。De Carolis等人(2024年)采用了一种不同的方法,将他们的FER系统嵌入到一个小型机器人中。他们的隐私保护措施侧重于局部处理,确保所有计算都在机器人内部完成,从而消除了通过互联网传输用户数据的需要。
5.3.4 经济成本
在部署系统时,经济成本是一个常见的考虑因素,可以通过多种方式来解决,例如降低硬件要求或使用低成本设备。我们找到了八项在某种程度上提到经济成本的研究。De Carolis等人(2024年)使用Ubtech Alpha Mini机器人进行实验,选择这款机器人是因为其价格实惠。为了进一步降低成本,他们选择了EfficientNet模型(Tan & Le,2020年)来完成FER任务,这有助于降低硬件需求并提高推理速度。同样,Petrou等人(2023年)使用mini-Xception模型进行FER,该模型仅有58,000个参数且大小小于1MB,非常适合配置较低的环境。Yan等人(2020年)也使用了成本效益高的模型,包括mini-Xception进行FER,SqueezeNet(Iandola等人,2016年)进行面部检测,以及MobileNetV2(Sandler等人,2018年)进行面部识别。这些模型都部署在Raspberry Pi和Pi Camera上,这些都是非常经济实惠的组件。Fei等人(2022年)和Fahn等人(2022年)采用了类似的策略,通过使用紧凑模型来减少硬件需求。Fei等人使用了MobileNetV2,而Fahn等人开发了一个小型的自定义CNN用于FER,展示了较小模型如何有效应对经济限制。
Gaya-Morey等人(2024a)从不同的角度处理经济成本问题,提供了适用于各种硬件要求的多种选项框架。这种灵活性使他们的框架能够适应不同的环境和预算。此外,他们的客户端-服务器方案显著减少了机器人的硬件需求,因为计算密集型任务由外部计算机处理。
5.3.5 可解释的AI技术
正如Barredo Arrieta等人(2020年)所指出的,寻找可解释的AI模型的目标是信任度、数据变量之间的因果关系、决策的信息性、置信度和公平性等。在相关研究中,我们找到了六项研究解决了这些问题。Anand等人(2023年)开发了一种多模态解决方案,整合了文本、音频和视觉数据,并分别为每种模态提供解释。他们使用了局部可解释模型不可知解释(LIME)(Ribeiro, Singh, & Guestrin, 2016)来解释文本和视觉模态,以及其音频对应物audioLIME(Haunschmid, Manilow, & Widmer, 2020)来解释音频。LIME通过在预测周围学习可解释模型来解释任何分类器的预测。解释结果包括视觉图(视频帧和频谱图),其中正确的预测所需的最相关特征用绿色标出。在视觉模态中,这些特征主要对应于面部和手臂。Gaya-Morey等人(2024a)还在他们为社交交互代理设计的通用计算机视觉模块中融入了模型不可知的XAI方法。他们采用了三种方法:LIME(前述)、用于解释黑盒模型的随机输入采样(RISE)(Petsiuk, Das, & Saenko, 2018)和Shapley加性解释(SHAP)(Lundberg & Lee, 2017)。Okunishi等人(2025年)也使用SHAP来探索特征的重要性,并探讨了四种模态的相关性。由于这些方法是模型不可知的,因此它们具有通用性,可以应用于任何技术。他们生成的解释结果具有共同的格式:使用颜色梯度突出显示不同图像区域的重要性。
与模型不可知的方法不同,Fan等人(2022年)采用了针对他们评估的架构定制的模型特定XAI技术。他们的研究引入了一种patch-convolutional vision transformer(FER-PCVT)用于FER,并将其与ResNet18(He等人,2016b)和Vision Transformer(ViT)(Dosovitskiy等人,2021)进行了比较。为了解释ResNet18,他们使用了Grad-CAM(Selvaraju等人,2017),这是一种专门为计算机视觉任务中常用的卷积神经网络设计的方法。Grad-CAM利用流入最终卷积层的梯度来生成一个粗略的定位图,突出显示图像中对于目标预测重要的区域。对于基于Transformer的模型(如ViT和FER-PCVT),他们在所有层上聚合了注意力权重。所有解释都以热图的形式呈现,热点区域对应于特定预测的最相关区域。FER-PCVT展示了最佳结果,提取了更具体的面部特征,而ViT将重要性归因于图像边缘的数据,ResNet18则关注更广泛的面部区域。Bohi、Boudouri和Sfeir(2025)也在他们的研究中使用了Grad-CAM来评估不同数据集(FER2013、AffectNet和CK+)中学习到的模式差异。Fei等人(2025)采用了Grad-CAM++(Chattopadhay, Sarkar, Howlader, & Balasubramanian, 2018)来评估在相同数据上训练的网络在FER任务上的表现差异。这种方法在Grad-CAM的基础上进行了改进,使用了正梯度和高阶导数的加权组合来更好地定位对象。
一些研究还分析了分类前最后一层计算特征的聚类能力。尽管与上述XAI方法不同,但这些方法通过检查模型分离类别的能力以及显示它们之间的相似性提供了对模型内部工作的洞察。在这方面,Fan等人(2022年)使用t-distributed stochastic neighbor嵌入将模型的最后一层可视化,将每个数据点映射到一个二维空间。类似地,Dou、Wang和Yamauchi(2024年)使用主成分分析达到了相同的目的,认为他们的方法能更清晰地划分表情簇。最后,Uddin等人在几项研究中探索了各种视觉描述符,如局部方向强度模式、局部方向位置模式和修改后的局部方向模式(2019年;Uddin, Hassan, Almogren, Alamri, Alrubaian, Fortino, 2017a;Uddin, Hassan, Almogren, Zuair, Fortino, 2017b),使用局部判别分析或广义判别分析得到3D图,其中类别被清晰地分组到不同的簇中。
6. 讨论
在本节中,我们讨论了系统文献综述的主要发现,并分析了针对老年人面部表情识别的方法的优点和缺点,以及它们的主要特点,同时考虑了在实际应用中需要考虑的共同因素。此外,我们还根据这些发现对未来的工作提出了建议。本节分为几个小节,涵盖了综述中探讨的主要方面。
6.1 深度学习架构
综述文献显示出大家对卷积神经网络(CNN)作为FER系统框架的强烈偏好,特别是在基于图像的任务中。鉴于CNN在提取空间特征方面的有效能力,这种主导地位并不令人意外,这一点从VGG、ResNet和Inception等架构的广泛使用中可以看出(Bi, Tian, Wang, Zhang, 2022;Santoso, Kusuma, 2022)。然而,架构的选择往往反映了更广泛的设计约束和应用场景。虽然深度和计算密集型的CNN在实验室环境中仍然是标准选择,但如果不进行适应性调整,它们在现实世界的应用——尤其是在老年护理中——可能受到限制。相比之下,轻量级模型(如MobileNet、EfficientNet和mini-Xception)的采用表明人们对可在低功耗或嵌入式设备上运行的FER解决方案越来越感兴趣(De Carolis, Palestra, Castellano, 2024;Fei, Yang, Yu, Li, Zhou, Zhou, 2022;Yan, Xu, Klopfer, Nürnberger, 2020)。这些模型虽然有时会牺牲峰值准确性,但提供了实际优势,如减少推理时间和降低硬件要求,使其非常适合机器人或家庭监控设备。这与推动老年护理技术可访问性和成本效益的总体趋势一致。
基于Transformer的架构也开始受到关注,特别是在多模态或基于注意力的场景中(Anand, Devulapally, Bhattacharjee, Yuan, 2023;Fan, Wang, Zhu, Cao, Yi, Chen, Jia, Lu, 2022)。尽管它们的计算需求仍然很高,但它们在捕捉长距离依赖性(包括空间和时间)方面的灵活性为更丰富的情绪理解提供了有希望的途径,特别是在涉及社交互动或连续情感监控的情境中。它们在混合架构(如CvT)中的整合可能在表示能力和效率之间提供折中。
有趣的是,曾经在基于视频的FER中流行的RNN在最近的研究中出现频率较低,可能被基于Transformer的替代技术所取代。在使用过程中,循环神经网络(RNNs)倾向于捕捉序列数据中的时间动态,例如音频或视频(Rokkones, Uddin, Torresen, 2019; Zhang, Huang, Tian, 2020),但它们的应用场景有限,这表明要么是以静态图像为主,要么是其他方法更受青睐来建模时间变化。最后,传统机器学习组件(如SVM、PCA或手工制作的特征)的持续使用,表明在某些情况下混合式处理流程具有价值。这些方法在数据稀缺的情况下或当需要解释性和低计算成本时仍然具有优势。总之,针对老年人的面部表情识别(FER)的架构选择反映了性能与实用性之间的平衡。虽然深度卷积神经网络(deep CNNs)和Transformer提供了最先进的准确性,但它们的实际应用往往取决于系统级别的考虑因素,如延迟、成本和功耗。轻量级模型和混合解决方案的日益增加,表明在设计中更注重可用性和部署准备度,特别是在这些需求最迫切的领域。
6.2. 数据集
深度学习模型依赖于数据驱动的学习,但它们本质上容易出现训练数据集中的偏差。一些最常用的数据集(例如FER-2013、AffectNet)缺乏对老年人的充分代表,并且没有包含年龄注释。鉴于不同年龄组之间的面部表情存在差异(见第5.3.2节),这是一个显著的局限性。相比之下,像FACES和LifeSpan这样的数据集提供了年龄注释,使它们对于提高针对老年人群的预测准确性非常有价值(Caroppo, Leone, Siciliano, 2020; Wu, Wang, Wang, 2015)。同样,尽管ElderReact缺乏明确的年龄注释,但它包含了大量老年人的视频。为了解决FER数据集中年龄多样性不足的问题,我们区分了两种互补的策略。第一种是从更广泛的老年人群体中收集数据,这可以通过多机构合作、与养老中心合作、雇佣演员模拟情感表达,甚至使用虚拟化身来实现(Ebner, Riediger, Lindenberger, 2010; Mascaró, Amengual, 2020)。这些策略特别有助于以受控的方式获得高质量的标注样本。第二种是捕捉个体内的老化过程,从而使模型能够学习与年龄无关的特征。这可以通过纵向数据收集(例如Minear & Park (2004))或使用生成对抗网络合成不同年龄的面部图像来实现(Sattigeri, Hoffman, Chenthamarakshan, & Varshney, 2019)。这两种方法都有助于减轻与年龄相关的偏差并提高跨年龄组的泛化能力。
除了年龄之外,数据集设计还必须考虑种族、性别和健康状况的多样性,因为这些因素同样会影响面部表情的表现能力和模型的泛化能力。例如,FER系统已被证明存在与性别相关的偏差(Manresa-Yee et al., 2023)、种族偏差(Sham et al., 2023),以及对于面部肌肉控制有神经或慢性疾病的人准确性较低(Sabater-Gárriz, Gaya-Morey, Buades-Rubio, Manresa-Yee, Montoya, Riquelme, 2024, Shukla, Barreda-ángeles, Oliver, Puig, 2016)。因此,确保在这些维度上的代表性对于构建包容和公平的FER系统至关重要。一个有用的起点是对现有大规模数据集(如AffectNet)进行人口统计注释,这些数据集目前缺乏这些信息。这样的努力将有助于识别代表性不足的群体,并指导未来的数据收集工作。
类别不平衡是FER数据集中的另一个重大挑战,例如AffectNet(快乐和厌恶类别之间的样本数量相差超过10万)和LifeSpan(中性类别有580个样本,而厌恶类别只有7个样本)。然而,许多研究缺乏关于如何解决类别不平衡的信息(Caroppo, Leone, Siciliano, 2018, Caroppo, Leone, Siciliano, 2020, De Carolis, Palestra, Castellano, 2024, Jiang, Seyedi, Haque, Pongos, Vickers, Manzanares, Lah, Levey, Clifford, 2022)。当处理类别不平衡问题时,通常通过欠采样(Fahn, Chen, Wu, Chu, Li, Hsu, Wang, Tsai, 2022, Huang, Peng, Cai, Guo, Chen, Tan, 2024b, Sreevidya, Veni, Murthy, 2022, Wu, Wang, Wang, 2015)或完全移除少数类别(Anand, Devulapally, Bhattacharjee, Yuan, 2023, Petrou, Christodoulou, Avgerinakis, Kosmides, 2023, Yang, Lin, Chang, Chen, 2018)来解决。虽然这些方法可以帮助解决不平衡问题,但它们会降低数据集的多样性。替代方法,如过采样技术(Bach, Werner, Zywiec, Pluskiewicz, 2017; Mohammed, Rawashdeh, Abdullah, 2020)或基于类别的损失函数(Cui, Jia, Lin, Song, & Belongie, 2019)更为可取,因为它们可以保持数据集的大小和多样性。此外,评估不平衡数据时应避免使用准确性之类的指标,因为它们无法反映模型在各个类别上的真实性能。相反,像F1分数这样的指标更为合适,因为它平衡了每个类别的精确度和召回率(Branco, Torgo, & Ribeiro, 2016)。
6.3. 数据特征
文献中没有共识,关于静态图像是否足以用于FER,或者运动信息是否必不可少。例如,Alves (2013)认为动态表情能引发观察者更强烈的面部和生理反应,而Gold等人(2013)发现使用动态数据进行情感识别并没有额外的好处,超出了单个静态快照所提供的信息。在分析的研究中,静态图像占主导地位,这可能是由于大规模视频数据集的稀缺。开发用于FER的视频数据集不仅可以提供关于动态表情重要性的新见解,还可以允许与静态数据集进行直接比较。为了彻底研究动态面部表情——特别是在老年人等代表性不足的人群中——数据集必须包含带有良好注释的表情的视频序列,并且具有足够的年龄多样性。同样,结合视觉数据与其他模态(如音频)的多模态解决方案在面对单一模态错误时表现出更强的鲁棒性。例如,利用ElderReact数据集的研究表明,结合视觉和音频数据的方案优于单一模态方案(Anand, Devulapally, Bhattacharjee, Yuan, 2023; Sreevidya, Veni, Murthy, 2022)。Jiao, Guo, Feng, Chen, & Song (2024)对多模态解决方案的实现、优势及挑战进行了全面回顾。与单模态系统相比,它们的一个关键优势是对输入通道中的一种噪声或遮挡的鲁棒性,因为模态间的冗余使得模型在其中一个信号退化时仍能保持性能。多模态融合可以在三个不同的层次实现:在早期融合中,不同模态的原始数据在模型处理之前被连接起来,从而实现丰富的联合表示,但这需要精确的时间对齐和增加输入数据的复杂性;在中间融合中,在初始特征提取后结合特定于模态的嵌入,提供了集成和灵活性之间的平衡;而在后期融合中,合并来自单独单模态分类器的决策或输出概率,使其更加模块化,并且对缺失的模态更加鲁棒,但在捕捉跨模态交互方面可能效果较差。选择适当的融合策略取决于应用场景、数据质量和计算限制。总体而言,对多模态FER研究的分析表明,在关注老年人的场景中,中间和后期融合策略是最常用的方法。中间融合能够在保持灵活性的同时整合互补的特定于模态的表示,而后期融合则提供了对缺失或不可靠模态的模块化和鲁棒性,这在现实世界的辅助生活环境中尤为重要。尽管由于同步和数据异质性的挑战,早期融合较少被探索,但回顾的证据表明,特别是结合视觉和音频线索的多模态解决方案一致性地优于单模态FER系统。这些发现表明,多模态融合是一个有前景但尚未充分探索的方向,适合构建可扩展且可部署的针对老年用户的FER系统。
6.4. 面部特征点和动作单元
面部特征点和动作单元(Action Units, AUs)在FER中仍被广泛使用,特别是在优先考虑可解释性或模块性的系统中。与端到端深度学习方法相比,这些特征提供了更大的透明度,因为它们直接对应于可解释的面部区域或肌肉运动。然而,基于特征点和AU的方法通常不如从CNN中提取的深度学习特征表现得好(Caroppo et al., 2020)。多项研究表明,从特征点派生的手工制作的几何特征对噪声更敏感,对面部变化、遮挡或姿态变化的鲁棒性较低。这种性能差距导致许多研究人员将其作为多模态系统中的辅助特征(Sharma et al., 2020)或系统分析工具使用(Chen, Chen, 2023, Gaya-Morey, Manresa-Yee, Buades-Rubio, 2024a, Zhu, Boonipat, Cherukuri, Bite, 2024),而不是FER流程的核心组成部分。尽管如此,特征点和AU在推进老年人FER方面仍然发挥着重要作用。例如,它们已被用于探索与老化相关的表情变化,或通过特征级融合构建年龄感知系统(Wu et al., 2015)。它们的解剖学基础使它们适合检测可能被通用深度特征忽略的细微面部变化,尤其是在面部活动减少的人群中。此外,像OpenFace这样的工具促进了这些特征的标准化提取,使得可重复实验和与其他模态(如音频或文本)的集成成为可能。
6.5. 其他任务
面部表情识别可以与其他任务结合使用,正如各种研究所展示的那样,例如面部识别(Yan et al., 2020)、跌倒检测(Fahn et al., 2022)和语音识别(De Carolis et al., 2024)。这些组合在医疗环境中特别有价值,使系统能够自动识别用户、检测潜在的危险情况,并提供缓解孤独感的工具。在开发智能护理系统时,整合这些任务是有利的,因为它们可以使用相同的输入数据(例如相机的RGB视频)并具有相似的资源需求。此外,面部检测和年龄估计等任务主要被用作预处理步骤,以提高表情识别系统的性能(Huang, Peng, Cai, Guo, Chen, Tan, 2024b, Sreevidya, Veni, Murthy, 2022)。除了这些多功能系统之外,还有几项研究使用相关任务来增强FER本身的鲁棒性和适用性。例如,年龄估计已被用于解决老化对面部表情表现能力和FER系统性能的影响。在某些情况下,它被用作根据年龄组注释数据集的预处理步骤或分析性能差异(Caroppo, Leone, Siciliano, 2020, Zhu, Boonipat, Cherukuri, Bite, 2024)。在其他情况下,它被直接整合到FER系统中,无论是作为多任务学习环境中的辅助任务(Yang et al., 2018),还是用于提取特定于年龄的特征(Huang et al., 2024b)。这些策略在减轻与年龄相关的偏差和提高模型泛化能力方面显示出潜力。面部表情信息也被用作其他高级健康相关任务的输入。值得注意的是,有几项研究探索了它在检测认知障碍中的作用,假设情绪表达模式可能反映了潜在的认知衰退。例如,Fei et al. (2022)和Jiang et al. (2022)利用跨帧的情绪模式来预测认知障碍,发现受影响的个体倾向于表现出较少的正面情绪和增加的面部表现力。同样,FER也被用作多模态系统中的组件,用于检测冷漠(Sharma et al., 2020)。这些工作表明,FER可以作为情感和认知状态的有用代理,尤其是在与其他线索结合使用时。总体而言,这些发现表明,FER既是一个有价值的单独任务,也是医疗和辅助技术中更广泛系统的构建块。无论是通过年龄估计增强情感识别的个性化,还是有助于检测认知或行为障碍,FER都能很好地与其他AI任务结合,为老年护理场景提供更丰富和更具上下文意识的支持。
6.6. 年龄对FER的影响
鉴于老化对面部表现能力和FER性能的影响(如第5.3.2节所讨论的),确保训练数据具有年龄代表性成为现实世界环境中可靠FER系统的关键要求。本综述中的系统分析表明,通过针对年龄特征的网络架构或专门针对皱纹、肌肉萎缩或面部老化线索的预处理技术来适应年龄相关特征的情况很少见。相反,回顾的文献一致表明,FER系统中的年龄感知主要在数据层面 rather than 通过架构修改来解决。相同的核心深度学习架构(主要是基于CNN的模型及其轻量级变体)通常用于所有年龄组,包括老年人群体。因此,区分应用于老年人的FER系统的并不是使用专门的架构,而是一系列以数据为中心的设计选择,旨在提高跨年龄组的鲁棒性,而不是将与年龄相关的面部特征直接编码到模型结构中。由于这个原因,几项被审查的研究在他们的训练数据集中明确包含了老年人的数据,还有一些研究更进一步,将年龄信息作为辅助输入(Huang, Peng, Cai, Guo, Chen, Tan, 2024b; Wu, Wang, Wang, 2015)或者使用多任务学习框架(Yang et al., 2018)。虽然这些方法有助于减轻与年龄相关的偏见,但它们在很大程度上仍然是对老年数据稀缺的响应。这强调了在尝试系统部署之前构建或组合能够充分代表目标用户群体(特别是老年人)的人口统计特征的数据集的重要性。
只有有限的研究将情感面部识别(FER)系统整合到针对老年用户的实际应用中,例如情感感知的对话代理、用于情感监测的移动应用,或在护理机构中部署的系统(Chen, Chen, 2023; De Carolis, Palestra, Castellano, 2024)。这些案例提供了早期的证据,表明FER可以用于支持老年人的情感福祉,并为开发情感感知辅助技术铺平了道路(Swaminathan, Surendran, J, & V, 2022)。然而,还需要进一步的研究来评估可用性、感知到的有用性和长期的用户接受度——这些是确定此类系统是否能在实践中获得普及的关键方面。从部署的角度来看,这些发现强化了在设计用于辅助生活(AAL)的FER系统时考虑实时推理限制和边缘计算局限性的重要性。文献中观察到的对轻量级架构的偏好反映了实际需求,如低延迟、有限的计算资源和保私密的设备端处理。因此,旨在进行持续监控或交互式应用的FER系统必须在识别性能与响应能力和能效之间取得平衡,特别是在机器人、嵌入式平台或家庭监控设备上部署时。
尽管FER的直接部署仍然很少见,但从与老年护理监测相关的工作中可以获得有价值的见解。例如,Kim, Choi, Jeong, & Han(2022)开发了一种集成多种感知模式(包括语音识别、物体检测和人类活动识别(HAR)的家庭辅助机器人,以支持独立生活。同样,Zhang等人(2023)提出了一种使用IP摄像头和移动应用程序来检测异常行为的监测系统,Iksan等人(2021)提出了一个基于视频和音频输入的云动作识别框架,Htet等人(2024)展示了在现实医疗环境中基于深度视频部署HAR系统的可行性。这些系统可以自然地扩展FER模块,以监测情绪状态和身体活动,提供用户状况的更全面视图。鉴于HAR和FER在概念和技术上的相似性——两者主要依赖视觉输入,并面临遮挡、光照变化或实时推理限制等挑战——通常可以通过最小的额外传感硬件将情感识别组件添加到现有的HAR基础设施中。这种集成将能够更全面地了解老年用户的身体和情绪状态,可能改善护理效果和支持服务的个性化。
除了技术整合之外,FER系统的成功部署还依赖于关键利益相关者的参与——包括看护者、医疗专业人员、家庭成员以及老年人自己——在整个设计和开发周期期间。利益相关者有助于识别相关用例、验证系统效用,并促进其在日常活动中的接受度(Chandran, Al-Sa’di, & Ahmad, 2020)。在这种情况下,采用以用户为中心的设计方法至关重要,特别是在像老年护理这样的敏感环境中部署系统时。及早与终端用户互动可以让设计师根据用户的能力和偏好调整界面元素和系统行为。它还有助于确定哪种形式的解释(例如,视觉的、文本的或符号的)对他们来说最直观和有用,从而指导可解释性模块的设计(Manresa-Yee, Ramis, Gaya-Morey, & Buades-Rubio, 2025)。总体而言,让利益相关者参与开发和评估阶段可以增强对部署系统的信任度、相关性和长期参与度。
正如Little & Briggs(2009)所强调的,技术的普及引发了关于老年人用户可用性、信任和隐私的重大担忧。值得注意的是,大多数被审查的研究(总共30项)依赖于包含可识别面部信息的RGB数据,但很少有研究采取了明确的隐私保护措施。这一差距在医疗和辅助生活环境中尤其成问题,因为用户可能特别脆弱,不太可能完全理解或同意复杂的数据收集做法。已经出现了一些有前景的策略来解决这些问题,尽管它们的采用仍然有限。例如,通过面部特征点估计或动作单元进行匿名化的技术(Sharma et al., 2020)允许系统从原始面部数据中提取相关特征并在早期处理阶段丢弃原始图像,从而降低身份暴露的风险。同样,使用生成模型的隐私保护转换,如Huang等人(2024a)提出的StarGAN方法,可以在遮挡身份的同时保留表情信息。另一种方法是探索使用深度图像代替RGB视频(Uddin, Hassan, Almogren, Alamri, Alrubaian, Fortino, 2017a; Uddin, Hassan, Almogren, Zuair, Fortino, Torresen, 2017b)。深度数据提供了足够的空间信息用于表情分析,同时实现了匿名化。这种模式可能特别适合在隐私敏感领域的应用,并且随着轻型深度传感器的普及,其使用可以得到进一步的鼓励。最后,本地处理已成为一种实用且有效的隐私保护措施。通过确保所有计算都在设备本身上进行,例如在嵌入式机器人平台的情况下(De Carolis et al., 2024),用户数据可以完全保持离线状态,最大限度地减少外部威胁的暴露。这种方法特别适合边缘AI系统,并且与日益关注的数据主权问题相契合。
经济约束是老年人护理中部署FER系统的一个关键因素,因为那里资源和基础设施可能有限。一些研究不仅将这一问题视为技术挑战,还将其作为核心设计标准。它们选择了轻量级模型,如mini-Xception、MobileNet和EfficientNet(De Carolis, Palestra, Castellano, 2024; Fei, Yang, Yu, Li, Zhou, Zhou, 2022; Petrou, Christodoulou, Avgerinakis, Kosmides, 2023; Yan, Xu, Klopfer, Nürnberger, 2020),这些模型在准确性和计算效率之间提供了有利的权衡。这些选择反映了朝着适用于实际低功耗设备的解决方案的明确方向,这些设备可以在家庭或机构环境中以最小的基础设施运行。除了选择高效的模型外,一些研究还强调了系统级设计选择以降低部署成本。例如,De Carolis等人(2024)通过使用低成本机器人来优先考虑可负担性,而Yan等人(2020)展示了在廉价硬件上部署完整的FER流程的可行性。其他研究者,如Gaya-Morey等人(2024a),提出了将处理卸载到外部服务器的混合架构,减少了客户端的需求。这些努力表明,越来越意识到经济可行性并非次要因素,而是FER技术在护理环境中成功整合的核心。特别是,他们强调了设计不仅准确而且经济上可行的系统的重要性,以确保在护理环境中的采用。低成本和资源高效的解决方案对于可扩展性至关重要,特别是在资金不足的医疗系统或基础设施有限的地区。
被审查的研究中一个显著的空白是可解释AI(XAI)技术的使用有限。XAI对于证明模型预测的合理性以及建立用户信任至关重要,特别是在处理复杂和不透明模型时(Barredo Arrieta et al., 2020)。从开发者的角度来看,XAI方法使得验证模型是否学习了适当和相关特征成为可能,这对于调试和提高模型鲁棒性至关重要。从应用的角度来看,可解释性也在支持医疗和辅助生活环境中的人类决策中发挥着关键作用。对于终端用户——包括看护者和医疗专业人员——XAI可以作为中间层,将模型预测转化为可解释的证据,从而建立信任,同时避免暴露难以在实践中解释的原始置信分数或抽象标签。在老年人护理场景中,这一角色尤为重要,因为对技术的信任可能有限,系统输出必须既透明又可操作。在这种情况下,如热图可视化等视觉解释可以突出显示对情绪预测贡献最大的面部区域,帮助临床医生评估系统是否关注有意义的线索(例如,嘴角紧张或眉毛运动),而不是虚假的背景特征。同样,以清晰自然语言呈现的口头或文本解释可以通过社会辅助界面来提高理解度,鼓励参与和支持适当的人类监督。更一般地,XAI输出可以帮助验证、监控和错误检测在现实世界中的使用,而不仅仅是用于分析目的(Miller, 2019)。除了单一实例的解释外,还可以利用聚合或特征级别的解释摘要来识别老年人用户随时间的异常或退化的表现模式。这样的纵向洞察可以协助专业人士检测与个体基线行为的偏差,用上下文证据补充FER预测,而不是完全取代人类判断。
一些研究分析了特征的聚类能力(Dou, Wang, Yamauchi, 2024; Rokkones, Uddin, Torresen, 2019; Uddin, Hassan, Almogren, Alamri, Alrubaian, Fortino, 2017a),但这种方法只测量了分类效果,忽略了输入特征的贡献。高级的XAI方法,如LIME(Ribeiro et al., 2016)、Grad-CAM(Selvaraju et al., 2017)、Grad-CAM++(Chattopadhay et al., 2018)和SHAP(Lundberg & Lee, 2017),仅在少数研究中被采用(Anand, Devulapally, Bhattacharjee, Yuan, 2023; Fan, Wang, Zhu, Cao, Yi, Chen, Jia, Lu, 2022; Fei, Zhang, Zhou, Li, Zhang, Fei, 2025; Gaya-Morey, Manresa-Yee, Buades-Rubio, 2024a; Okunishi, Zheng, Bouazizi, Ohtsuki, Kitazawa, Horigome, Kishimoto, 2025),应该在未来FER研究中得到更广泛的采用。Schwalbe & Finzel(2024)提出的一个最新分类法从多个轴上区分了XAI技术,包括模型不可知与模型特定以及局部与全局方法。模型不可知的方法——如LIME、SHAP或RISE(Petsiuk et al., 2018)——提供的解释不依赖于模型内部结构,因此易于集成。相反,基于梯度、激活或相关性的模型特定技术——如Grad-CAM或LRP(Bach et al., 2015)——与模型架构和实现紧密耦合。然而,Miró-Nicolau, Jaume-i Capó, & Moyà-Alcover(2024)表明,这些方法在解释保真度方面往往优于不可知方法。上述所有方法都提供局部解释,即它们解释模型对特定输入(例如图像)的预测。另一方面,全局方法旨在更广泛地描述模型行为——例如,通过识别多个输入之间的一般特征相关性。
在老年护理的应用FER系统中,局部解释对于在使用点证明个别预测特别有价值,而全局解释则可以支持系统审计、偏见检测和部署前的模型优化。因此,局部和全局可解释性的结合有助于FER系统更健壮、透明和可靠地集成到实际辅助技术中。在FER背景下,Manresa-Yee等人(2023)提出了一种全局解释的形式,他们使用LIME来突出模型在相同情绪样本中一致关注的面部区域,从而近似于局部到全局的解释。这种方法在后续研究(Gaya-Morey, Ramis, Manresa-Yee, & Buades-Rubio, 2024b)中得到了改进。这些技术不仅对审计模型行为有价值,也有助于指导数据集优化和模型重新训练。
根据当前关于老年人FER的研究发现的空白,我们在下面概述了几个有前景的未来研究方向。首先,未来的工作应该解决大规模FER数据集中老年人代表性不足的问题,以及专门为这一群体定制的数据集有限的问题。这一差距继续影响模型性能,特别是对于高度依赖数据的深度学习方法。潜在的解决方案包括开发针对老年用户的新数据集,整合来自多个现有来源的数据,或设计能够明确减轻与年龄相关偏见的新型算法。其次,我们注意到明显缺乏利用视频基FER研究老年人群体的工作。虽然一些被审查的研究通过CNN-RNN/LSTM混合管道或基于GRU的变体纳入了时间信息,但大多数FER方法仍然仅限于静态图像。这种对静态数据的依赖对实际应用构成了挑战,尤其是在处理老年人常见的低强度、过渡性或短暂表情时,这些表情在静态图像数据集中往往被低估。因此,未来的研究应该进一步探索能够明确建模时间动态的视频基FER架构。CNN–RNN/LSTM混合模型是回顾研究中采用最广泛的方法,它们为这项任务提供了一个自然的基线,并且可以从对不同年龄段的视频数据集进行系统评估中受益。除了这些已建立的流程之外,其他在视频理解任务中广泛使用的架构在针对老年人的面部表情识别(FER)方面仍然几乎没有被探索过。特别是3D CNN通过将卷积操作扩展到时间维度,能够同时建模空间和时间信息,有可能捕捉到与面部肌肉活动相关的细微运动模式。同样,依赖自注意力机制来建模长期时间依赖性的视频变换器架构,为捕捉随时间变化的复杂表情动态提供了一个有前途的方向。尽管这些架构在一般视频分析任务中表现出了强大的性能,但它们在老年人FER中的应用尚未得到系统性的研究。另一个有前途的方向是将FER系统部署在真实的辅助环境中,如养老院或私人住宅。未来的研究应该在不受控制的现实生活条件下评估系统性能,并在这些工具被整合到实际辅助技术(例如社交机器人中)后,评估人机交互的质量。这种工作对于理解FER系统在老年用户中的可行性和接受度至关重要。
隐私保护也是一个需要进一步研究的重点领域。基于本次综述的见解,未来的工作应探索匿名化策略,例如使用深度相机或面部标志点代替标准RGB图像,或应用受控扰动来隐藏用户身份。这些方法可以在最小化隐私风险的同时实现有效的FER。除了上述架构方向外,未来的研究还可以探索最近在更广泛的FER文献中受到关注的替代神经表示方法,但这些方法尚未应用于针对老年人的场景。其中一个例子是四元数神经网络(QNN),它们将实数值卷积扩展到四元数值表示,并被报道可以在减少模型复杂性的同时更好地保留彩色图像中的通道间相关性(Zhou, Guo, Jiang, Wang, Jing, 2025; Zhou, Jin, Liu, Song, 2021)。尽管在我们系统搜索中未发现基于QNN的方法——这表明它们尚未被用于老年人的FER研究——但它们报告的特性可能对于建模细微的面部纹理变化以及在资源受限环境中的部署相关。需要对这些架构在不同年龄段的数据集上进行系统评估,以评估它们在实际的老年人FER应用中的适用性和优势。
最后,可解释人工智能在老年人FER中的应用仍然不足。未来的研究应该探讨XAI技术如何提高系统的透明度,支持识别系统错误,并最终增加用户对这些技术的信任。
8. 结论
这篇系统性综述提供了基于深度学习的面部表情识别系统的全面分析,重点关注老年人群体。通过我们的搜索协议从最初的362项研究中选出了39项作为相关研究。我们的发现显示,在基于视觉的FER任务中利用深度学习技术取得了显著进展,其中CNN是主导方法,在选定的28项研究中得到应用。轻量级架构,如MobileNet和mini-Xception,在资源受限的环境中展示了潜力,而基于Transformer的模型和多模态框架为提高鲁棒性和准确性提供了有希望的途径。尽管取得了这些进展,但仍存在几个关键挑战。研究发现的一个明显局限性是FER数据集中老年人样本的代表性不足。一些最常用的数据集(如FER-2013、CK+和AffectNet)分别只在10项、7项和7项研究中出现,这些数据集普遍缺乏足够的年龄多样性。这种缺乏特定年龄数据的情况使得模型无法充分捕捉影响表情识别的年龄相关面部变化。这些发现强调了开发全面且包含各个年龄段的数据集的紧迫性,或者将现有数据集合并成更大、更多样化的数据集,以提高不同年龄段的FER性能。解决类别不平衡问题也需要采用更先进的重新平衡技术,而不仅仅是简单的欠采样和移除少数类。
针对老年用户的FER系统的实际应用仍然很少见,在审查的研究中仅出现在5项研究中。隐私问题、可用性挑战以及可解释人工智能的采用不足阻碍了这些技术整合到对老年人至关重要的医疗和辅助生活应用中。只有7项研究包含了隐私保护机制(如匿名化面部数据或设备内处理),而只有6项明确采用了可解释性方法。另有5项研究分析了学习特征的聚类行为,这可以被视为向模型可解释性迈进的一步。这些技术必须更广泛地实施,以增强用户的信任和透明度,使护理人员和医疗专业人员能够更好地理解系统检测到什么以及预测的结果。
最终,虽然FER系统在改善老年人护理方面具有巨大潜力,但仍需进一步研究来评估它们的社会接受度、可靠性和对老年用户部署时的影响。未来的工作应优先考虑跨学科的努力,结合技术创新和以人为中心的设计,以确保这些技术的有效性、伦理性和可访问性。通过解决这些挑战,FER系统可以在增强老年人的情感福祉和生活质量方面发挥变革性作用。
**CRediT作者贡献声明**
F. Xavier Gaya-Morey:概念化、方法论、验证、调查、初稿撰写、审阅与编辑准备、可视化。
Jose M. Buades-Rubio:概念化、方法论、审阅与编辑准备、监督、项目管理、资金获取。
Philippe Palanque:审阅与编辑准备、监督。
Raquel Lacuesta:审阅与编辑准备、监督。
Cristina Manresa-Yee:概念化、方法论、审阅与编辑准备、监督、项目管理、资金获取。
**写作过程中生成式AI和AI辅助技术的声明**
在准备这项工作时,作者使用了ChatGPT来提高手稿的可读性和语言表达。使用该工具后,作者根据需要进行内容的审查和编辑,并对发表文章的内容负全部责任。
**资金**
这项工作是PID2023-149079OB-I00(EXPLAINME)项目的一部分,该项目由MICIU/AEI/10.13039/ 501100011033/和ERDF(欧盟)资助,以及PID2022-136779OB-C32(PLEISAR)项目的一部分,该项目由MICIU/AEI/10.13039/ 501100011033/和FEDER(欧盟)资助。F. X. Gaya-Morey获得了巴利阿里群岛政府欧洲基金、大学和文化部的FPU奖学金支持。