一种基于轻量级视觉技术的辅助医疗机器人情感感知框架 Hosam Zolfonoon, Helder Jesus Araújo, Lino Marques

《Sensors》：A Lightweight Vision-Based Emotion Sensing Framework for Assistive Healthcare Robotics Hosam Zolfonoon, Helder Jesus Araújo and Lino Marques

　　摘要
在资源受限的条件下，用于辅助和远程呈现机器人的面部表情识别（FER）仍然具有挑战性，因为地标标准化往往不稳定，许多数据集的变异性有限，而完整的面部地标集会引入冗余。本文提出了一种基于几何面部地标而非原始RGB图像的轻量级、保护隐私的FER框架，适用于辅助医疗机器人。通过两项互补的贡献来提高识别鲁棒性和在低功耗边缘设备上的部署适用性：一种改进的以鼻子为中心的地标标准化方法和一种优化的面部特征映射（FFM-L03）。所提出的标准化方法用几何上稳定的鼻子中心锚点替换了对表情敏感的上唇参考点，而FFM-L03结合了FACS引导的解剖学先验与ANOVA F分数、LASSO、PCA和t-SNE/UMAP来保留60个有信息量的地标。此外，构建了一个异构的Freepik数据集，以增加光照、背景、分辨率和受试者外观的多样性。在15组地标、4个数据集和4个分类器上的实验评估表明，所提出的方法在准确性、精确度、召回率和F1分数方面始终优于之前的地标配置，相对于Ciraolo基线提高了高达22.4个百分点，相对于全地标基线提高了22.1个百分点，同时保持了轻量级操作。这些结果表明，原则性的标准化和有针对性的地标选择可以显著提高实时、注重隐私的辅助机器人系统的FER性能。

1. 引言
远程呈现机器人在老年人护理中的集成已经显示出显著改善生活质量（QoL）的潜力。这些机器人不仅能够实现持续的远程健康监测和社会互动，还在满足这一人群的情感和认知需求方面发挥着关键作用。该领域的一个关键进展是使用了FER技术，它使机器人能够实时检测和响应用户的情感状态。这种能力可以提供个性化的情绪支持，帮助减少老年人的孤独感和心理压力。此外，信息和通信技术（ICT）的发展，如云计算和边缘计算，提高了远程呈现系统的效率和可扩展性。这些进步确保了低延迟、安全且实时的数据处理，使医疗保健提供者能够有效监控老年人并在必要时进行干预。
一种混合的边缘-云计算框架利用了边缘计算和云计算的优势，以增强实时应用（如医疗保健）中的远程通信和监测。在这种框架中，数据处理分布在边缘设备（提供接近数据源的低延迟、本地化处理）和云平台（处理更复杂的计算和长期数据存储）之间。边缘层通过本地处理感官输入和视频流来确保快速响应和实时互动，而云层则管理更大规模的分析和协调。这种架构对于远程呈现应用特别有益，能够实现无缝的用户体验，延迟最小化，可靠性提高[1,2,3,4]。
远程呈现机器人在老年人护理中的集成已经证明了其在改善老年人生活质量（QoL）方面的巨大潜力。除了物理监测之外，机器人还越来越多地被期望帮助老年人的情感和认知福祉，特别是在长期护理场景中，孤独和社会隔离较为普遍。因此，机器人系统感知和解释人类情感状态的能力已成为辅助医疗环境中有效人机交互的重要组成部分。
基于这一技术基础，远程呈现机器人将这些能力扩展到实际的医疗保健应用中。因此，FER作为一种有前景的技术应运而生，使机器人能够在交流过程中检测情感线索。FER系统使用计算机视觉和机器学习技术分析面部动作和微表情，以推断潜在的情感状态。当集成到远程呈现平台中时，FER可以通过提供关于用户情感状态的上下文信息来丰富远程互动，这在远程医疗、教育和辅助护理等领域尤其有价值。例如，监测情感反应可以帮助医疗专业人员评估压力、不适或心理福祉[5,6]。
尽管对情感感知远程呈现系统的兴趣日益增长，但FER在现实世界机器人平台中的集成仍然有限。许多现有的远程呈现系统主要关注通信和导航能力，而情感感知通常被忽略或视为次要特征。因此，当前系统经常缺乏捕捉对自然人类互动至关重要的非语言情感线索的能力。缺乏情感意识可能导致沟通不完整、参与度降低以及在远程医疗场景中的响应能力有限。解决这一限制代表了改善远程呈现环境中人机交互和情感智能的重要机会[7,8]。
另一个关键限制源于许多现代FER方法的计算要求。最先进的FER方法通常依赖于直接在RGB面部图像上训练的深度神经网络。尽管这些模型可以实现高识别精度，但它们通常需要高分辨率输入、GPU级别的计算和大型训练数据集。这些要求与许多用于医疗保健的机器人不兼容，这些机器人通常在计算资源有限的低功耗嵌入式硬件上运行。此外，基于RGB的FER流程经常依赖云处理，增加了系统延迟，并引发了与传输和存储可识别面部图像相关的隐私问题。
为了解决这些限制，依赖于几何面部表示的替代方法受到了越来越多的关注。基于地标的方法不是处理完整的面部图像，而是使用一组描述面部几何结构的关键面部点来表示面部表情。这种表示显著降低了计算复杂性，同时保留了关于面部动作的重要信息。因此，基于地标的FER流程对于资源受限的平台特别有吸引力，因为它们能够在最小化数据传输需求的同时实现高效的实时处理。
在这项工作中，远程呈现机器人的面部摄像头被视为一种基于视觉的传感设备，在交互过程中持续获取面部信号。捕获的视觉数据通过基于地标的信号处理流程进行处理，该流程提取面部地标并将其转换为结构化的几何特征。然后使用轻量级机器学习模型分析这些特征，以实时推断情感状态。通过将原始视觉输入转换为匿名化的地标坐标，所提出的方法还通过避免存储或传输可识别的面部图像来增强隐私保护。从传感的角度来看，该框架可以解释为一个集成了图像传感、信号处理和机器学习的AI驱动的感知系统，以实现辅助机器人中的情感识别。
然而，现有的基于地标的FER流程仍存在几个挑战。首先，许多用于对齐面部地标的标准化技术对面部姿态变化和表情变化敏感。例如，一些先前的方法依赖于位于嘴巴区域（如上唇）的地标作为几何对齐的参考点。由于这些地标在面部表情过程中会显著移动，它们可能在标准化坐标空间中引入扭曲和不一致性。其次，广泛使用的FER数据集在人口统计属性、光照条件和图像质量方面往往表现出有限的多样性，这限制了训练模型的泛化能力。第三，许多现有研究没有系统地评估单个面部地标的信息量，导致特征向量可能包含冗余或无关的信息。最后，对分类器性能的评估通常仅限于少数模型，使得难以确定哪些算法最适合资源受限的应用。
为了解决这些限制，本研究调查了基于地标FER系统的三个关键组成部分：训练数据集、机器学习模型和面部特征表示。选择了三个广泛使用的FER数据集进行评估，并通过结合来自多个来源的样本来构建了一个额外的异构数据集，以减少潜在的数据集偏见并增加人口统计多样性。对于特征表示，使用MediaPipe Face Mesh框架提取的面部地标被转换为称为FFM的结构化特征向量。系统地比较了不同的FFM配置，以确定最具信息量的FFM，同时保持计算效率。

1.1 动机
为了在辅助和远程呈现机器人中实现可靠的实时情感识别，本研究解决了现有FER流程在资源受限平台上部署时的根本限制。传统的FER方法，特别是那些依赖于深度神经网络的方法，需要高分辨率RGB输入、GPU级别的计算和基于云的处理，使它们不适合医疗环境中常用的低成本机器人系统[9]。这些限制限制了设备上的推理，增加了延迟，并由于传输可识别的面部图像而引发了隐私问题。
本文的动机是需要一个计算效率高、保护隐私且以传感器为中心的FER框架，该框架完全可以在轻量级边缘硬件上运行。通过将机器人的面部摄像头视为基于视觉的传感器，并将原始图像转换为匿名化的地标信号，所提出的系统通过紧凑的几何表示而不是像素级处理来实现FER。这种方法显著降低了计算负载，同时保持了区分能力，使其适用于嵌入式机器人平台[10]。
最后，为了确保符合医疗应用中的隐私和数据保护要求，所有处理都在安全的边缘设备上本地进行。不存储或传输任何面部图像，仅使用不可识别的地标坐标进行推理。这种设计符合GDPR原则，并支持在老年人护理和远程医疗等敏感环境中的安全部署[11,12]。

1.2 新颖性和贡献
本工作的新颖性在于联合设计了一种几何上稳定的标准化策略和一种紧凑的、基于解剖学的地标表示，用于辅助机器人中的轻量级FER。首先，所提出的方法用稳定的以鼻子为中心的锚点和轴无关的缩放替换了之前基于地标的标准化中使用的情感敏感的上唇参考点，从而在面部表情和姿态之间产生更一致的坐标空间。其次，所提出的FFM-L03通过基于交集的规则结合了基于FACS的解剖学知识与ANOVA F分数、LASSO、PCA和t-SNE/UMAP，选择了60个有信息量的地标，特别关注对情感变形高度相关的下半脸区域。第三，该研究在多个基准数据集以及一个异构的定制数据集上验证了该框架，表明所提出的设计在保持隐私和边缘部署适用性的同时，将FER性能提高了高达26.1个百分点。这些贡献使所提出的框架成为计算密集型基于RGB的FER方法的一种轻量级且实际可行的替代方案。

2. 文献综述
FER始于达尔文1872年关于面部表情普遍性的研究。20世纪，埃克曼的FACS和伊扎德的情感理论将表情映射到肌肉运动和基本情感。后来，计算机视觉和标准化数据集的进步使得自动化分析成为可能。最近，CNN和RNN提高了FER的准确性，使其在医疗保健、市场营销和安全等行业的应用范围得到扩展[9,13]。
Almeida等人[14]强调了FER在远程呈现机器人中的作用，帮助机器人解释用户的非语言线索并调整行为[14]。这在医疗保健和治疗中特别有用，可以提高同理心和社会互动[14]。Vasylkiv等人创建了Haru，这是一种使用基于MobileNet的CNN来检测七种情感的远程呈现机器人[15]。Haru与强化学习系统集成后，随着时间的推移学会了更好地响应，减轻了远程操作员的工作负担[15]。Swadha等人使用MediaPipe Face Mesh提取了470个关键点，通过神经网络提高了在线课程中的情感检测[16]。Mukhriddin等人也发现MediaPipe在实时识别学生情感方面有效[17]。
Davide等人将情感AI与FER结合用于远程治疗，帮助临床医生监测情感状态。他们使用MediaPipe和各种分类器及数据集优化了检测流程[9]。Naseer等人研究了Giraff和RP-Vita等机器人在COVID-19期间的表现。这些机器人通过减少物理接触支持远程咨询和卫生[18]。P?v?loiu等人回顾了THRs在老年人护理中的作用，强调了它们在远程监控、咨询和减少孤独感方面的作用，论文还探讨了系统设计和功能[19]。Janika等人发现TPRs减少了工作人员的工作负担，但面临技术和用户接受度的挑战[20]。Zhang和Hansen指出了特殊需求机器人的可访问性和可用性障碍，呼吁未来的改进[21]。Smith等人对老年护理中的机器人进行了范围综述，重点关注它们如何在疫情期间维持家庭联系[22]。Ruiz-del-Solar等人介绍了Pudu，这是一种在智利医院使用的远程呈现机器人[10]。它实现了患者与工作人员的安全互动，并在ICU中支持情感护理[10]（表1）。表1. 相关工作（FER和远程呈现机器人）的总结表。

3.方法
本章介绍了所提出的FFM框架，以下简称FFM-L03，旨在提高资源受限环境中面部表情识别（FER）的鲁棒性、区分度和计算效率。该方法引入了两项互补的创新：（i）改进的标志点归一化策略，提高了不同面部姿态和表情下的几何稳定性；（ii）基于经验性和数据驱动选择标准的交集优化得到的FFM。该框架专为远程呈现和辅助机器人系统设计，在这些系统中，必须在轻量级的边缘计算硬件上进行实时面部分析。

所提出的系统使用安装在机器人上的相机捕获的视觉数据。该相机作为主要的视觉传感器，在交互过程中持续获取用户的面部图像。捕获的帧构成了原始传感器测量数据，使用MediaPipe Face Mesh算法从中提取面部标志点。

3.1. 改进的归一化方法
传统的基于标志点的FER归一化技术，例如Ciraolo等人提出的方法[9]，使用上唇中心作为对齐的参考点。虽然在受控条件下有效，但这个参考点对开口、说话、打哈欠或微笑等动作非常敏感，导致在表情变化时坐标发生不稳定移动。这些不稳定性会通过归一化过程传播并降低分类性能，如第4节后面所示。为了解决这一限制，引入了一种改进的几何归一化策略，包括两个修改：
（a）稳定的参考点：用鼻中心代替上唇作为空间锚点。鼻中心受表情强度的影响较小，在不同个体间解剖学上稳定，且在大多数姿态变化中保持不变，并且能被MediaPipe标志点一致检测到。设（xi, yi）为第i个标志点的坐标，（xn, yn）为鼻中心的坐标。所有标志点的转换使用以下公式：
（b）轴独立缩放：为了消除由于图像大小、面部大小或相机距离造成的变化，转换后的坐标使用每个轴上的最大绝对位移进行缩放。这样可以得到归一化的标志点坐标，确保对尺度、相机距离和分辨率的不变性。与以唇为中心的归一化相比，这种方法在处理具有强烈嘴部变形的表情（如快乐、惊讶）时更加稳定。

3.2. 提出的FFM
图1A和图1B的可视化进一步阐明了不同的特征选择策略如何强调不同的面部区域，因此基于表2中的L03组的FFM-L03被设计为一个更有意义的折中方案。在改进的归一化基础上，FFM-L03旨在提高区分能力的同时限制计算成本。尽管MediaPipe Face Mesh提供了478个二维标志点，对应956个坐标特征，但使用全部特征在计算上效率低下且引入了大量冗余[16,17]。因此，所提出的配置遵循了面部动作编码系统（FACS）的指导，优先考虑与情绪相关的动作单元表达最强烈的区域。这些区域包括嘴唇和口周区域（例如AU12、AU25、AU26）、下巴和颌线轮廓（例如AU17），以及与悲伤、厌恶或轻蔑相关的下脸部肌肉紧张（例如AU15）[23,24,25]。这种解剖学依据也得到了图1A和图1B的视觉支持，其中多种统计方法一致地保留了嘴部、下唇、下巴和相邻脸颊区域的标志点，表明这些区域具有强烈的情绪相关变形模式。表2提供了所有特征子集的空间和解剖学解释，有助于评估数学选择的标志点是否对应于参与情绪表达的有意义的面部区域。相关的选择方法和保留的特征数量在表3中进行了总结。

表3. 特征列表、应用的选择方法以及选定的特征数量。图1A和图1B中展示的特征组以及表3中的总结提供了每种选择方法的行为结构。方差阈值组L04–L08随着阈值的增加逐渐将特征空间从241个减少到29个标志点，主要集中在嘴部、下唇、下巴和下脸部轮廓。这种行为符合在保留高度可变区域的同时丢弃稳定区域的目标，从而提高了FER应用的效率和鲁棒性[26]。然而，图1A和图1B也显示，基于方差的选择会抑制相对稳定但仍有表现力的区域（如眼周和眉毛区域的部分标志点），表明仅靠高方差不足以保证区分相关性。基于相关矩阵的选择也存在类似的限制。L09组通过使用0.8的阈值去除高度相关的特征，仅保留了10个标志点[27]。这些点分散且缺乏在连贯的表情面部区域中的集中性，这证实了仅减少冗余可能无法保留表示有意义面部变形模式所需的空间连续性。

相比之下，ANOVA F分数组L10–L12表现出更加以表情为导向的空间分布。由于ANOVA根据类间方差与类内方差对特征进行排名[28]，选定的标志点集中在嘴部、眼睛和眉毛区域，随着保留特征数量的增加，覆盖区域也扩大。这些区域与FACS定义的动作单元紧密对应，证实了ANOVA能够捕捉到具有强类别区分价值的特征。LASSO在L13中的行为进一步支持了这一观察结果。通过强制稀疏性，LASSO在消除冗余特征的同时保留了预测结构[29]。选定的标志点集中在嘴部、下巴、下脸颊和鼻唇区域，形成了一个结构化且解剖学上有意义的子集。

降维方法表现出不同的特性。PCA（L14）保留了全局方差，但导致只有少数代表性特征集中在面部中央区域，从而限制了与情绪相关变形的可解释性[30]。相比之下，t-SNE和UMAP（L15）保留了非线性关系，并在表情面部区域产生了密集的标志点分布[31]。然而，许多选定的特征仅对应一个坐标维度（x或y），限制了它们在结构化面部表示中的直接应用。

综合这些观察结果，证明了构建FFM-L03的合理性。FFM-L03不是依赖单一选择标准，而是结合了FACS指导的解剖学先验和多种互补的分析方法，包括用于区分能力的ANOVA、用于稀疏性的LASSO、用于方差保留的PCA以及用于非线性结构的t-SNE/UMAP。这种综合方法确保选定的标志点在解剖学上有意义且在统计上具有信息量。为了确保可重复性，FFM-L03的构建被形式化为一个基于逐步交集的选择过程。首先，基于FACS指导的解剖学区域定义了一个经验候选池，包括眉毛、眼周区域、脸颊、嘴部、下唇、下巴和下脸部轮廓。其次，使用ANOVA、LASSO、PCA和t-SNE/UMAP生成独立的特征子集，所有计算都在训练数据上进行。由于这些方法在坐标层面操作，它们的输出通过将x和y坐标分组转换为标志点级别的选择。

对于每个标志点，计算选择了它的分析方法的数量。最终子集仅保留同时满足两个条件的标志点：（i）包含在经验（FACS指导的）候选池中；（ii）被至少两种分析方法选中。如果超过60个标志点满足这些条件，它们将根据选择频率和解剖学相关性进行排名，保留前60个。最终的FFM-L03子集包含60个标志点，保持了与Ciraolo的FFM（L02）的维度可比性，同时提供了更加平衡和富有表现力的空间分布。特别是，它增加了下巴和下脸部区域的标志点密度，图1A和图1B一致认为这些区域在各个数据集和方法中都具有高度信息量。选定的标志点涵盖了关键的表情区域，包括眉毛、眼睛、脸颊、嘴部和下巴，确保了解剖学相关性和区分能力。选定的标志点索引的完整列表在表4中提供。

表4. FFM-L03中选定面部标志点的解剖学分组和功能作用。为了确保公平和无偏的评估，数据集首先被分为训练集和测试集。所有特征选择过程仅在训练数据上进行。然后使用训练集内的交叉验证来评估模型性能，而保留的测试集仅用于最终验证。选定的特征子集在应用于验证和测试数据时保持不变，防止信息泄露，并确保报告的结果反映了不同特征配置（L01、L02和L03）的真正泛化能力。

3.3. 度量定义和解释的差异
为了量化FFM-L03引入的相对性能提升，定义了一个差异度量指标，用于衡量FFM-L03相对于基线标志点配置的改进。设使用标志点集、分类器和评估指标获得的性能分数为。差异计算如下：
其中L01对应于完整的标志点集，L02对应于Ciraolo的标志点配置，L03对应于提出的经验标志点选择，表示分类器，表示评估指标。正的差异值表明FFM-L03在相同的分类器和指标下优于相应的基线配置。

3.4. 数据集
在机器学习研究中，数据集是一个基础组成部分，通常在早期研究中收集和预处理，随后用于各种研究。获取数据，特别是带有情绪标签的面部图像，是一个劳动密集型过程。为了确保本文中模型的鲁棒性，通过使用单一专家注释者（通讯作者）从在线仓库收集图像来定制数据集。（该数据集在EmotionNet-6 Realistic Facial Emotion Dataset上公开可用：https://www.kaggle.com/datasets/isrcoimbra/emotionnet-6-realistic-facial-emotion-dataset（2026年4月17日访问），其中规定了许可和使用条件。图像来自Freepik.com，遵循其免版税许可条款，包括付费订阅期以确保合规访问，并从提供者处获得了明确的研究使用确认。仅包括非AI生成的图像，数据集文档已更新以明确承认Freepik.com为来源。）面部图像数据集通常分为两类：（i）从视频中提取的帧；（ii）独立的图像。在这两种情况下，图像通常由实验参与者或训练有素的心理学家进行标注。为了评估和比较结果，将本研究中开发的FFM应用于广泛使用的面部图像数据集，包括FER-2013、KDEF及其各种组合，这些数据集仅包含静态图像。表5提供了这些数据集中每个情绪类别的样本数量。

表5. 所有原始数据集中所有情绪的样本数量。以下是对本文中引用的四个主要数据集的简要概述：

3.4.1. Freepik数据集
情绪标签定义了FER的目标类别，涵盖了核心情绪（愤怒、恐惧、快乐、悲伤和惊讶）[24]，特别是在人机交互（HRI）和工业环境中，还包括中性状态、更细粒度的类别（如轻蔑）以及从低到高的强度级别，这些有助于构建数据集并改善模型学习[25]。实际上，这些标签映射到指导注释和模型决策的特征性面部线索，包括快乐（微笑、脸颊上扬）、悲伤（皱眉、眼睑下垂、嘴角下垂）、愤怒（眉头紧锁、下巴紧绷、鼻孔扩张）、惊讶（眼睛睁大、眉毛上扬、嘴巴张开）、恐惧（眼睛睁大、眉毛紧锁、肌肉紧张）、厌恶（鼻子皱起、上唇上扬、下巴下垂）、轻蔑（嘴角不对称上扬、轻微翻白眼）、困惑（眉头皱起、困惑的表情）、兴趣（眉毛上扬、瞳孔放大）和娱乐（带有笑纹的微笑），这些对于解释社会信号和进行可靠的FER训练和评估至关重要[26]。Freepik数据集是为本研究开发的，以实现情绪状态下的图像平衡表示；图像来自Freepik.com，没有对分辨率、面部深度、光线、背景、年龄、性别或受试者种族的约束，以增强鲁棒性和泛化能力，类别由其中一位作者根据上述线索进行标注——例如，当图像中有微笑、眼睛闪烁和脸颊上扬时标记为“快乐”；为了平衡，每种情绪收集了100张图像，然后进行数据增强，每个类别200张图像，最终得到1200张图像的数据集。

该数据集的一个限制是，尽管注意排除了明确由AI生成的图像，但由于使用了摆拍的表情、受控条件或后期处理增强（如光线、修图），仍可能引入偏见，这可能会影响对机器人交互场景中遇到的自发的真实世界面部表情的泛化（图2）。

3.4.2.FER-2013：面部表情识别2013（FER-2013）数据集是由Goodfellow等人[31]发起的Kaggle竞赛的一部分，该竞赛旨在探讨表示学习中的挑战。FER 2013数据集包含35,887张48×48像素的灰度人脸图像，这些图像被分为六种情绪：愤怒、恐惧、悲伤、惊讶和中性。最初，数据集包含七个类别，但由于“厌恶”类别只有547个样本且代表性极低，导致严重不平衡，因此被移除。然而，即使去除了“厌恶”类别，数据集仍然不平衡，某些情绪仍然被过度表示。为了解决这个问题，采用了欠采样方法来减少过度表示类别的 dominance，从而确保情绪之间的学习更加平衡。这种策略提高了模型泛化能力，增强了识别多样化面部表情的公平性[31]。欠采样是一种数据平衡技术，通过减少多数类的样本数量来解决类别不平衡问题。在本研究中，使用scikit-learn实现了欠采样，随机选择多数类的一部分样本以匹配少数类的大小。这有助于减轻模型对多数类的偏见，并提高在不平衡数据上的分类性能。尽管如此，欠采样可能会丢弃有用的信息，从而可能影响模型表示完整数据分布的能力。尽管如此，它仍然是一种简单且广泛使用的实用方法（图3）。

3.4.3 KDEF：Karolinska定向情感面孔（KDEF）数据集由瑞典卡罗林斯卡研究所的研究人员Daniel Lundqvist、Anders Flykt和Arne ?hman开发。该数据集于1998年推出，包含4900张70个人的图像（35名男性，35名女性），展示了七种不同的情感表达：愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中性。每种情绪都从五个不同的角度展示：全左侧轮廓、左侧、正面、右侧和全右侧轮廓。图像的高质量和标准化特性使得KDEF成为心理学和计算机科学研究的重要资源，特别是在验证和训练情感计算算法方面[31]。在本研究中，仅使用了KDEF数据集中的六种情绪类别（愤怒、恐惧、快乐、悲伤、惊讶和中性），排除了“厌恶”类别，以确保与选定的实验协议和数据集之间的类别对齐一致（图4）。

3.4.4 JAFFE：JAFFE（日本女性面部表情）数据集是一个小型但广泛用于FER研究的数据集。它包含213张10名日本女性的灰度图像，每张图像展示了六种基本情绪：愤怒、厌恶、恐惧、快乐、悲伤和惊讶，以及一种中性表情。每种表情都经过了手动标注，该数据集以其高质量和一致的照明及正面视角而著称。JAFFE还包括对每张图像情绪强度的主观评分，便于进行精细分析。尽管规模较小，但由于其受控的条件和清晰的表情，JAFFE成为测试算法的流行基准，适用于情感识别和人机交互研究的初步探索（图5，[25]）。

3.5 预处理：FFM过程用于将面部图像转换为适合训练机器学习模型的向量。这涉及三个关键步骤的改进归一化技术。首先，在每张图像中检测面部特征点；其次，提取这些特征点以形成结构化的表示；最后，对提取的数据进行归一化，生成用于模型训练的一致特征值。如图6所示，这一流程确保了面部数据的稳健预处理。本文使用了分层k折（k = 4）交叉验证，以便在每个折叠中大约75%的数据用于训练，25%用于测试，从而与Ciraolo等人采用的评估协议更加接近（图6）。

3.6 分类：分类根据学习到的模式将输入数据分配到预定义的类别中，这是图像识别和情感检测等应用的关键。为了评估这种方法，将其与四种广泛使用的分类器进行了比较：SVM、DT、RF和MLP，这些分类器因在先前研究中的普遍性、不同的学习策略以及在分类任务中的强大性能而被选中。SVM：支持向量机（SVM）是监督学习模型，通过构建最佳分隔超平面来区分不同类别。它们在二元和多类分类中都有效，但在大规模或高维数据下计算成本可能较高[5]。DT：决策树（DT）通过基于特征的分割层次结构对数据进行分类，每个内部节点代表一个决策规则，每个叶节点对应一个类别标签。它们简单易懂，但容易过拟合[7]。RF：随机森林（RF）是集成方法，结合了在随机数据子集和特征上训练的多个决策树。最终预测通过多数投票获得，相比单棵树提高了鲁棒性并减少了过拟合[8]。MLP：多层感知器（MLP）是由多个全连接层组成的前馈神经网络。通过反向传播学习非线性映射，它们非常适合复杂的分类和回归任务[9]。

3.7 评估：在FER中，关键的评估指标包括准确性、精确度、召回率和F1分数。准确性衡量分类的整体正确性，而精确度和召回率关注特定的正面实例。F1分数在精确度和召回率之间取得了平衡，提供了对系统性能的全面评估。为了改进最适合的机器学习模型的选择过程，应用了各种调整参数，如表6所示。本文共进行了1020次测试，以评估特征列表（L01–L15）、机器学习算法（SVM、DT、RF、MLP）的应用以及特定超参数的调整效果。这些全面的测试确保了对特征列表选择、算法选择和超参数优化影响的深入评估。测试数量遵循以下公式计算每种算法的总测试次数：L：特征点组数量（总共15组）；D：数据集数量（4个数据集）；H：与每个ML算法相关的主要超参数数量；SH：与每个主要超参数对应的子超参数数量（详见表6）。基于这些定义，每种ML算法的总测试次数（TTT）计算如下：TSVM = 15（L）× 4（D）× 1（H：核函数）× 4（SH）= 240；TDT = 15（L）× 4（D）× [1（H：标准）× 3（SH）+ 1（H：分割器）× 2（SH）] = 300；TRF = 15（L）× 4（D）× 1（H：标准）× 3（SH）= 180；TMLP = 15（L）× 4（D）× [1（H：求解器）× 2（SH）+ 1（H：激活函数）× 3（SH）= 300（如表6所示，MLP有一些独特的额外超参数，因此未将其计入总测试次数）。这些全面的测试确保了对特征点组选择、算法选择和超参数优化影响的深入评估。为了确保评估的统计可靠性，所有实验都采用了k折交叉验证策略。对于每种配置，计算了包括准确性、精确度、召回率和F1分数在内的性能指标，并报告了它们的平均值、标准差（std）和95%置信区间（CI）。这种方法提供了对模型泛化性能的更稳健估计，并减少了由于数据集划分导致的评估偏差风险。此外，还包括了McNemar检验，用于在特征配置之间进行成对比较，其中提出的FFM-L03特征集与L01和L02特征组进行了评估。比较是在本文描述的归一化框架下进行的，以确保特征表示的一致性。此外，用于McNemar分析的模型是通过表6中定义的超参数调整程序获得的，评估系统地在实验表中记录的多种配置下进行。这些配置包括数据集类型、特定于算法的超参数（例如SVM中的核函数、DT和RF中的标准和分割器、MLP中的求解器和激活函数），以及成对比较（L03 vs. L01和L03 vs. L02）。对于每种配置，记录了相应的评估指标和统计测试结果，从而实现了不同特征组、分类器和调整参数设置之间的结构化和全面比较。交叉验证与统计假设检验的结合通过提供性能可靠性（通过平均值、标准差和CI）和统计显著性（通过McNemar检验）加强了实验方法论。

4. 结果与讨论：本节从多个互补的角度呈现和讨论了所提出的面部表情识别框架的实验发现。首先，使用标准指标分析了评估的机器学习模型的分类性能，包括准确性、精确度、召回率和F1分数，涵盖了不同的数据集和特征映射组。其次，研究了特征选择和面部特征映射策略的影响，以明确特征点分布、子集设计和解剖学相关性如何影响识别性能。第三，通过与现有归一化策略的比较分析，评估了改进后的归一化方法的效果。此外，还包括了统计显著性测试和运行时评估，以更全面地了解所提出方法在鲁棒性、比较公平性和适用于资源受限边缘平台的实时部署方面的适用性。表7提出了所提出的基于特征点的框架与代表性的最先进CNN基FER方法（即ASDC-FER和RepVGG）之间的结构化比较。该比较突出了输入模式、计算要求和部署假设的根本差异。虽然基于CNN的方法在高维RGB图像上运行通常需要GPU级别的资源，但所提出的方法依赖于紧凑的几何特征点表示，能够在资源受限的边缘设备上高效推理。此外，所提出的框架通过避免原始图像处理和使用可解释的特征来促进隐私保护和可解释性。这些区别表明，本工作的目标不是直接与以准确性为导向的最先进模型竞争，而是解决一个互补问题，即适用于嵌入式机器人的实时、低成本和隐私意识的FER。因此，以下部分中呈现的实验结果应在这一应用驱动的背景下进行解释。

4.1 特征选择和归一化策略：本小节研究了不同的特征映射组和归一化策略如何影响FER性能。分析重点关注特征点子集设计、空间分布和改进后的归一化在塑造数据集和模型分类准确性中的作用。通过比较实证和数学推导出的特征组，本节阐明了准确性、紧凑性、可解释性和适用于资源受限部署之间的权衡。

4.1.1 与特征选择程序相关的准确性：作为特征选择评估的一部分，图7A和B提供了SVM、DT、RF和MLP在所有数据集（FER 2013（轴号：1）、Freepik（轴号：2）、JAFFE（轴号：3）和KDEF（轴号：4）上实现的最高准确性的累积雷达图表示。雷达图允许并排比较特征配置（表3：L01–L15）及其对分类性能的影响。该图强调了特征选择方法、特征丰富度和模型准确性之间的关系，提供了对统计特征选择有效性的更深入见解。为了进一步提高研究结果的可解释性，表8报告了在考虑表6中描述的所有超参数组合的情况下，任何机器学习模型在每个数据集上获得的最高准确率。表8显示，L01在某些数据集上实现了最高的最高准确率；然而，与L15的差距很小，并且在Freepik数据集上L15的准确率甚至超过了L01。这表明，通过仔细选择子集也可以实现具有竞争力的面部表情识别（FER）性能，而且地标的质量和空间组织可能比简单地使用完整的地标集更为重要。表8显示了针对每个应用数据集的FFM列表所达到的最高准确率。L03与L15之间的直接比较尤为重要。尽管L15在表8中实现了比L03更高的最高准确率，但它依赖于一个更大的子集，并且是基于非线性流形方法得出的，其选定的特征在解剖结构上不太明显，在某些情况下仅在一个坐标维度中表示。相比之下，L03被设计为一个紧凑且解剖学上可解释的子集，由基于FACS的先验指导，并受到多个统计标准的支持。因此，L15提供了强大的预测性能，而L03在准确率、紧凑性、可解释性和适合资源受限的机器人部署方面提供了更好的平衡。然而，结果并未显示选定特征的数量与获得的准确率之间存在直接相关性。例如，第二高的准确率对应于包含274个地标的特征组L15，准确率仅降低了0.009。同样，仅包含60个地标（所有可用地标的八分之一）的特征组L02，准确率仅降低了0.026。将表8与图1中显示的地标位置进行比较，可以发现地标的空间分布在FER中起着比单纯增加选定地标数量更重要的作用。表8总结了在所有评估的数据集（FER、Freepik、JAFFE和KDEF）中每个特征映射组（FFM L01–L15）所达到的最高分类准确率。每个值代表了通过不同分类器及其相应的超参数设置获得的最佳性能配置，为每个特征组提供了性能的上限估计。这种互补的视角使得可以直接比较经验设计的特征组（L01–L03）和数学推导出的特征选择方法（L04–L15），有助于分析地标选择策略如何影响跨数据集的最大可达准确率。分析从数学特征选择方法得出的特征组L04–L15及其空间分布（图1），可以发现FFM的经验特征提取应优先考虑与嘴唇和下巴相关的地标。这一观察结果促使我们通过修改L02为L03并调整归一化参考点来改进Ciraolo的FFM，以纳入下脸部地标的影响。在比较数学特征选择方法的性能时，使用“t-SNE和UMAP”方法获得了最高的准确率，这些方法无论选定地标的数量如何都大致相同（见表8中的相关FFM）。接下来最高的准确率是使用“ANOVA F-Score”方法获得的，特别是当使用239个地标时，大约是总地标数478的一半。分析也使用“ANOVA F-Score”方法的特征组L10、L11和L12，发现选定地标的数量与准确率之间存在正相关。来自“性能与方差阈值”方法（FFM L04–L08）的结果进一步支持了地标空间分布比其数量更重要的观点[32,33]。如表8所示，准确率从0.01（241个地标）提高到0.03（93个地标），但当阈值进一步增加，减少选定地标的数量时，准确率会下降。使用“LASSO”方法并获得下一个最强的准确率，该方法使用了241个地标，这强调了地标定位的重要性，而不是它们的总数。尽管“特征相关矩阵”和“95%方差PCA”方法分别只选择了10个和5个地标，并且实现了合理的准确率，但它们通常不适合FER中的特征选择。这些发现突出了战略性地选择地标位置以优化FER性能的重要性。仔细检查表8，其中突出显示最高准确率的单元格用绿色标记，可以确认所有特征选择方法，无论是基于经验的还是基于数学的，在FER 2013数据集中表现最佳。这主要是由于FER 2013数据集的样本数量显著多于其他数据集。唯一的例外是“性能与方差阈值”方法，它在JAFFE数据集上表现强劲。L03与L15之间的直接比较尤为重要。尽管L15在表8中实现了比L03更高的最高准确率，但它依赖于一个更大的子集，并且是基于非线性流形方法得出的，其选定的特征在解剖结构上不太明显，在某些情况下仅在一个坐标维度中表示。相比之下，L03被设计为一个紧凑且解剖学上可解释的子集，由基于FACS的先验指导，并受到多个统计标准的支持。因此，L15提供了强大的预测性能，而L03在准确率、紧凑性、可解释性和适合资源受限的机器人部署方面提供了更好的平衡。表8中的另一个重要观察结果是，在KDEF数据集上所有特征组的准确率始终较低，最高准确率低于0.5。这表明评估的模型对该数据集的泛化能力不强。可能的原因是KDEF表情的固定和高度标准化的性质、样本多样性有限、注释风格和表达强度的差异，以及与其他数据集相比可能存在文化或人口统计上的不匹配。这些因素可能会降低基于地标的特征的区分价值，使得某些特征组的性能接近随机水平。表9展示了不同特征映射组（L01、L02和L03）在四种分类器（SVM、DT、RF和MLP）上的性能，使用标准评估指标：准确率、精确度、召回率和F1分数。对于每个指标，报告了三个统计指标：平均值、标准差（std）和95%置信区间（CI-95%），通过k折交叉验证计算得出。表9显示了使用k折交叉验证的特征映射组（L01–L03）在分类器上的性能比较（平均值、标准差和95%置信区间）。每一行对应一个特定的特征组（FFM）和分类器组合，而列则总结了模型性能的中心趋势（平均值）和变异性（标准差和CI）。包含标准差反映了模型在不同折叠中的稳定性，而置信区间提供了平均性能可靠性的估计。这种结构允许不仅在平均性能方面，而且在不同实验设置下的稳定性和鲁棒性方面进行全面比较。从表9中可以得出关于特征组和分类器对性能影响的几个观察结果。首先，SVM在所有特征组中始终实现最高的准确率值，特别是与L01结合使用时（0.775），表明与这种特征表示结合时具有强大的区分能力。然而，L02和L03的准确率略有下降，表明SVM的有效性对选定的特征组敏感。其次，RF在所有特征组中表现出稳定且具有竞争力的性能，准确率值非常接近（0.720–0.739），标准差相对较低。值得注意的是，RF与L03结合使用时（0.739）表现最佳，表明所提出的特征映射可以被基于集成学习的方法有效利用。第三，MLP表现出中等性能，但变异性较大，特别是对于L01和L03。尽管其平均准确率低于SVM和RF，但其性能在各项指标上保持一致，表明它可以捕捉非线性关系，但可能需要进一步调整或架构调整。关于特征组，L01与SVM结合使用时表现最佳，而L03与RF结合使用时表现出竞争性或略有改进的性能，表明所提出的特征映射（FFM-L03）可能更适合基于集成学习的分类器。此外，大多数配置下相对较小的标准差和狭窄的置信区间表明结果稳定可靠，增强了评估框架的有效性。表10对三种特征映射和归一化策略（L01、L02和提出的FFM-L03）在多种分类器上的性能进行了比较评估，使用准确率、精确度和F1分数。FFM-L03的报告值对应于表9中交叉验证分析得到的平均结果，确保与本研究中采用的统计评估框架一致。相比之下，L01和L02的结果来自Ciraolo等人引入的归一化方法，其中L01代表他们归一化方法下的完整地标配置，L02对应于他们经验定义的特征映射策略。“差异”列量化了FFM-L03相对于L01和L02所实现的绝对性能改进，从而突出了所提出方法的贡献。这种统一的展示使得在一致的评估标准下可以清晰地比较之前的归一化策略和提出的特征映射方法。表10显示了传统的全图方法（L01）与Ciraolo的经验FFM和归一化方法（L02）以及本文提出的FFM-L03之间的性能差异。在所有分类器（SVM、决策树、随机森林和MLP）中，L03方法在准确率、精确度和召回率方面表现出了一致的改进。例如，L03与SVM分类器结合使用的准确率达到了0.741，而L01为0.532，L02为0.526，如表10所示。这表明修订后的归一化参考点和FFM-L03增强了模型在不同数据集上的泛化能力和更可靠的性能。在考虑准确率时，L03的平均改进约为20%（例如，SVM为0.741对比0.532，决策树为0.656对比0.408），相对于L02提高了约15%（例如，SVM为0.741对比0.526）。精确度和召回率也显示出类似的趋势，L03相对于L01提高了多达21%（例如，SVM为0.748对比0.531，决策树为0.748对比0.525）。召回率的提高在20%的范围内（例如，SVM为0.743对比0.532，决策树为0.743对比0.525）。观察到的F1分数改进也证实了这些趋势，L03的F1分数为0.745，而L01为0.531，L02为0.525。性能指标的差异可以归因于L03的方法学进步。具体来说，归一化参考点的改进似乎通过提供更稳定和一致的基线来解决早期方法中的关键限制。此外，FFM-L03可能增强了特征提取，从而改善了所有模型的分类结果。表11对Full Mapper（L01）在两种不同归一化策略下的性能进行了比较评估。第一个主要块标记为Full Mapper（L01），基于Ciraolo等人的归一化方法，报告了使用Ciraolo等人引入的原始归一化方法获得的分类性能。第二个主要块标记为Full Mapper（L01）使用本研究中的归一化方法，展示了应用本研究提出的归一化方法时获得的相应性能，其中第二行的报告值代表了从实验框架中获得的平均评估指标。最后一个块标记为“差异”，报告了两种归一化方法在所有评估指标（准确率、精确度和F1分数）上对于每个分类器（SVM、DT、RF和MLP）的绝对差异，从而清晰地量化了所提出的归一化方法的影响。例如，SVM分类器的准确率从53.2%增加到77.5%，提高了24.3%，同时精确度和F1分数也分别提高了24.7%和24.1%。其他分类器也观察到了类似的趋势。决策树的准确率提高了22.2%，而随机森林和MLP分别提高了19.5%和19.8%。这些持续的改进证明了修订后的归一化方法的稳健性及其增强模型整体判别能力的能力。这些提升可以归因于所提出的归一化方法中的方法论改进。通过调整用于归一化地标坐标的参考几何形状，修订后的方法减少了失真，为特征提取提供了更加稳定和一致的坐标系统。这导致了分类器泛化能力的提高以及在不同面部结构和配置下的更高准确性。表12展示了在两种不同归一化策略下Ciraolo的Face Mapper FFM (L02)的比较评估。第一个主要部分标记为“基于Ciraolo等人归一化方法的Ciraolo的Face Mapper FFM (L02)”，报告了使用Ciraolo等人最初提出的归一化方法获得的分类性能。第二个主要部分标记为“使用本研究中提出的归一化方法的Ciraolo的Face Mapper FFM (L02)”，展示了应用本研究提出的归一化方法时获得的相应性能，其中报告的值代表从实验框架中获得的平均评估指标。最后一部分标记为“差异”，报告了两种归一化方法在所有评估指标（准确性、精确度、召回率和F1分数）上对每个分类器（SVM、DT、RF和MLP）的绝对差异，从而提供了对所提出的归一化方法影响的清晰和结构化的量化。例如，SVM分类器的准确性从52.6%提高到了0.739%，提高了21.3%，精确度（+21.6%）、召回率（+21.3%）和F1分数（+20.7%）也有所改善。其余分类器也观察到了类似的趋势。决策树分类器的准确性提高了20.8%，而随机森林和MLP分类器的提升分别为22.3%和23.5%。这些结果强调了修订后的归一化方法的稳健性及其增强L02映射器在多种学习模型中判别性能的能力。表12. 使用Ciraolo的归一化方法和修订后的归一化方法的FFM (L02)的分类指标比较。这些改进可以归因于修订后的归一化方法中的方法论改进。通过用鼻尖中心替换上唇中心作为参考点，该方法建立了一个更加稳定和几何上一致的面部坐标系统。这减少了归一化地标数据中的失真，使分类器能够更好地捕捉面部特征之间的结构关系，最终提高了分类准确性、稳定性和泛化能力。

4.3. 使用McNemar分析的特征组统计比较
表13、表14、表15和表16展示了在不同分类器和超参数配置下特征组之间的成对统计比较结果，具体是比较L03与L01以及L03与L02。每一行对应一个由数据集、模型特定的超参数（例如SVM的核函数、DT和RF的分割器以及MLP的求解器/激活函数）和比较对定义的独特实验设置。表13. 使用不同核函数的支撑向量机（SVM）的McNemar测试结果。“无”表示没有统计学上的显著差异。表14. 不同数据集和超参数配置下的决策树（DT）的McNemar测试结果。“无”表示没有统计学上的显著差异。表15. 在不同分割标准下的随机森林（RF）的McNemar测试结果。“无”表示没有统计学上的显著差异。表16. 在不同求解器和激活设置下的多层感知器（MLP）的McNemar测试结果（隐藏层大小=100，迭代次数=200，学习率=0.001）。“无”表示没有统计学上的显著差异。对于每种配置，表格报告了L03和基线特征组的分类性能、准确性的差异以及相应的统计测试结果，包括不一致案例的数量、p值（显著性指标）和性能结果（改进、下降或无显著差异）。这种结构化的表示方式使得可以系统地评估所提出的特征组（L03）在不同模型配置和数据集下的表现相对于L01和L02的情况。

4.4. 边缘部署的运行时性能评估
为了进一步证实所提出框架的轻量级特性及其适用于基于边缘的部署，我们在代表性的低资源硬件上进行了详细的运行时分析。实验是在配备1.4 GHz 64位四核处理器和有限内存容量的Raspberry Pi 3 Model B+上进行的，反映了真实的边缘计算限制。所提出的FFM-L03方法实现了平均9.59 FPS（≈每帧104毫秒，基于过去60次检测计算）的处理速度，证明了在受限条件下的近乎实时性能。作为对比，一个轻量级的MobileNet（mini）模型实现了11.72 FPS（≈每帧85毫秒），而一个更大的MobileNet变体实现了8.17 FPS（≈每帧122毫秒）。这些结果突出了模型复杂性和推理速度之间的权衡：紧凑的深度模型可能在增加内存占用的同时提供更高的吞吐量，而更大的架构则会带来额外的计算开销。相比之下，所提出的方法依赖于减少且具有判别性的地标表示，从而在保持竞争性能的同时降低了计算和内存需求（表17）。为了可重复性和便于进一步的比较实验，实现细节、训练模型和评估脚本已公开发布：https://github.com/hosamzolfonoon/Papep_FER_Test（访问于2025年1月25日）。表17. FFM-L03和MobileNet变体在过去60次检测中的平均推理吞吐量（FPS）比较。

5. 结论
本文提出了一个基于稳定地标归一化和紧凑面部特征映射的轻量级视觉辅助医疗机器人框架。研究表明，FER性能不仅受地标数量的影响，更重要的是受它们的空间分布、解剖相关性和几何归一化的影响。为了解决这些问题，本文引入了一种修订后的以鼻尖为中心的归一化策略以及提出的FFM-L03方法，该方法结合了FACS引导的解剖学先验和多种分析选择方法来保留60个有信息量的地标。在多个数据集、特征组、分类器和统计比较中的实验结果表明，所提出的框架在识别性能、紧凑性、可解释性和部署效率之间取得了良好的平衡。特别是，修订后的归一化和FFM-L03在多个设置下始终优于全地标配置和Ciraolo的基线方法，在准确性、精确度、召回率和F1分数上提高了多达22.1个百分点。在Raspberry Pi级别的硬件上的运行时分析进一步表明，该方法支持近乎实时的执行，确认了其适用于低功耗机器人平台的适用性。这项工作的重要性在于展示了在不依赖计算成本高昂的深度图像模型的情况下，可以显著提高保护隐私和资源意识的FER性能。通过处理匿名化的地标坐标并避免原始图像的存储或传输，所提出的框架对于老年人护理和远程医疗等敏感领域尤为重要。未来的工作将集中在跨数据集和跨领域的泛化、自定义数据集的多注释者验证、面部动态的时间建模以及在不受限制的环境中运行的实际辅助机器人平台上的现场评估上。这些方向将有助于进一步评估鲁棒性、可扩展性和实际部署的准备情况。