使用序数量表评估微笑强度,以监测生活质量(Quality of Life, QOL)
《Intelligent Systems with Applications》:Assessment of smile intensity using an ordinal scale toward QOL monitoring
【字体:
大
中
小
】
时间:2026年04月30日
来源:Intelligent Systems with Applications 4.3
编辑推荐:
西本圭 | 张俊尧 | 近藤和明 | 上田宏忠 | 中村裕一
京都大学,日本京都府 Sakyo-ku Yoshida-Honmachi,606-8501
**摘要**
面部表情是估计一个人内部状态最常用的资源,在护理环境中被广泛用作监控方法。在日常生活中,高强度或极
西本圭 | 张俊尧 | 近藤和明 | 上田宏忠 | 中村裕一
京都大学,日本京都府 Sakyo-ku Yoshida-Honmachi,606-8501
**摘要**
面部表情是估计一个人内部状态最常用的资源,在护理环境中被广泛用作监控方法。在日常生活中,高强度或极端的表情仅出现很短的时间,而中性或低至中等强度的表情则更为常见。现有的面部表情识别(FER)算法主要集中在检测高强度表情上,这限制了低至中等强度表情的检测,并阻碍了对其强度的详细评估。为了解决这个问题,我们提出了一种基于比较和序数等级的面部表情评估框架。利用这一框架,我们还提出了根据可区分性确定序数等级数量的方法以及选择用于强度评估的参考图像的方法。实验结果表明,所提出的框架优于人类注释者和传统的FER系统。
**1. 引言**
持续监测生活质量(QOL)变得越来越重要,不仅在护理环境中,而且在日常生活中确保心理健康方面也是如此。监测可以评估日常的QOL状况,同时提供负面趋势的早期预警并支持幸福感。为此,面部表情为估计个人内部状态提供了强有力的线索;此外,这些特征可以非侵入性地观察到,对个人的负担较小。在日常生活中,强烈的表情只会短暂出现,而中性或低至中等强度的表情占主导地位。举个例子:“这让他很高兴,因为他本来就不是很健康:他擦干了眼泪,露出了淡淡的微笑。”(艾米莉·勃朗特,《呼啸山庄》)。即使是微弱的微笑也传达了情感的丰富性,如喜悦或安慰。如果能够可靠地捕捉到如图1所示的微妙面部动态,就有可能准确地估计和跟踪一个人随时间的变化的QOL。
尽管微妙的面部表情在视觉上不那么突出,但它们为持续追踪情感状态提供了有希望的线索。然而,大多数传统的面部表情识别(FER)系统都是为了检测清晰表达的高强度情绪而开发的。因此,它们往往无法捕捉到逐渐且微妙变化的低至中等强度的表情。图2说明了这一限制:即使使用最先进的FER系统,其强度评估的敏感性和准确性也不足以检测低至中等强度的面部表情。图2中的面部图像是从中性表情到微笑峰值之间定期提取的。一个估计结果表现出非单调行为,而另一个结果显示出低敏感性,未能检测到序列早期的变化。作者预期的强度变化由黑色虚线表示。这种差异突显了在微妙表情变化期间实现感知一致强度评估的难度。
评估低至中等强度表情的难度还因个体差异而加剧。对一个人来说看起来是中性的面部表情,在另一个人看来可能类似于中等程度的表情,如轻微的微笑或轻微的愤怒表情。当试图区分这些微妙表情时,这种个体间的差异尤其成问题,因为通用FER模型经过训练后无法提供可靠的评估。这些限制凸显了需要能够适应个体基线和表情特征的个性化识别系统的必要性。一种可能的方法是对模型进行微调或应用迁移学习技术以适应每个目标个体;然而,典型的FER系统并不支持这种功能。此外,还有一个根本性的挑战:目前没有客观的标准来评估面部表情的强度。因此,很难获得带有准确强度标签的面部图像形式的可靠训练数据,特别是对于微妙的表情。
**下载:** 下载高分辨率图像(352KB)
**下载:** 下载全尺寸图像
**图1.** 日常生活中微笑强度变化的过渡曲线示例。
**下载:** 下载高分辨率图像(216KB)
**下载:** 下载全尺寸图像
**图2.** 从中性表情到微笑的一系列面部图像,以及使用两种传统FER系统(Py-Feat Cheong等人,2023年;FaceReader9,2024年)的微笑强度估计结果示例。
为了缓解这些挑战,我们在这里提出了一种基于比较的个性化微笑评估框架,该框架使用成对比较分类器在个人序数等级上对微笑强度进行排名。这一框架使FER系统能够通过直接比较面部图像的强度(亮度)模式来评估面部表情的时间动态和趋势的微妙差异。通过使用目标个体的样本图像作为训练数据,分类器得到了适当的个性化,从而能够通过与选定的参考图像进行比较来进行排名。
在接下来的部分中,我们将在第2节简要回顾相关工作,并在第3节介绍一种能够应对当前FER挑战的微笑强度监测框架。我们在第4节使用深度神经网络(DNN)方法来比较微笑强度,并在第5节提出一种基于序数等级的微笑强度索引方法。基于这种索引,我们在第6节提出了一种微笑强度评估方法。然后,在第7节通过将其与人类注释者进行比较来展示实验结果,最后在第8节总结我们的研究。
**2. 相关工作**
FER技术主要分为两类方法:基于特征点和基于图像强度的方法。
前者的一个著名例子是面部动作编码系统(FACS)(Ekman,2002年),由Ekman等人提出,它将面部表情表示为由面部肌肉收缩触发的动作单元(AUs)的组合。许多FER系统都基于FACS。例如,OpenFace(Amos等人,2016年)能够通过测量面部标志点的位移(即面部图像的特征点)来实时分析多种面部表情。
AU激活为通过标志点位移推断表情强度提供了坚实的基础(Jeni等人,2013年;Mahoor等人,2009年)。例如,Py-Feat(Cheong等人,2023年)利用这一原理来普遍识别表情并估计其强度。虽然基于特征点的方法采用了稳健的方法来检测面部特征位移,但即使是小的检测和量化错误也可能在评估强度时产生严重的负面影响。对于低至中等强度的表情,这个问题尤为关键,因为头部姿势或光线变化会影响面部标志点的微小变化,从而显著影响预测准确性。此外,在平滑的凸面或凹面面部区域(如脸颊或下巴),特征点的定义很大程度上依赖于外观,这使得它们在表情引起的外观变化或视角变化下变得不稳定。然而,这些方法仍然依赖于稳定的标志点检测和预定义的结构表示,因此可能仍然对标志点检测的错误敏感,尤其是在微妙表情变化的情况下。
另一方面,基于图像强度的方法使用DNN可以直接利用面部图像上的强度模式来减少这种观测噪声的影响,例如,最近的FER研究利用了VGGNet(Atabansi等人,2021年;Liu,2023年)。在这方面,一些方法在深度学习框架内结合了几何先验,而不依赖于显式的标志点检测,例如几何感知条件网络(Liu等人,2024年)。此外,还提出了几项改进FER的研究,这些研究有助于解决该领域的多个挑战。例如,Li等人(2017年)引入了一种新的损失函数,通过解决情感之间的相似性(如惊讶和恐惧)来提高情感的可分离性。多任务学习框架也被采用来减少身份偏见并去除无关特征,如年龄和性别(Meng等人,2017年;Zhang等人,2017年)。进一步的努力是通过跨领域面部表情识别方法来解决个体间差异(Liu等人,2023年)。最近的研究还探索了基于对比学习的方法,如热图邻居对比学习(Liu等人,2025年)来改进特征表示。尽管这些方法在检测和分类明显的面部表情方面取得了一些成功,但它们仍然不足以估计低至中等强度的表情。此外,尽管最近的研究探索了自监督学习(Liu等人,2025年),但许多基于DNN的方法仍然依赖于监督学习,因此需要可靠的真实数据,即带有表情强度标签的面部图像对。
**数据集**
诸如DISFA(Mavadati等人,2013年)和BP4D(Zhang等人,2014年)之类的数据集在FER研究中被广泛使用,其中包含多种面部表情;然而,它们缺乏连续的表情转换,即没有包含同一个体在不同表情强度下的面部表情样本。其他现有的基本面部表情和微表情数据集也没有充分包含与日常生活相关的各种微笑强度的表情。即使在构建微表情数据集时,也要求参与者保持冷静或在观看引发目标情绪的视频片段时保持“扑克脸”(Li等人,2013年;Qu等人,2018年;Yan等人,2013年)。目前也没有建立客观定义外观上表情强度的标准,也没有提供详细面部图像及其表情强度对的综合性数据集。
**替代方法**
有几种方法被提出来独立构建表情强度的尺度。遗憾的是,目前还没有一种既定的方法可以使用基于图像强度的方法来量化面部表情的微妙变化。为评估表情强度而提出的建模方法包括面部表情的多类建模(Reilly等人,2006年)、回归模型支持向量机(SVM)-回归器(Lee & Xu,2003年)和高斯过程回归建模(Dhall & Goecke,2012年)。例如,Lee和Xu(2003年)将面部表情的特征点转换视为表情强度的代理。另一种方法根据特定面部表情的可能性来表示面部表情的强度,即微笑检测的后验概率(Shimada等人,2011年)。这些方法仍然依赖于真实数据,无论是为了设置假设的类别还是验证回归结果的有效性。
**没有数值真实数据的替代方法**
Yang等人(2009年)提出了一种基于排名的模型,该模型使用类似Haar的特征和提升算法对一组图像进行排名。它们获得了一组输入图像的顺序,而不是估计特定面部图像的强度。这些框架的优势在于它们不需要预定义的强度值;然而,它们在处理表情外观的个体差异时遇到困难,特别是对于低至中等强度的表情。这突显了缺乏来自目标个体的训练样本的模型的局限性。
**近藤等人(2021年)提出了一种受孪生网络启发的基于比较的面部表情评估方法,展示了检测微妙表情差异的能力。孪生网络最初用于确定两个输入是否相似或不同,并被开发用于手写签名的识别(Bromley等人,1993年);此后它被广泛用于异常检测(Zhou等人,2021年)等应用。近藤的模型扩展了这一功能,用于比较两张面部图像并确定哪一张显示更强烈的微笑。这使得可以使用自然的表情转换(例如视频帧)轻松创建训练数据。Zhang等人(2026年)扩展了这一模型,以支持涉及负面表情的比较。作为孪生网络的一个特征,可以从相对较少的训练数据中训练网络,以实现多值判别和回归(Koch等人,2015年)。因此,我们预计为特定目标个体收集训练数据并不困难,因为可以在日常环境中用普通相机捕捉到从中性脸到微笑的表情转换样本。
**3. 微笑强度评估框架**
面部表情评估的一个基本问题仍未解决:没有客观或标准化的方法来量化面部表情的强度。这使得获取分类器(通常是需要真实数据作为训练数据的DNN)变得具有挑战性。特别是在微妙或低强度表情的情况下,无法普遍建模一定程度的个体差异。
本研究旨在通过基于“比较”的序数排名来克服面部表情评估的困难,特别是微笑的评估,如图3所示。概述展示了基于比较的面部表情强度评估方法。1. 使用个人的面部图像训练深度神经网络(DNN),以区分两张面部图像中哪一张表现出更强烈的表情。2. 通过将DNN鉴别器应用于给定的数据集,提供一个个人化的面部表情强度等级量表。该量表由多个选定的参考图像组成,这些参考图像代表了不同的表情强度级别。3. 通过确定图像在个人化量表上的相应位置来估计给定图像的表情强度(图3,步骤1)。因此,目标图像的表情强度是通过DNN找到的两个参考图像来确定的:其中一个参考图像的表情比目标图像的表情更强烈,另一个则较弱(图3,步骤2)。所提出的方案旨在克服面部表情识别(FER)中的以下常见问题:•我们的方案不使用面部特征点的位置,因为检测受视觉条件和动作的严重影响,导致对微妙表情的评估质量大幅下降。相反,我们的方案基于卷积神经网络(CNN),直接处理图像强度模式,而不依赖于特征点,从而提供了某种稳定性。•我们的方案不需要表情强度值的真实标签,例如30%的微笑,这很难通过手动或其他方法进行评估。我们的方案只需要一组包含表情转换的图像即可。•通过使用个人数据和由此产生的表情强度等级量表,我们的方案可以根据个人特征调整排名,使我们能够检测到表情之间的细微差异。这种基于序数等级的表情强度评估框架之前由作者(Shimonishi等人,2024年)提出。虽然之前的工作建立了基于比较的序数框架,但它没有解决如何确定表示表情强度的适当等级数量的问题。本研究通过引入一种基于伪熵的标准来解决这一基本问题,该标准允许自适应地构建等级。所提出的方法根据训练有素的比较模型的区分能力来确定可区分的等级数量,而不是假设预定义的粒度。因此,序数等级是以数据驱动的方式构建的,有效分辨率源自数据本身的结构。
下载:下载高分辨率图像(505KB)
下载:下载全尺寸图像
图4. (a) 基于孪生网络比较面部图像以评估微笑程度的概览。(b) 比较层的细节。
4. 微笑强度的比较
4.1. 用于表情比较的网络
我们方案的核心是一个用于二分类的DNN,用于确定两张输入面部图像中哪一张表现出更强的微笑强度。为此,我们使用了一个能够比较两张面部图像的基于孪生网络的神经网络(Kondo等人,2021年)。图4展示了网络的结构。我们采用了VGG16(Simonyan & Zisserman,2015年)中的卷积层作为孪生框架中的共享特征提取器,随后是两个带有修正线性单元的全连接层,丢弃率为0.25,并在输出端使用SoftMax激活函数。每张输入图像都经过共享的卷积主干处理,得到512 × 7 × 7大小的特征表示。两张图像的特征向量被连接起来,形成512×7×7×2维的表示,然后输入到一系列全连接层(512 × 7 × 7 × 2 → 512 → 256 → 256 → 2),这些层也带有修正线性单元和丢弃率(0.25),以产生最终的比较输出。该网络使用两张面部图像作为输入,并输出两个概率值,表示哪一张输入图像代表的微笑强度更高。请注意,这种方法不直接依赖于面部特征点的位置;因此,结果受外部因素(如头部方向和光线变化)的影响较小。
网络使用带有相对微笑强度标签的面部图像对进行训练。训练时,真实标签是一个二维one-hot向量,表示更强烈的表情。网络使用分类交叉熵损失进行训练:
(1) L=?∑iyilog(y?i)+(1?yi)log(1?y?i),
其中i={1,2},yi和y?i分别表示真实和预测的微笑强度较高的概率。我们期望网络通过将CNN层的输出映射到这个概率空间来学习区分微笑强度的相对优劣。
4.2. 网络训练
如第2节所述,现有的公共数据集不足以评估广泛的微笑表情,特别是低到中等强度的表情。我们需要包含多种表情的专门数据集,这些表情可以通过真实标签轻松标注。为了避免这个问题,我们使用视频,即包含表情转换的图像序列,例如从中性到微笑的转换。在常见的视频帧率(如30 fps)下,相邻帧之间的表情变化足够小,可以表示微妙的表情变化,并且我们可以轻松区分哪种强度更高(例如,在从中性到微笑的转换中,强度随时间增加)。此后,这些转换被称为“斜率”,表示表情强度的上升(从中性到微笑)或下降(从微笑到中性)。
在实际应用中,我们假设每个人都有视频记录,可以收集足够详细的表情数据来训练DNN。使用BlazeFace(Bazarevsky等人,2019年)这种基于图像的面部检测器从每个视频中提取一系列面部图像。然后,手动检测表情转换,并将第k个斜率标记为Sk,如图5所示。
下载:下载高分辨率图像(90KB)
下载:下载全尺寸图像
图5. 使用微笑斜率构建训练数据集的方法。红点表示每个微笑事件的开始和结束帧。黑点表示微笑的中间点。对于每个斜率,一对开始和结束的面部图像(红点)及其对应的标签(上升/下降)构成一组数据。如果我们假设斜率内的微笑强度是单调变化的,也可以根据时间顺序为开始或结束的面部图像(红点)和中间图像(黑点)分配标签。请注意,图中的微笑强度不是绝对值。
对于斜率开始和结束之间的任何一对图像(图5中的红点),真实标签(即哪张图像的强度更高)可以通过斜率的梯度来确定。例如,如果微笑强度沿斜率增加,我们可以将真实标签评估为“<”(上升);对于下降的斜率,则评估为“>”(下降)。这种基于斜率的真实标签分配使我们能够从视频中收集大量详细的、特定于个体的训练样本。
5. 使用序数等级对微笑进行索引
5.1. 序数等级作为参考集合
一旦我们获得了用于成对比较的网络,就可以比较数据集中包含足够数量面部图像的每一对图像。根据这些比较结果,所有图像都按照微笑强度的顺序进行排序。基于这个估计的顺序,可以根据选定的参考图像集合在普通等级上进行比较,这些参考图像用于对新样本图像进行排名。
下载:下载高分辨率图像(710KB)
下载:下载全尺寸图像
图6. (a) 图像的完整网格比较矩阵;(b) 重新排序后的图像。
5.2. 对图像进行排序
图6(a) 显示了数据集中所有可能的对之间微笑强度比较的结果。每一列和每一行分别代表目标图像和参考图像;目标图像和参考图像是相同的集合,即数据集中的所有图像。每个矩阵单元格显示分配给列(目标)的图像是否比分配给行(参考)的图像具有更高的强度。蓝色单元格表示PAs(tgt,ref)>PAs(ref,tgt),而红色单元格表示相反的情况,其中PAs(I1,I2)表示I1的强度高于I2的概率。白色单元格表示不确定或模糊的比较。
图6(b) 显示了按微笑强度从左到右排序的结果,目标图像根据每张图像Ii相对于其他图像Si的强度进行排序,计算方法如下:
(2) Si=1N?1∑j∈{1,…,N}?iPAs(Ii,Ij),
其中N表示图像的数量。
5.3. 等级分配的一致性
我们考虑每个图像Ii的一致性得分,i∈{1,…,N},表示图像符合排序顺序的程度。按微笑强度降序排序的图像为{I1rank>?>INrank},其中Iirank表示强度第i高的图像。图像(Ii)的一致性得分(Li)定义如下:
(3) Li=1N?1∑Ij∈{I|rank(I)i}PAs(Ii,Ij),
其中rank(I)表示图像I的强度顺序。排序图像集的总一致性得分L定义如下:
(4) L=1N∑i=1NLi。
如果所有图像都能一致排序,那么Li和L都等于1。然而,经常会出现矛盾的情况,例如,对于rank(Ii)>rank(Ij)的图像Ii和Ij,有PAs(Ii,Ij)>PAs(Ij,Ii)。为了解决这个问题,我们将等级数量减少到远小于数据集中的图像数量,并为每个等级分配多个图像。为此,我们将Li修改为Li?,如下所示:
(5) Li?=1N?nr∑Ij∈{I|rank(I)r}PAs(Ii,Ij),
其中r是等级r的图像数量。
5.4. 等级分配
给定一组图像的顺序后,就需要确定表示表情强度的适当等级数量,并将图像分配给每个等级。如果等级数量太少,则无法捕捉到面部表情的细微差异。相反,如果等级数量太多,则相邻等级之间的区别会变得模糊且不可靠。为了解决这个问题,我们引入了一种伪熵度量,用于评估在给定等级分配下面部图像的可区分性。伪熵量化了比较网络在不同等级之间区分图像的一致性,同时考虑了模糊比较中的不确定性。
所提出的方法不是假设预定义的等级数量,而是根据训练有素的比较模型的区分能力来确定可区分的等级数量。我们定义了等级分配的伪熵W,计算方法如下:
(6) W=?∑rmrPrlogPr,
其中mr=∑i∈{I|rank(I)=r}Li?/nr,Pr=nr/N。根据等级数量,每个图像都被分配到一个使其伪熵最大化的等级。伪熵是在逐步增加等级数量的同时计算的。当伪熵的边际增长率ΔW/W低于预定义阈值时,分治过程终止,从而以数据驱动的方式确定每个个体的有效可区分等级数量。
6. 微笑强度评估
在这个框架中,面部图像的等级是通过成对比较来确定的。微笑强度不是作为绝对值定义的,而是作为个性化序数等级中的一个位置。每个输入图像通过确定其相对于参考图像的相对位置来映射到这个等级上。
6.1. 参考图像集选择
对于每个等级,提取两张代表性图像:一张用于确定图像是否表现出更高等级的表情(即更强的微笑强度),另一张用于确定图像是否表现出较低等级的表情(即较弱的微笑强度)。为此,我们引入了两个基于之前提出的一致性得分Li的额外度量:Lih,用于评估面部图像Ii是否属于更高等级;Lil,用于评估图像Ii是否属于较低等级。这些度量定义如下:
(7) Lih=1N?1∑Ij∈{I|rank(I)r}PAs(Ii,Ij)。
对于每个等级,通过选择分别使Lih和Lil最大的图像来获得用于比较的参考图像。
下载:下载高分辨率图像(97KB)
下载:下载全尺寸图像
图7. 基于投票的评估。
6.2. 基于投票的微笑等级估计
图7展示了基于投票的索引的整体概念。这种方法利用成对比较将目标图像定位在微笑强度的序数尺度上。目标图像Inew与所有等级的所有参考图像进行比较,并通过投票整合概率PAs。我们将概率PAs(如第5.2节所介绍的)视为成对比较的置信值,并假设投票结果代表了目标图像在微笑强度方面相对于代表性图像的优劣程度。因此,目标图像Inew的预测排名r如下给出:(9)r=argmax_r∑_{k=1}^{r-1}P_{As}(R_k,Inew)+∑_{k=r+1}^N P_{As}(Inew,R_k),其中R_k表示等级为k的代表性图像,N_r表示等级的数量。这种基于投票的方法减少了单个图像之间的波动,并将Inew稳健地分配到适当的序数位置。
7. 实验评估
我们进行了实验来评估我们提出的框架的以下方面:
- 比较准确性:即使使用小样本量,所提出的网络在比较特定个体的两张面部图像的微笑强度方面有多准确?
- 排名分配:基于人类注释者的评估,排名分配给面部图像集的效率如何?
- 微笑强度评估:选定的参考图像和投票算法在评估新面部图像方面的全面性如何?
7.1. 数据集构建
我们准备了面向前方的视频来捕捉目标个体的面部表情(FEs)。使用BlazeFace(Bazarevsky等人,2019年)这一面部检测工具从这些视频中提取了面部图像序列。然后,通过手动标注微笑的斜率,我们为每个个体构建了一个训练数据集,如第4节所述。为了证明我们提出的框架的适用性,我们构建了两种类型的数据集:
- 数据集A:由记录了一定时间内的FE变化的视频组成,涉及少数个体。
- 数据集B:包含大量个体的FE变化。
数据集A为每个个体提供了足够的FE变化,用于详细分析所提出的方法并检查上述三个关键方面。数据集B用于评估所提出网络的通用性。
7.1.1. 数据集A
在数据集A中,招募了九名参与者(3名男性,6名女性;5名中国人,4名日本人;平均年龄26.3岁)来捕捉FEs之间的转变。每个参与者被要求坐在显示器前观看YouTube上的几个短视频片段(长度从4到15秒不等,例如“搞笑时刻:婴儿和儿童”以引发积极情绪和微笑)。向每个参与者展示了不同情感内容的各种视频片段,以反复诱导自然的微笑和放松反应。根据第4.2节描述的手动微笑斜率标注,我们从每个斜率的开始和结束帧中选取面部图像,构建了一对带有标签的图像对。我们将其称为“中性峰值数据集”。随后,在假设每个斜率之间的FE表达变化是单调的情况下,我们还提取了表现出足够变化的FE表达图像对,并根据它们的时间顺序分配了相应的标签,创建了一个“中间数据集”。数据集中的图像对数量如表1所示。
表1. 每个数据集中的图像对数量
| 数据集 | 中性峰值 | 中间 | 总计 |
| ---- | ---- | ---- | ---- |
| A-1 | 14 | 9 | 29 |
| A-2 | 14 | 4 | 29 |
| A-3 | 12 | 0 | 28 |
| A-4 | 11 | 0 | 9 |
| A-5 | 7 | 2 | 7 |
| A-6 | 8 | 8 | 20 |
| A-7 | 9 | 8 | 22 |
| A-8 | 5 | 7 | 4 |
| A-9 | 9 | 8 | 21 |
7.1.2. 数据集B
对于数据集B,我们使用了“名古屋大学老年人面部表情数据库”(University, 2024, Yoshida等人,2024年),其中包含111名日本老年人的FE变化视频。参与者被要求以三种不同的方式做出FEs,以捕捉每种情绪的各种面部图像:情景模仿、照片模仿(男性)和照片模仿(女性)。此外,提供了两种类型的微笑表情:一种嘴巴张开,另一种嘴巴闭合。总共,每个参与者录制了六个短序列(每个大约五秒),代表不同的情绪表达方式。由于个体差异明显且记录的FE持续时间较短(即样本量小),因此数据集B比数据集A更具挑战性。此外,由于参与者是老年人,他们的许多FE变化表现出模糊性。
对于数据集B中的每个视频,与最大AU强度帧相对应的面部图像都被标注了情感评分。每个视频至少由五名注释者评分,多数票被选为最终标签。在这项研究中,我们专注于微笑,因此只使用那些参与者被指示表达“快乐”情绪的FE数据。然而,如图8所示,只有3种表情被正确识别为“快乐”。图9显示了表达情绪与评分情绪之间的一致性直方图,揭示了参与者FE的变异性以及FER所涉及的挑战。仅仅使用斜率的开始和结束帧(如数据集A中那样)是不足的,因为训练数据的数量等于斜率的数量,即六个。因此,我们通过从同一斜率中提取具有时间差异的面部图像对来生成训练数据,如4.2节所述,从而能够捕捉到单个转变中的面部表情变化。平均而言,从数据集B中为每个受试者生成了164.5±84.0对图像对用于训练和评估,反映了受试者之间的差异。使用这样的数据集训练网络特别具有挑战性,因为斜率的数量较少,且由于从同一斜率获取了多对FE图像,训练数据的变异性可能也较小。
下载:下载高分辨率图像(234KB)
下载:下载全尺寸图像
图8. 参与者B-1的面部图像,显示了用六种方法表达的快乐情绪的峰值AU强度。由于数据集的使用协议不允许,因此无法显示原始面部图像。
下载:下载高分辨率图像(98KB)
下载:下载全尺寸图像
图9. 直方图显示了数据集B中每个参与者的表达情绪与识别情绪匹配的数量。
7.2. 评估方案
每个个体的评估程序按照以下步骤进行:
1. 网络训练:我们训练了每个网络,并使用交叉验证方案评估了网络的准确性。
2. 成对比较以进行排名:使用训练数据中的所有图像对,我们训练了网络并进行了成对比较,以建立FEs的基线排名。
3. 排名分配和代表性/参考图像集选择:根据伪熵为每个图像分配排名,并从每个排名中选择代表性图像集和参考图像集。然后通过网络预测与人类注释者评估之间的一致性来评估这些排名分配。
4. 基于投票的强度评估:对于基线排名中的每个面部图像,我们使用提出的基于投票的强度评估算法验证是否预测了正确的强度,并选择了参考图像。
5. 排名数量分析:我们分析了排名数量与性能指标之间的关系,以了解所提出的排名构建机制中涉及的权衡。
6. 微笑强度验证:最后,我们验证了所提出方法在评估新面部图像的微笑强度方面的准确性。
在步骤1中,使用数据集A和B评估了网络的通用性。对于步骤2及以后的步骤,使用样本量更大的数据集A进行详细评估。在训练过程中,使用了在数百万张面部图像上训练的VGG-Face(Parkhi等人,2015年)的预训练特征提取层进行人物识别,仅训练了全连接层。通过交换图像对的输入顺序并相应地反转它们的标签来增强数据集,以提高泛化能力。
关于排名分配,我们设置了伪熵提高5%作为阈值。为了评估排名分配的质量,要求人类注释者在以下两种条件下比较两张面部图像:
- 同等级对:属于同一等级的面部图像对,假设它们的比较结果具有高度相似性。我们将其称为“内部”条件。
- 不同等级对:属于相邻等级的面部图像对,假设它们的相似性较低。我们将其称为“外部”条件。
对于每种条件,从每个等级中随机选择了五对面部图像,即总共十张面部图像。所有注释者使用相同的图像对集。在比较了每个数据集中的图像对(包括内部和外部条件)后,参与者进入下一个数据集。每个数据集中的图像对顺序是随机化的,而数据集的顺序保持不变。我们根据每个分割区间内的注释难度来评估分配图像排名的方法,即面部图像的微笑强度相似性。招募了六名参与者(6名男性),年龄在22至35岁之间作为注释者。
表2. 数据集A的识别准确性。FR9: facereader9, PF: Py-Feat。
| 数据集 | 中性峰值 | 中间 | 总计 |
| ---- | ---- | ---- | ---- |
| A-1 | 97.3 | 92.6 | 100 |
| A-2 | 86.0 | 77.8 | 95.9 |
| A-3 | 89.8 | 98.3 | 94.4 |
| A-4 | 95.8 | 93.8 | 94.2 |
| A-5 | 99.2 | 98.3 | 88.1 |
| A-6 | 99.1 | 90.2 | 94.7 |
| A-7 | 98.9 | 99.2 | 98.3 |
| A-8 | 95.7 | 94.2 | 98.7 |
| A-9 | 99.8 | 95.5 | 98.2 |
| A-10 | 94.7 | 94.6 | 99.1 |
| A-11 | 94.3 | 94.2 | 98.9 |
| A-12 | 93.4 | 94.6 | 97.1 |
| A-13 | 93.9 | 99.5 | 99.8 |
| A-14 | 99.9 | 98.0 | 86.8 |
| A-15 | 98.6 | 99.1 | 92.0 |
| A-16 | 99.3 | 99.0 | 92.6 |
下载:下载高分辨率图像(78KB)
下载:下载全尺寸图像
图10. 数据集B的识别准确性。
下载:下载高分辨率图像(655KB)
下载:下载全尺寸图像
图11. 所提出网络对中性峰值数据集的正确预测结果示例。第一行显示标签和预测结果,第二行显示网络使用Grad-CAM关注的区域。
下载:下载高分辨率图像(901KB)
下载:下载全尺寸图像
图12. 所提出网络对中间数据集的正确预测结果示例。第一行显示标签和预测结果,第二行显示网络使用Grad-CAM关注的区域。
下载:下载高分辨率图像(901KB)
下载:下载全尺寸图像
图13. 所提出网络错误预测结果的示例。第一行显示标签和预测结果,第二行和第三行显示网络使用Grad-CAM关注的每个预测的区域。在六张图像中,下排的三张对应于参与者A-6,其准确性特别低。
7.3. 结果和讨论
7.3.1. 比较网络的预测准确性
我们首先展示了训练有素的比较网络的准确性评估结果。表2显示了数据集A的预测准确性,将我们提出的网络与两种传统的FER方法(Py-Feat和facereader9)进行了比较。为了进行这项评估,我们对所提出的网络应用了5折交叉验证以确保其稳健性。关于传统的FER方法,因为评估了微笑的程度,我们通过比较两个面部图像的微笑程度来分配相应的标签,并计算了比较的准确性。这些结果表明,所提出的方法优于传统技术,特别是在中间数据集上,该数据集包含的图像对中的两张图像在微笑强度上有细微差异。由于中性峰值数据集包含大量在微笑强度上有显著差异的样本,即使使用传统的FER方法也相对容易区分。相比之下,中间数据集的特点是强度差异较小,对传统FER方法提出了更大的挑战。
图10显示了数据集B上的识别准确性条形图。如上所述,由于表情变化斜率的数量很少以及表示微笑的方式不同,数据集B中的识别非常困难;然而,我们的网络仍然实现了比传统FER方法更好的识别准确性。尽管数据是使用5折交叉验证方案进行验证的,但应该注意的是,从同一个微笑斜率中提取了多对图像,导致训练和测试中存在相似的FE图像。这些结果表明,尽管我们提出的网络需要针对特定个体进行训练,并且能够比传统FER方法更好地捕捉个体的FE变化,即使训练样本数量较少。
从定性分析的角度来看,图11、12和13展示了使用梯度加权类激活映射(Grad-CAM)(Selvaraju等人,2019年)的预测结果示例。在图11和图12的每个子部分中,第一行显示了真实标签和估计结果,第二行显示了网络用于正确预测的热图区域。显然,该网络通过关注面部区域(包括嘴巴和眼睛)返回了准确的预测结果,这些区域通常与微笑相对应,即使在图12中,面部图像有时与图11中的图像对非常相似。同样,在图13中,第二行显示了网络用于预测左面部图像比右面部图像显示更多微笑的区域的热图,而第三行显示了网络用于预测右面部图像比左面部图像显示更多微笑的区域的热图。尽管最终决策是错误的,但可以确认网络通常关注嘴巴和眼睛周围的区域,这与正确的情况相似。在六张图像中,下排的三张显示了参与者A-6的部分结果,其准确性略低。对于这位参与者,如图12所示,当预测正确时,网络更频繁地关注耳朵周围的区域,而这些区域相对于其他参与者来说与微笑的相关性较低。这表明由于中性峰值数据集的样本量较小,分类器尚未完全学会与该参与者相关的微笑表情变化,如表1所示。这些结果表明,我们的网络能够通过适当地捕捉与微笑相关的面部表情变化来评估微笑强度的差异。
表3. 每个数据集分配的排名数量。
数据集A-1 A-2 A-3 A-4 A-5 A-6 A-7 A-8 A-9
分配的排名数量 9 9 9 9 9 9 9 8 9 9
下载:下载高分辨率图像(373KB) 下载:下载全尺寸图像
图14. 数据集A-1、A-2和A-3的比较矩阵。绿线显示了算法划分基线排名的位置。
7.3.2. 每个排名的分配和代表性图像
表3列出了每个数据集分配的排名数量,给出了5%伪熵改进的阈值。如表3所示,分配的排名数量取决于表情强度的范围以及参与者表情之间的相似程度。这些结果对应的比较矩阵显示在图14中,其中绿线显示了算法划分基线排名的位置。对于这些数据集,微笑评估空间被划分为九个区间,方法是合并相似的面部图像。图15显示了每个排名的代表性图像示例,这些图像最大化了Li?。例如,可以看出参与者A-2的微笑强度比参与者A-1弱,而参与者A-3的微笑强度比参与者A-1强。图16显示了注释者评估结果的准确性。在这里,我们考虑由所提出的网络给出的顺序作为预测的最终真相,因为网络的准确性足够高,可用于比较,如表2所总结的。当检查相同强度类别内的面部图像之间的结果时,很明显参与者无法在所有数据集中进行准确的比较,这表明使用所提出的方法可以将相似的面部表情适当地量化到同一类别中。
下载:下载高分辨率图像(583KB) 下载:下载全尺寸图像
图15. 数据集A-1、A-2和A-3的代表性图像。微笑强度较强的图像位于右侧。
相比之下,跨条件结果评估了相邻类别之间的比较,表明参与者可以相对准确地比较面部表情。这表明算法根据伪熵调整量化级别的有效性,从而根据可区分性进行类别划分。另一方面,对于数据集A-6,即使是相邻类别之间的表情比较也表现不佳。一个可能的原因是,如表2所示,分类器的区分能力对于参与者A-6来说略低。因此,即使对于本质上难以区分的图像对,分类器也可能判断它们具有高度可区分性,导致排名划分数量的不必要增加。
下载:下载高分辨率图像(112KB) 下载:下载全尺寸图像
图16. 注释者评估的准确性。
下载:下载高分辨率图像(240KB) 下载:下载全尺寸图像
图17. 数据集A-1、A-2和A-3的基线排名中估计排名与原始排名的一致性。
下载:下载高分辨率图像(129KB) 下载:下载全尺寸图像
图18. 数据集A-1的排名数量与性能指标(一致性和伪熵W)之间的关系。
下载:下载高分辨率图像(191KB) 下载:下载全尺寸图像
图19. 实验期间5分钟内面部表情变化的代表性微笑强度估计,使用5秒窗口应用移动平均来观察数据集A-1的整体趋势。
7.3.3. 基于投票的评估一致性
图17显示了我们提出的基于投票的排名评估算法估计的排名与原始分配排名之间的一致性。在这里,绿色星星表示每个排名的选定参考图像。从这些图中可以看出,在每个排名内,位于排序顶部或底部的图像倾向于被选为参考图像。尽管在排名边界周围发现了一些误分类,但排名估计总体上表现良好,并且获得了有利的结果。
7.3.4. 排名数量确定分析
为了进一步分析所提出的排名构建机制,我们检查了排名数量与性能指标之间的关系。与7.3.2节中基于人类的评估不同,这项分析关注基于7.3.3节中确认的基于投票的评估的正确性,评估分配排名与评估排名之间的一致性。在这项分析中,我们根据这种一致性来评估性能,因为它可以作为强度评估准确性的代理,由于缺乏可靠的真实标签,直接评估是不可行的。
如图18所示,增加排名数量与更高的伪熵度量相关,但降低了评估排名与原始排名分配之间的一致性,表明在可区分性和可靠性之间存在权衡。这个结果表明,简单地增加排名数量并不一定能提高性能。
下载:下载高分辨率图像(472KB) 下载:下载全尺寸图像
图20. A-1数据集上5分钟内面部图像的估计微笑强度示例。
下载:下载高分辨率图像(321KB) 下载:下载全尺寸图像
图21. A-1数据集上10秒内眨眼对微笑强度估计的示例。
7.3.5. 微笑强度评估
图19显示了实验期间微笑强度变化的一部分。在这个结果中,通过移动平均平滑了评估分数以追踪变化趋势。可以看出,参与者在给定视频刺激下反复表现出微笑,然后逐渐恢复到中性表情,这是预期的。最后,图20展示了在转换过程中观察到的具体面部图像示例。与图19不同,该图显示了未应用移动平均的每个面部图像的识别结果,因此转换曲线包含高频成分。这个结果证明了所提出框架在准确区分不同微笑强度的面部表情方面的有效性。在这些结果中,未经平滑的原始估计在中性和低排名之间显示出波动。这种现象是因为估计器将眨眼期间的闭眼误解为微笑的微妙表情,如图21所示。因此,如图19所示,建议使用平滑处理来减少眨眼的影响,从而仅准确捕捉微笑强度的变化。
8. 结论
在本文中,我们提出了一种专门用于评估个人微笑强度的方法,包括微妙的变化。为了实现这一目标,我们提出了以下四个因素:
- 一个通过比较来评估面部表情强度的网络;
- 一种基于伪熵确定适当排名数量并将排名分配给面部图像的方法;
- 一种选择每个排名的代表性图像的方法,以及选择参考图像以确定新面部图像的排名的方法;
- 一种使用投票算法评估新面部图像的面部表情强度的方法。
实验结果表明,我们的框架不仅可以成功确定明显的微笑程度,还可以确定中等程度的面部表情。此外,我们可以看到,通过考虑伪熵为图像集分配的排名提供了一个更一致且合理的评估空间。尽管所提出的框架需要收集和训练每个用户的数据,但这项研究侧重于在微妙和多变的表现条件下建立个性化的微笑强度评估的基本方法。在这种设置中,针对个体的建模至关重要,因为对低到中等强度表情的感知在个体之间差异显著。此外,序数尺度的粒度,即排名数量和相应的参考图像,并不是预先定义的,而是根据训练有素的比较模型的可区分性自适应确定的。增加排名数量可能会允许更细致地表示表情强度,但也可能在相邻排名之间引入歧义,从而可能影响准确性和稳定性。所提出的基于伪熵的标准解决了这一权衡问题,提供了一种数据驱动的方式来确定适当数量的可区分排名。
从更广泛的角度来看,实际的QOL监控系统预计将解决额外的挑战,包括长期运行、跨会话的鲁棒性和用户之间的可扩展性。这些方面涉及超出本文范围的系统级考虑,是未来工作的重要方向。作为解决这些挑战的一个可能方向,我们还在研究从视频数据中自动学习的方法(Shimonishi等人,2025年)。这样的方法预计将减少每个用户的数据收集和训练负担,并使所提出的框架更加可扩展和实用。
未来的工作还包括将所提出的和构建的序数尺度映射到某种物理指标。虽然本文提出的排名分配方法在人类评估中是合理的,但如果能够将其映射到某种物理指标,该尺度的有效性将得到提高。例如,可以通过测量面部肌肉的肌电活动来使用肌肉活动程度作为指标。此外,未来的工作还包括将这项技术应用于那些面部表情没有显著变化的人,例如痴呆症患者,如第1节所述。
CRediT作者贡献声明
Kei Shimonishi:概念化、方法论、调查、形式分析、撰写——原始草稿。
Junyao Zhang:调查、数据整理。
Kazuaki Kondo:方法论。
Hirotada Ueda:形式分析。
Yuichi Nakamura:方法论、监督、撰写——审阅和编辑。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号