《Vision Research》:Using neural networks to understand static and dynamic cues in facial expression recognition
编辑推荐:
本研究针对动态面部表情识别(DFER)中静态与动态线索的相对贡献尚不明确的问题,通过构建基于大型自然数据库DFEW的四种数据集(静态有序、静态乱序、动态有序、动态乱序),训练深度卷积神经网络(DCNN)模型进行对比分析。研究发现,静态线索性能显著优于动态线索,且打乱时间序列对多数表情识别影响不显著,为理解面部表情处理的神经计算机制提供了新视角。
面部表情是人类社交互动中极为重要且信息丰富的非语言沟通渠道。它不仅传递情感状态,其识别技术在人机交互、健康监测和驾驶安全系统等领域也具有关键应用价值。然而,长期以来,大量的面部表情研究依赖于静态图片作为刺激材料。这些通常在实验室环境下捕捉的、代表典型表情顶峰的静态图像,虽然简化了分析,但缺乏生态效度。真实世界的面部表情本质上是随时间展开的动态事件,包含细微的运动、特征遮挡和噪声。静态表征无法捕捉表情起始、演变和消退过程中蕴含的关键时间信息,这限制了研究发现向自然场景的泛化能力。认识到这些局限,面部表情识别领域正日益转向动态面部表情识别(DFER),即分析视频序列而非单帧图像。DFER旨在通过建模面部运动的时间依赖性和演变过程,利用动态刺激更丰富的信息内容,从而为理解更自然的表情提供了途径。
尽管如此,DFER的发展一直受限于精确控制和量化演变表情的困难。传统DFER数据集规模小且在受控实验室环境中生成,难以捕捉自然和自发面部表情的多样性。近年来,为满足强大深度学习模型的数据需求,研究人员引入了更大规模的DFER数据集,例如动态野外面部表情(DFEW)数据库。该数据库包含从电影中截取的超过11,000个视频片段,人工标注了七种基本面部表情(快乐、愤怒、中性、惊讶、悲伤、恐惧、厌恶)。DFEW这类数据集使得能够使用强大的计算模型来捕获动态面部表情中复杂的时空模式。高性能的深度卷积神经网络(DCNN)能够从复杂数据中提取丰富的表征,特别适合大规模的DFER任务。
DCNN基于早期模型发展而来,其卷积层通过池化操作逐步减小特征表征的尺寸并促进特征抽象,使其在图像分类和识别任务上表现出色。先前研究表明,DCNN可以通过处理连续帧序列来实现DFER。然而,目前尚不清楚其DFER能力是依赖于利用静态帧中的时间对齐信息,还是依赖于分析帧间信息的变化。光流,通过量化表情帧间像素强度的变化,为表征面部动态提供了一种原理性方法。在人类中,光流线索是运动感知的核心,主要涉及处理运动和空间关系的背侧视觉通路。计算上,光流在动作识别和DFER中已被证明有效,并且DCNN能够整合光流输入。
因此,为研究静态和动态信息对不同面部表情识别的相对贡献,本研究使用DFEW数据库训练DCNN执行DFER任务。DFEW数据库包含16帧的视频片段,每个片段标注了7种面部表情之一。研究者通过操纵视频帧的输入类型和时间结构,从DFEW数据库创建了四个不同的数据集。具体而言,输入类型分为原始的16个静态图像帧序列(“静态”线索)或15个相邻帧对之间的光流序列(“动态”线索)。时间结构通过呈现这些输入序列的原始顺序(“有序”)或随机顺序(“乱序”)来检验全局时间结构的重要性。结合这两个维度,产生了四个用于训练和评估的数据集:静态-有序、静态-乱序、动态-有序、动态-乱序。随后,研究者比较了在这四个数据集上训练的模型的DFER性能。
本研究主要利用模型的DFER性能来回答三个问题:1. 静态与动态线索是否以及如何支持表情识别;2. 时间结构(有序 vs. 乱序)如何影响表情识别;3. 使用多元表征方法,不同输入类别(静态 vs. 动态)之间的面部表情性能有多相似。
为了回答上述科学问题,研究人员采用了多项关键技术方法。首先,数据处理方面,利用大型自然主义动态面部表情数据库DFEW,它包含超过11,000个16帧视频片段,涵盖7种基本表情。研究者对视频帧进行灰度转换,并分别生成静态帧序列和基于Farneback方法计算的光流序列,从而构建了静态和动态两种输入。通过保持或打乱帧/光流的顺序,进一步创建了有序和乱序两种时间结构,最终组合成四个训练数据集。其次,在模型架构与训练上,采用了基于经典AlexNet设计的深度卷积神经网络,但对其第一卷积层的输入通道数进行了调整,以适应16个静态帧或30个光流通道的序列输入。模型使用交叉熵损失函数进行训练,并采用标准的训练/验证/测试集划分策略。最后,在模型评估与分析层面,综合使用了准确率、宏F1分数、加权F1分数以及类别特定的F1分数等多种性能指标,并进行了与随机水平的统计比较。通过三因素混合方差分析检验了输入类型、时间结构和表情类别对模型性能的影响,并进行了计划内的对比分析。此外,还从训练好的网络的倒数第二层提取高维特征,进行了表征相似性分析,包括构建表征相异矩阵、层次聚类分析和监督UMAP降维可视化,以探究静态和动态输入条件下模型内部对面部表情的表征结构差异。
模型性能总体显著高于随机水平
研究首先评估了模型在不同条件下的总体性能。结果表明,无论是综合准确率、宏F1分数还是加权F1分数,模型在全部四个条件(静态-有序、静态-乱序、动态-有序、动态-乱序)下的表现均显著高于随机猜测水平。这证实了DCNN能够有效地从静态帧和动态光流中学习并识别面部表情。
静态线索性能持续优于动态线索
这是本研究的一个核心发现。尽管动态线索包含了表情运动的信息,但基于静态帧训练的模型在所有七种表情上的识别性能(以F1分数衡量)均一致且显著地优于基于光流训练的模型。三因素方差分析也确认了输入类型的主效应极其显著。具体到每种表情,静态条件下的性能优势都非常明显。这一发现与动作识别领域的研究结果不同,在动作识别中,动态线索(光流)通常能提供关键信息。作者分析,这可能是因为面部表情的运动幅度通常较小,使得静态形态信息成为了更可靠、信息量更丰富的识别依据。
打乱时间结构对多数表情识别影响不显著
另一个出人意料的发现是,打乱输入序列的时间顺序(即比较有序 vs. 乱序条件)对大多数面部表情的识别性能没有产生显著影响。三因素方差分析显示,时间结构的主效应不显著。后续的对比分析表明,仅对“愤怒”和“恐惧”两种表情,有序条件与乱序条件之间存在显著或边缘显著的差异(有序的“愤怒”识别更差,而有序的“恐惧”识别更好)。对于“快乐”、“中性”、“惊讶”和“悲伤”表情,时间结构是否有序并未造成性能上的统计学差异。这表明,对于本研究使用的模型和数据集而言,全局的时间顺序信息并非大多数面部表情识别的必要条件,模型可能更多地依赖于每一帧(或每一对帧间光流)所携带的局部信息进行判断。
静态与动态输入诱导了不同的内部表征结构
尽管静态和动态输入都能支持表情识别,且静态输入性能更优,但研究者通过分析DCNN倒数第二层的激活模式发现,模型在静态和动态条件下形成的面部表情内部表征结构存在显著差异。表征相似性分析显示,静态和动态条件各自的表征相异矩阵之间的相关性很低。层次聚类和UMAP可视化也进一步表明,同一种表情在静态和动态输入空间中的分布模式不同。这说明,DCNN在处理静态形态信息和动态运动信息时,可能采用了不同的计算策略或依赖不同的特征组合来形成对表情的最终判断。
本研究通过系统的计算实验,深入探究了静态与动态线索在面部表情识别中的不同角色。主要结论是:第一,深度卷积神经网络能够利用静态(图像帧)和动态(光流)线索进行有效的面部表情识别,但静态线索的性能始终优于动态线索。这提示在自然场景的面部表情识别中,静态的形态学信息可能比细微的运动信息更为关键,或许是由于面部表情的运动幅度通常较小。第二,令人惊讶的是,破坏输入的时间序列结构(有序 vs. 乱序)对大多数面部表情的识别性能没有显著影响。这表明在本研究设置下,模型可能并不严重依赖于表情演变的全局时间顺序,而是能够从局部帧或帧间变化中提取足够的信息。第三,多元分析表明,尽管静态和动态输入都能导向成功的识别,但DCNN在处理这两类信息时,其网络内部形成的面部表情表征结构存在显著差异,暗示了潜在的不同神经计算机制。
这些发现具有重要的理论和应用意义。在理论上,它们增进了我们对机器视觉系统如何处理动态社交信号的理解,揭示了在面部表情识别这一特定任务中,静态形态信息相较于动态运动信息的相对优势,这与一般动作识别的模式形成对比。研究也为将DCNN作为人类视觉系统计算模型提供了新的比较基准,特别是关于腹侧(形态处理)和背侧(运动处理)视觉通路在表情识别中可能的分工与协作。在应用上,研究结果提示,在开发基于视频的面部表情识别系统时,应充分重视并有效提取每一帧的静态外观特征。同时,对于“愤怒”和“恐惧”等对时间结构更敏感的表情,在算法设计中则需要考虑融入时序建模。此外,理解模型在不同输入条件下的内部表征差异,有助于增强人工智能系统的可解释性,并推动开发更稳健、更类人的面部表情分析技术。该研究已发表于视觉科学领域的知名期刊《Vision Research》。