眼睛真的是心灵的窗户吗?眼睛在面部表情识别中的重要性
《Brain Research》:Are the eyes the window to the soul? The importance of the eyes in facial expression recognition
【字体:
大
中
小
】
时间:2026年04月08日
来源:Brain Research 2.6
编辑推荐:
面部表情识别中眼区域与整体面部信息的作用及ERP成分分析。研究通过衰减眼区信息或去除面部背景,比较不同条件下(完整眼+背景/衰减眼+背景/完整眼/无背景)被试对面部表情(愤怒、恐惧、快乐、悲伤)的识别准确率及N170、P300、LPP等ERP成分变化,发现完整面部信息有助于提升识别准确率并降低N170幅值,而眼区信息衰减会显著影响识别及ERP响应,且不同情绪的神经反应存在差异。
Katherine A. Billetdeaux | Grit Herzmann
伍斯特学院神经科学项目,美国俄亥俄州伍斯特市
摘要
面部表情向他人传递关于情绪状态的重要信息。眼睛在这种非语言交流中起着关键作用,这取决于眼睛的开合程度、眼周皱纹的存在或数量,以及眉毛是上扬还是紧锁。本研究探讨了眼睛在面部表情识别中的重要性。参与者被展示了一系列表达愤怒、恐惧、快乐或悲伤的面孔。这些刺激要么眼睛区域的信息被减弱,要么保持不变,并且眼睛要么单独展示,要么在面部整体背景下展示。参与者被要求识别所展示的表情,同时记录N170峰值幅度和潜伏期、P300以及晚正电位(LPP)。结果发现,当在面部整体背景下识别表情时,参与者的准确率更高,且幅度更小,这表明除了眼睛本身,面部的整体结构和上下文信息也至关重要。当眼睛区域的信息未被减弱时,与信息被减弱的情况相比,结果相似,进一步证明了眼睛信息在面部表情识别中的重要性。感知分析和刺激评估受到实验操作组合的不同影响,显示出面部整体结构和上下文信息在早期和后期识别过程中的不同重要性。最后,通过神经和行为数据证实了这些效应在各种表情之间的差异。
引言
威廉·莎士比亚曾说:“眼睛是灵魂的窗户。”研究证实了这一观点,表明眼睛能够可靠地表达心理情绪状态。人们每天都会与他人接触,并通过观察面部、眼睛及其表情来获取多种社交线索。眼睛的面部表情包括但不限于眼睛的开合程度、眼周皱纹以及眉毛的起伏。这些面部表情在非语言交流中起着关键作用(Frith, 2009)。改变不同面部区域的可见性(例如通过降低空间频率、模糊或遮盖面部部分)会改变人们如何感知面部以及如何在视觉信息有限的情况下处理面部表情。本研究探讨了眼睛可见性的变化以及来自整个面部的上下文信息对面部表情识别的影响。除了识别表现外,分析还关注了面部表情识别过程中早期感知(N170)和后期评估(P300、晚正电位)的神经相关性。
关于眼睛是否是表情识别中最重要的面部特征,研究结果并不一致。虽然对嘴巴和眼睛区域的注视时间大致相等,但有人认为眼睛的作用较小,因为它们的空间频率较高,可能在中凹处被处理;而其他空间频率较低的区域(如嘴巴)可能在旁凹处被处理(Blais等人,2012)。因此,当注视眼睛时,可以处理到嘴巴的信息;而当注视嘴巴时,则无法处理到眼睛的信息。相反,也有研究表明眼睛是面部表情识别中最重要的特征。这些研究表明,当面部的上半部分(包括眼睛区域)与下半部分不匹配时,会干扰对眼睛所表达的表情的感知(Calder等人,2000;Calvo和Fernández-Martín,2013),这表明面部表情是按结构进行处理的。不仅在表情识别过程中嘴巴会影响眼睛,遮盖嘴巴也会造成障碍(Carbon,2020;Wong和Estudillo,2022)。然而,需要注意的是,遮盖效应仅发生在与任务相关的条件下,而在与任务无关的情况下则不会出现(Mirabella等人,2024)。此外,更多的眼睛注视与更好的表情识别结果正相关(Sullivan等人,2007),突显了眼睛在表情识别中的重要性。
测量大脑激活的一种方法是通过事件相关电位(ERP)的不同成分。N170是一种ERP成分,在刺激呈现后130至200毫秒之间出现负幅度。它是针对面部、熟悉物体或单词的神经处理的敏感指标(Bentin等人,1996)。N170也受到面部表情的影响(Blau等人,2007);愤怒、恐惧和快乐的面部表情会引发最大的N170幅度(Hinojosa等人,2015)。这可能是因为这些面部表情根据所表达的情绪及其对观察者的感知重要性而有所不同。例如,通过面部表情传达愤怒、恐惧或快乐会引起观察者的情绪反应,这一点通过N170得到体现(Hinojosa等人,2015)。其他研究(Li等人,2018;Li等人,2023)发现N170对眼睛区域特别敏感,尤其是在恐惧表情中。
其他感兴趣的ERP成分包括P300和晚正电位(LPP)。P300在刺激呈现后250至500毫秒之间出现正幅度,代表由有意义刺激引发的注意过程(Picton,1992)。在面部表情方面,愤怒的面孔会引发更高的P300幅度(Rischer等人,2020)。这可能是因为愤怒的面孔被视为具有威胁性,在进化上更为显著。LPP在P300之后出现,大约在刺激呈现后400至600毫秒之间。LPP对情绪的显著性和调节敏感(Hajcak等人,2010;Hajcak和Nieuwenhuis,2006;Moser等人,2006);与P300类似,LPP在愤怒面孔时更大(Duval等人,2013;Stolz等人,2018)。对于强烈的面部表情,处理需求可能更高,因为它们不如较不强烈的表情那么显著。先前的研究(Li等人,2022;Li等人,2023)发现,情绪化的眼睛比中性眼睛的LPP幅度更大。
本研究使用ERP来探讨眼睛在面部表情识别任务中的作用。参与者被要求识别不同类型面部刺激中的表情,以考察面部信息减弱时处理过程的变化。有上下文和无上下文的条件分别允许比较完整面部或仅眼睛区域显示时面部表情识别的行为和神经指标。此外,减弱眼睛条件的设置使我们能够在两种情况下都减少眼睛的信息。这样形成了四种视觉信息逐渐减少的情况:有上下文的完整眼睛、有上下文的减弱眼睛、无上下文的完整眼睛以及无上下文的减弱眼睛。选择愤怒、恐惧、快乐和悲伤的表情是因为这些表情在各种ERP成分上表现出差异(Duval等人,2013;Hinojosa等人,2015;Rischer等人,2020;Stolz等人,2018)。眼睛的开合程度、眉毛的起伏以及鼻子和眼睛周围的皱纹对于区分这些不同表情都很重要(Lee & Anderson,2017)。本研究特别考察了受刺激情感价值和唤醒度影响的面部表情识别(Baudouin等人,2025)。可以假设刺激的情感价值与任务相关,因为参与者被明确要求识别他们看到的表情。本研究通过降低眼睛的空间频率或遮盖其他面部信息来探讨眼睛在面部表情识别中的行为和神经相关性。据我们所知,这是少数使用这种技术同时遮盖面部和仅减弱眼睛区域信息来研究眼睛面部表情识别的行为和神经相关性的研究之一。本研究的结果将有助于了解眼睛在社会感知中的作用。
本研究考虑了面部表情识别的行为和神经指标。通过测量ERP成分来评估大脑对面部或眼睛处理表情时的活动,具体包括N170、P300和LPP。我们假设无上下文条件的识别准确率和速度会低于有上下文条件(Guarnera等人,2018;Williams等人,2023)。我们还预测,减弱眼睛条件的识别准确率和速度会低于完整眼睛条件(Bombari等人,2013;Kwon等人,2016)。预计在无上下文条件下识别表情需要更多时间和更大的ERP幅度(Bentin等人,1996;Watanabe等人,1999),以及在减弱眼睛条件下识别表情需要更多时间和更大的ERP幅度(Chamberland等人,2016)。据我们所知,之前没有研究将这两种操作结合起来,创建从有上下文的完整眼睛到无上下文的减弱眼睛的递减尺度。因此,我们没有对有上下文的减弱眼睛和无上下文的完整眼睛条件提出具体假设,因为我们不想推测这两种操作之间的相互作用。我们怀疑这两种操作的组合会比有上下文的完整眼睛更难处理,但比无上下文的减弱眼睛更容易处理。这是因为有上下文的减弱眼睛减少了眼睛区域的细节,但保留了面部的其他部分,这表明在眼睛信息较少时,整体结构信息的重要性。结构化处理用于表情识别(Bombari等人,2013;Calder等人,2000);然而,关于仅减弱眼睛区域而非整个面部的影响知之甚少。因此,减弱眼睛的详细特征(如眼周皱纹或眉毛的起伏)对面部表情识别的影响程度尚不清楚。另一方面,在无上下文的完整眼睛条件下,眼睛的详细信息保持完整,但面部其他部分不可用,这表明了眼睛本身的重要性。先前的研究表明,愤怒、恐惧、快乐和悲伤面孔的N170、P300和LPP幅度存在差异(Duval等人,2013;Hinojosa等人,2015;Rischer等人,2020;Stolz等人,2018),我们预计这些差异会在本研究中得到复制。
参与者
参与者
共有40名本科生(平均年龄19.4岁,标准差1.5岁)参与了这项研究,并获得了课程学分。其中10名为男性,30名为女性,所有10名男性自我认同为男性,29名女性自我认同为女性,1名参与者自我认同为非二元性别。我们没有发现性别或性别的显著差异(Forni-Santos和Osório,2015;Hoffmann等人,2010;Scherf等人,2017)。我们通过自我报告评估了参与者的惯用手。
行为结果
面部表情识别任务的准确率和反应时间分别见图2和图3。
讨论
本研究探讨了眼睛对面部表情识别的影响。本研究通过创建从有上下文的完整眼睛到无上下文的减弱眼睛的面部信息递减尺度,来操纵面部信息的可用性,以研究愤怒、恐惧、快乐和悲伤面部表情的识别情况。
未引用的参考文献
Adolphs等人,2005;Costen等人,1994;Goffaux等人,2005;Jessen和Grossman,2016;Klin等人,2002;Lee等人,2014;Lobmaier等人,2008;Luria和Strauss,1978;Mazza等人,2014;Morris等人,2001;Pelphrey等人,2002;Walker-Smith等人,1977。
作者贡献声明
Katherine A. Billetdeaux:撰写——审稿与编辑、撰写——初稿、可视化、项目管理、方法学、数据分析、概念化。Grit Herzmann:撰写——审稿与编辑、可视化、监督、软件使用、资源准备、方法学、数据分析、概念化。
资金支持
本手稿的编写未获得任何资金支持。
伦理批准
所有程序均符合人类受试者研究委员会的规范,并获得了伍斯特学院的伦理批准,遵循《赫尔辛基宣言》进行。
参与同意
参与者在参与前阅读并签署了知情同意书。
出版同意
参与者同意以匿名和汇总的形式发表他们的数据。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号