编辑推荐:
在人脸识别中,眼动模式和一致性对识别性能至关重要,但它们的作用机制尚不明确。研究人员通过 EEG 解码开展相关研究,发现眼动模式与神经表征有效性相关,一致性与神经表征发展效率相关,为理解人脸识别神经机制提供了新视角。
在日常生活的社交互动中,能够快速且准确地识别他人的面孔是一项极为重要的能力。过往大量研究已经对人脸识别展开了深入探索,发现人们看脸时的眼动平均会呈现出经典的 T 形分布,眼睛区域的注视点更为密集 。而且,有研究表明,两次注视、且注视点位于眼睛下方时,人脸识别效果最佳。同时,个体在眼动策略上存在明显差异,比如不同人在看脸任务中有着不同的偏好注视位置,并且这种模式具有时间上的稳定性。不仅如此,近期研究还发现,眼动的一致性在人脸识别性能中也发挥着重要作用。然而,尽管眼动模式和一致性都与识别性能有关,但它们是否反映了人脸识别背后不同的神经机制,目前还不清楚。
为了解开这个谜团,来自山东大学和香港大学等机构的研究人员开展了一项研究 。他们通过脑电图(EEG)解码技术,深入探究了眼动模式和一致性与人脸识别性能之间的关系,相关研究成果发表在《npj Science of Learning》杂志上。
在这项研究中,研究人员主要运用了以下关键技术方法:
- 眼动分析技术:采用隐马尔可夫模型(EMHMM)对 84 名东亚参与者在人脸识别任务中的眼动模式进行建模和量化,从空间(注视位置)和时间(位置间的转换)两个维度考量眼动情况 。
- EEG 记录与分析技术:使用 ANT eegosystem 和 ANT waveguard?帽记录参与者在任务中的连续 EEG 信号,通过带通滤波、独立成分分析(ICA)等预处理步骤后,运用 ERP 解码和 EEG 瞬时功率解码方法分析 EEG 信号 。
- 行为学测试:让参与者完成人脸识别任务、三项认知任务和一项智商测试,以评估他们的相关能力和表现 。
研究结果
- 眼动模式:通过 EMHMM 分析,研究人员发现了两种具有代表性的眼动模式,即眼睛聚焦模式和鼻子聚焦模式 。采用眼睛聚焦模式的参与者,在首次注视面部中心后,通常会开始注视眼睛区域,之后可能在两眼之间切换,偶尔会看向嘴巴区域;而采用鼻子聚焦模式的参与者,则主要围绕面部中心进行注视 。
- EEG 解码性能:
- ERP 解码:利用支持向量机(SVM)对 ERP 数据进行解码,结果显示,从 440 毫秒开始,平均解码 AUC(曲线下面积)显著高于随机水平,在 720 毫秒达到峰值 0.56,随后迅速下降 。这表明后期的 ERP 成分,如 N400 和 P600,可能在区分新旧面孔中发挥重要作用 。
- alpha 波段解码:对 alpha 波段进行解码时,发现高 alpha 波段(10 - 12Hz)比低 alpha 波段(8 - 10Hz)包含更多的判别特征 。高 alpha 波段在 720 毫秒到 2020 毫秒以及 2060 毫秒到 2160 毫秒期间,AUC 高于随机水平,在 1080 毫秒达到峰值 0.54 。
- 个体水平相关性分析:
- ERP 波段:ERP 解码的 TOI - AUC(感兴趣时间段内的 AUC)与面部识别反应时间(RT)呈负相关,与眼动总体熵(即与眼动一致性呈正相关),这意味着更高的 ERP 解码准确性与更快的面部识别反应和更一致的眼动有关 。
- 高 alpha 波段:高 alpha 波段的 TOI - AUC 与眼动模式测量指标 A - B 量表呈负相关,表明更聚焦眼睛的模式与更高的 EEG 解码准确性相关 。此外,解码峰值潜伏期与面部识别 RT、眼动熵呈正相关,与非言语智商呈负相关 。
- 特征重要性分析:分析训练后的 SVM 权重发现,中央和顶叶区域的电极对人脸识别的神经表征贡献最大 。对于眼睛聚焦模式的参与者,右侧中央区域的电极对神经表征贡献更多;而对于鼻子聚焦模式的参与者,左侧中央和顶叶区域的电极贡献更多 。
研究结论与讨论
综合上述研究结果,研究人员发现更聚焦眼睛的眼动模式与高 alpha 波段信号中更具判别性的人脸识别信息相关,反映在 AUC 上,说明眼动模式可能与面部识别神经表征的质量更相关 。而更一致的眼动模式,不仅与更高的 ERP 解码准确性相关,还与高 alpha 波段解码峰值潜伏期更短相关,表明眼动一致性可能与面部识别神经表征的质量和效率都相关,尤其与面部识别过程的效率密切相关 。
EEG 的 alpha 波段信号与注意力过程有关,可能的解释是,眼动帮助将注意力引导到人脸识别最相关的特征上,从而增强神经元对面孔的表征质量,提高解码准确性;而眼动一致性则反映了从眼注视中提取相关信息的注意力过程,一致的视觉习惯能提高特征提取效率,进而提升解码效率 。
此外,研究还发现,在人脸识别任务中,用于解码新旧面孔的 ERP/EEG 特征出现在相对较晚的时间窗口(500 - 1200 毫秒),这与以往的 EEG/ERP 研究结果基本一致,但该时间窗口可能受任务需求的影响 。同时,研究人员通过额外分析排除了眼动对 EEG 解码性能的潜在混杂影响,确认解码结果真实反映了面部识别的神经反应 。
这项研究全面揭示了眼动行为(包括眼动模式和一致性)与通过 EEG 解码准确性及其峰值潜伏期所衡量的人脸识别神经表征时间动态之间的关系,证实了 EEG 高 alpha 波段信息在面部处理过程中的重要作用 。研究结果为理解感知策略与神经表征处理之间的相互作用提供了重要依据,有望为面部处理或社会认知障碍个体的早期筛查、个性化诊断和治疗方案的制定提供新的思路和方法,推动相关领域的进一步发展。