利用不完整面孔探索梭状面孔区和枕面孔区的整体面孔加工

《Neuropsychologia》：Exploring holistic face processing in the fusiform and occipital face area using incomplete faces

　　

摘要

面孔识别对人类社交生活至关重要，在大脑中已识别出两个核心面孔区域：梭状回面孔区（FFA）和枕面孔区（OFA）。以往的研究探索了 FFA 和 OFA 在整体面孔加工中的功能分工，使用了完整面孔的变体，其中整体加工受到破坏。然而，整体面孔加工的一个主要预测（即部分到整体的非线性整合）缺乏直接证据。在此，我们通过比较 FFA 和 OFA 对不完整面孔与完整面孔的反应，测试了这两个区域中的这一预测。我们使用 AlexNet，一种深度卷积神经网络（DCNN），生成了新型面部片段，并在 fMRI 扫描期间呈现了这些面部片段、其遮挡对应物以及完整面孔。结果显示，FFA 对完整面孔的激活高于不完整面孔，而 OFA 对某些不完整面孔的激活与完整面孔相当或更高。此外，FFA 对完整面孔的激活高于某些构成其的不完整面孔对的加权平均激活，而在 OFA 中未观察到这种差异。这些结果表明，FFA 倾向于整体加工并非线性地结合面部部分，而 OFA 关注局部部分并线性地处理部分。我们的发现为整体面孔加工的神经基础以及 FFA 和 OFA 在面孔识别中的功能分工提供了新见解。结合 DCNN 与神经成像技术的方法可以在未来的研究中扩展到更广泛的视觉领域。

引言

面孔识别是人类的一项基本功能。在大脑中已识别出几个核心面孔选择性区域，特别是梭状回面孔区（FFA）(Gauthier 等，2000 年；Kanwisher 等，1997 年) 和枕面孔区（OFA）(Hoffman & Haxby, 2000 年；Pitcher 等，2009 年)。FFA 和 OFA 在面孔加工中的功能分工已被广泛研究（综述见 Duchaine & Yovel, 2015 年；Haxby 等，2000 年）。首先，来自事件相关电位（ERP）和经颅磁刺激（TMS）研究的结果表明，OFA 比 FFA 更早开始加工面孔信息 (Liu 等，2002 年；Pitcher 等，2007 年，2011 年；Sadeh 等，2010 年；Yovel 等，2008 年)，这与 OFA 沿腹侧视觉通路比 FFA 更靠后的解剖位置相符 (Duchaine & Yovel, 2015 年；Haxby 等，2000 年；Hoffman & Haxby, 2000 年)。此外，FFA 和 OFA 对不同种类面孔信息的偏好不同：OFA 对面孔的物理属性更敏感，而 FFA 对感知属性更敏感 (Rotshtein 等，2005 年；Tsantani 等，2021 年)。所有这些差异都与从 OFA 到 FFA 的前馈层级一致 (Freiwald 等，2016 年；Hoffman & Haxby, 2000 年)。值得注意的是，少数研究通过在动态视觉场景中进行面孔分类时报告 FFA 比 OFA 更早的面孔选择性反应 (Jiang 等，2011 年)，或在 OFA 受损后保留 FFA 的面孔选择性 (Rossion 等，2003 年；Steeves 等，2009 年) 来挑战这一观点，表明从 FFA 到 OFA 的反馈连接也可能有助于面孔加工。总之， prevailing 观点是 FFA 专门加工高级不变面孔信息，而 OFA 关注低级物理面孔信息 (Arcurio 等，2012 年；Fox 等，2009 年；Haxby 等，2000 年；Nichols 等，2010 年)。

人类面孔识别的一个关键成分是整体面孔加工，这是一种将面孔作为不可分割的整体进行加工的趋势 (例如，Tanaka & Farah, 1993 年；Young 等，1987 年)。以往的神经成像研究探索了 FFA 和 OFA 在整体面孔加工中的不同参与。例如，通过打乱面部部分来操纵构型信息（即面部部分之间的空间关系）(Liu 等，2010 年；Zhang 等，2012 年；Zhao 等，2014 年)，研究表明 FFA 对完整构型的面孔表现出比对打乱构型更强的反应。相比之下，OFA 对构型破坏不敏感，但当关键面部部分被移除时显示出激活降低。此外，多体素模式分析（MVPA）表明，只有当面部构型得以保留时，FFA 才表现出稳定的激活模式，而 OFA 对完整和打乱的面孔都表现出稳健的激活模式 (Zhang 等，2012 年)。这些发现强调 FFA 依赖构型信息进行面孔加工，而 OFA 独立于构型编码局部面部部分。为了进一步支持这些区别，一些经典的整体面孔加工行为范式已被适应于神经成像研究。具体而言，关于面孔倒置效应（FIE）的研究表明，在 FFA 中， upright 面孔比 inverted 面孔 elicited 更强的反应 (Kanwisher 等，1998 年；Yovel & Kanwisher, 2004 年)，且 FFA 显示出比 OFA 更大的神经组合面孔效应（CFE）(Schiltz 等，2010 年；Schiltz & Rossion, 2006 年)。综上所述，发现表明 FFA 在整体面孔加工中扮演的角色比 OFA 更突出。

上述研究通过在完整面孔中破坏整体加工，即打乱面部部分、面部半部分错位或倒置呈现面孔，来探测 FFA 和 OFA 对整体面孔加工的敏感性。然而，整体加工的一个主要预测很少被测试：多个部分整合成整体的非线性过程。几项使用 fMRI 适应范式的研究证明了 FFA 对面部特征变化的非线性（即亚加性）适应释放 (Goffaux 等，2013 年；Harris & Aguirre, 2010 年)。然而，从 fMRI 适应得出的结论相对间接，对整体加工更直接的测试将涉及整体（即完整面孔）与其构成部分的总和（即不完整面部部分）之间的比较。在本研究中，我们通过检查 FFA 和 OFA 对部分和整体面孔信息的不同偏好以及面部部分可能的非线性整合，探索了其中的整体面孔加工。为此，我们比较了 FFA 和 OFA 对完整面孔和两类不完整面孔刺激的反应：面部片段及其遮挡对应物。

先前的研究通常以假设驱动的方式预定义面部部分（例如，眼睛和鼻子）(Abudarham 等，2019 年，2021 年；Haig, 1986 年)。在这里，我们使用深度卷积神经网络（DCNN）通过部分数据驱动的方法生成面部部分刺激，从而最小化预定义面部部分的限制。以往的研究表明，在对象训练模型 AlexNet 中出现了面孔选择性通道，其反应概况与 FFA/OFA 激活高度对应 (Xu 等，2021 年)，甚至对象训练模型比面孔训练模型更能预测人脑 FFA 的反应 (Ratan Murty 等，2021 年)。因此，在这里我们使用对象训练的 AlexNet 为人类参与者生成关键面部部分。具体而言，我们比较了在 AlexNet 的一个面孔选择性通道中对完整面孔的反应和对用不同大小和位置的马赛克遮挡的面孔的反应，当遮挡时显示反应降低的面部区域被定义为关键面部部分。获得的面部部分及其遮挡对应物在我们的 fMRI 研究中用作不完整面孔刺激。

章节片段

参与者

使用 G*Power 3.1 (Faul 等，2009 年) 对具有六种条件的重复测量单因素方差分析进行了先验功效分析。预期效应量设置为中等值 (η_p² = .06)，α = .05 且 power = .80 (Button 等，2013 年；Cohen, 1988 年，pp. 8-12)。分析表明，需要 N = 19 才能以 80% 的功效检测到条件的主要效应。从...的大学生中招募于 22 名参与者（年龄范围：18-23 岁；平均年龄：20.12；12 名女性）。

结果

首先，我们检查了 FFA 和 OFA 是否对实验 1 中的五个面部片段和完整面孔做出不同的反应。我们对同时定义了 FFA 和 OFA 的参与者进行了 ROI（FFA 与 OFA）和条件（六种条件）的双因素方差分析。ROI 和条件的显著交互作用 (F(5, 55) = 7.03, p = .003, partial η² = .39; 图 2) 表明 FFA 和 OFA 对完整面孔和面部片段表现出不同的激活模式。

讨论

在本研究中，我们通过比较 FFA 和 OFA 对完整面孔和由 AlexNet 生成的两类不完整面孔（即面部片段及其遮挡对应物）的激活，检查了 FFA 和 OFA 在整体面孔加工中的功能分工。出现了两个关键发现。首先，FFA 对完整面孔的激活比对不完整面孔更大，而 OFA 对某些不完整面孔的激活比对完整面孔更高或相当。其次，

CRediT 作者贡献声明

Jia Liu: 监督，资金获取，概念化。 Fang Tian: 可视化，软件，方法论，调查。 Yiying Song: 写作 – 审查与编辑，监督，资金获取，概念化。 Xi Li: 写作 – 初稿，可视化，调查，形式分析

利益冲突声明

? 作者声明他们没有已知的竞争财务利益或个人关系，这些可能出现在影响本文报告工作的影响中。

致谢

这项工作得到了 国家自然科学基金 (31872786, T248801), 北京市科学技术委员会，中关村科技园区管理委员会 (Z221100002722012) 的支持。

Xi Li|Fang Tian|Yiying Song|Jia Liu

北京师范大学心理学院，中国北京市海淀区新街口外大街 19 号，邮编 100875