空间频率对视听情感整合的调节效应：一项ERP研究

《Neuropsychologia》：The Modulatory Effect of Spatial Frequency on Audiovisual Emotional Integration: An ERP Study

　　

摘要

尽管大脑整合多感官输入来评估情绪，但空间频率调制面部表情的视听情感加工在时间维度上的神经动态过程尚不明确。本研究采用事件相关电位探讨这一问题。参与者完成了一项情绪分类任务，他们需对经宽空间频率（BSF）、高空间频率（HSF）或低空间频率（LSF）条件过滤后的快乐、中性与恐惧面孔做出判断，刺激以视觉和视听模态呈现。行为结果表明，视听促进效应依赖于空间频率，在HSF条件下最为显著，而在BSF或LSF条件下有所减弱。电生理结果显示，在早期感觉阶段存在一种威胁驱动的视听情绪感知过程，视听增强效应由空间频率在不同情绪间进行调节。在P1和N170成分中，恐惧刺激在所有空间频率条件下均引发最强的视听增强效应；中性刺激在HSF和LSF条件下均表现出显著增强，而快乐刺激仅在HSF条件下的P1成分表现出促进效应。相比之下，早期后额叶负波（EPN）的视听效应对BSF和LSF条件下的快乐和中性面孔更为敏感。晚期正电位（LPP）结果表明，视听增强效应受到空间频率和情绪的交互调节，在BSF条件下的快乐面孔、HSF条件下的中性面孔以及HSF和LSF条件下的恐惧面孔中观察到选择性增强。这些发现表明，视听情绪整合在不同时间加工阶段对不同空间频率内容的情绪刺激具有选择性调节，且对威胁相关刺激具有早期优先加工的优势。

引言

人类大脑整合面部表情和声音情绪信息具有惊人的效率，这种跨模态视听整合是我们在嘈杂的自然环境中快速准确识别他人情绪的核心机制。尽管大量先前的研究探讨了单一视觉或听觉模态内情绪加工的机制，但在自然环境中，情绪信息通常通过多个感官通道同时表达。例如，在感知他人面部表情时，人们也能同时接收到情绪一致的声音语调（Campanella & Belin, 2007; Klasen, Chen, & Mathiak, 2012）。视听情绪信息的整合可以显著提高情绪感知的速度和准确性，从而实现快速的行为决策。因此，从单一模态研究转向探究人类大脑如何高效整合和解码视听情绪信号，不仅是揭示真实世界社会认知背后神经计算机制的关键科学问题，也为阐明情绪相关障碍中情感加工缺陷的机制及指导针对性干预策略提供了坚实的理论基础。

为阐明视听情感加工的机制，认知神经科学主要从两个核心视角切入。第一个视角涉及大脑如何在视觉模态内分层解码情绪面孔。情绪信息的神经加工被认为涉及两条平行通路（LeDoux, 2013; Vuilleumier, Armony, Driver, & Dolan, 2003）：一条快速的粗粒度皮质下通路优先处理由低空间频率（LSF）传递的威胁相关信息，另一条较慢的精细皮质通路负责对由高空间频率（HSF）传递的面部特征进行详细分析（Adolphs, 2002）。这一双通路模型与视觉系统中空间频率（SF）加工的基本机制内在关联（HE, ZHANG, LI, & HE, 2020）。具体而言，视觉系统通过外侧膝状体通路处理源自LSF的粗粒度构型信息，而通过旁中央通路处理源自HSF的精细细节信息（Livingstone & Hubel, 1988）。将这一基本视觉机制与情绪加工双通路理论相衔接的关键证据来自功能性磁共振成像研究（Vuilleumier et al., 2003）。研究者向参与者呈现经空间频率过滤的恐惧或中性面孔，以考察介导快速威胁检测的皮质下通路与支撑精细面部分析的皮质通路是否对不同视觉信息类型表现出选择性。其结果明确证明，杏仁核等皮质下结构的激活由LSF信息选择性驱动，且独立于注意调节。这一发现确认了LSF输入足以通过快速通路激活威胁检测脑区，最近也被具有更高时间分辨率的脑磁图研究所证实（McFadyen, Mattingley, & Garrido, 2019）。此外，Goffaux等人（2003）利用脑电图界定了HSF信息在情感判断中的作用（Goffaux, Jemel, Jacques, Rossion, & Schyns, 2003）。通过比较不同空间频率面孔引发的事件相关电位（ERP）成分，他们发现HSF信息对于N170成分不可或缺，而N170成分与结构编码和面部身份识别相关。这一发现引出了一个重要结论：尽管LSF输入足以触发初步的威胁警报，但HSF所传递的精细细节对于后续更全面、更精确的情绪和身份评估至关重要。然而，现实世界中的情绪感知很少是孤立的视觉事件，而是多感官信息整合的产物，由此引出了第二个核心视角。

视听整合过程对于有效的情绪感知至关重要。第二个视角关注视觉情感信息如何与听觉模态的输入进行整合。功能成像研究已鉴定出双侧后上颞沟（pSTS）区域是视听情感整合的关键枢纽（Campanella & Belin, 2007）。电生理研究进一步揭示，恐惧声音先于中性面孔呈现时，会显著增强后续面孔引发的N170振幅；这一早期跨模态调节效应最近已被证实可推广至各种情绪（Klasen et al., 2012; Mehu, 2015）。同样，关于晚期认知阶段，Jessen和Kotz（2011）的研究提供了关键证据。通过呈现情绪一致或不一致的视听配对刺激，他们发现不一致刺激引发了更大的晚期正成分（Jessen & Kotz, 2011）。这一增大的振幅直接反映了大脑为解决冲突而分配额外出评价资源的认知投入，该发现使这一成分成为研究视听情绪冲突的稳健神经标记（Qu et al., 2023）。在350–800毫秒时间窗口内，晚期正电位（LPP）成分反映了刺激的持续注意分配，对情绪刺激进行了更为精细的加工（Hajcak, MacNamara, & Olvet, 2010）。然而，现有视听情感整合研究的一个关键局限在于将视觉输入视为一个整体，从而未能阐明听觉线索如何与视觉系统固有的基于空间频率的层次化加工机制进行差异性交互。

在桥接上述两个理论框架——视觉模态内的基于空间频率的层次化加工与跨模态视听整合——之间仍存在关键空白。具体而言，视觉系统内的基于空间频率的加工机制如何与跨模态视听整合机制共同塑造最终的情绪感知，目前仍不清楚。这引出了一个核心科学问题：大脑在视听情绪整合过程中是否考虑了视觉信号本身的物理质量和信息可靠性？多感官整合中的逆向效应原则（Stein & Meredith, 1993）预测了这种可能性，近期的理论进展将其扩展为更精确的基于贝叶斯推断的可靠性加权模型。然而，尽管已有初步研究开始探索这一前沿领域，这一原则是否适用于由空间频率定义的视觉信息层次及其在情绪感知中的神经时间动态，仍有待实证检验。尽管功能性磁共振成像（fMRI）研究在定位脑区方面做出了重要贡献，但其固有的低时间分辨率限制了对快速神经活动的精确观察（Logothetis, 2008）。fMRI信号依赖于缓慢的血流动力学反应，通常在神经事件后数秒达到峰值，因此难以捕捉认知过程中毫秒级的瞬态变化（Huster, Debener, Eichele, & Herrmann, 2012）。因此，为了更精确地刻画这一过程的时间进程，本研究采用具有毫秒级分辨率的事件相关电位技术，能够对展开中的认知事件的时间动态进行精确追踪。

先前的研究表明，视听情绪信息的整合并非一个统一过程，而是涉及一个多阶段、阶段特异性的动态级联过程，从早期感觉皮层的基本特征加工到晚期联合皮层的更高级语义加工。若干关键ERP成分反映了情绪信息加工的不同阶段。P1成分是最早的正波，通常在刺激呈现后100至160毫秒之间达到峰值，其分布主要在双侧枕颞和枕区。该成分主要反映视觉刺激物理属性（如空间频率和对比度）的早期感觉加工（Herrmann & Knight, 2001）。N170是一个在约150–200毫秒达到峰值的负成分，其头皮分布图在双侧枕颞区域最为显著，被广泛认为是面部编码的核心神经标记（Hinojosa, Mercado, & Carretié, 2015; Shlomo, Truett, Aina, Erik, & Gregory, 1996），反映了视觉系统对面面部特征的结构性加工（Eimer, 2011）。随后的早期后额叶负波（EPN）通常在200–350毫秒时间窗口内观察到，在双侧枕颞区域表现为相对负向偏转。它反映了对情绪刺激的选择性注意和早期情感评价，体现了大脑对情绪显著信息的自动捕获和感知优先化（Schupp, Flaisch, Stockburger, & Jungh?fer, 2006）。在更晚的加工阶段，LPP是一种广泛分布的成分，通常在刺激呈现后约400毫秒开始，可持续至800毫秒或更长，其最大振幅通常集中在中央顶叶区域。LPP进一步反映了情绪刺激的持续注意和认知重评（Hajcak et al., 2010），其振幅随情绪强度和语义一致性变化，在情绪冲突或意义模糊条件下显著增强，反映了更高级的情绪显著性和评价负荷的整合（Olofsson, Nordin, Sequeira, & Polich, 2008）。在多感官情绪整合中，EPN和LPP共同构成了从早期情绪选择性加工到晚期情绪评价的连续动态序列，共同服务于情绪显著性检测和语义整合评估的功能。

尽管先前对视听情绪整合的研究取得了成就，但大多数现有研究主要采用具有高质量视觉信息的完整面孔刺激。然而，在日常社交互动中，由于远距离观看、昏暗照明和短暂视觉遮挡等原因，视觉情绪信息经常被降级。值得注意的是，不同空间频率带在现实生活情境中本质上对应着不同的视觉降级场景。作为调节视觉信号特征并主导面部结构编码的核心低级视觉特征，空间频率通过两条功能上不同的神经通路进行处理，具有不同的加工速度：偏向低空间频率信号的外侧膝状体快速通路和调谐于高空间频率信号的旁中央慢速通路。在视觉加工过程中，不同的空间频率内容被差异性提取和利用。尽管越来越多的证据揭示了不同空间频率信息的分离加工模式，但视觉空间频率如何在情绪加工的不同时间阶段调节视听情绪整合，目前仍知之甚少。具体而言，这种经视觉过滤的信息如何在情绪加工的时间进程中与听觉情绪信号动态交互——涵盖早期感觉编码（P1）、面部结构编码（N170）、中间阶段的情绪显著性评价（EPN）和晚期持续认知评价（LPP）——仍有待进一步探索。

本研究聚焦于视觉空间频率在视听情绪整合中的调节作用，提出以下假设。关于视听情绪整合，我们预期听觉信息对情绪面孔加工的调节并非一种不分青红皂白的全局性增强，而显著的视听交互效应仅会在特定的情绪与加工阶段组合下出现。关于空间频率的调节作用，我们预期视觉空间频率信息将限制上述跨模态整合发生的条件及其调节方向：在早期加工阶段，视听交互效应仅会在特定的空间频率与情绪组合下出现；在晚期加工阶段，当视觉信息退化时，听觉信息的调节影响将变得更加显著，且这种调节的方向将随空间频率清晰度和加工阶段而变化。

参与者

32名健康青年志愿者参加了本实验。所有参与者均为长春理工大学的在校学生，年龄20–35岁（平均年龄=23.8岁；标准差=2.6岁；7名女性）。

所有参与者均为右利手，视力正常或矫正至正常水平，听力正常，且报告无精神疾病或神经疾病史。本研究已获长春理工大学伦理委员会批准。所有实验

**行为结果**

对于准确率（M±SE），如图2所示，声音的主效应显著（F(1, 31) = 4.88, p = 0.035, η2 = 0.136），视听条件下的准确率（97.6 ± 0.3%）高于视觉条件（96.7 ± 0.5%）。情绪的主效应显著（F(2, 62) = 3.58, p = 0.038, η2 = 0.104），中性条件下的准确率（97.6 ± 0.4%）高于恐惧条件（96.5 ± 0.6%, p = 0.031）。空间频率的主效应不显著（F(2, 62) = 2.50, p = 0.102, η2 = 0.075）。

**P1成分**

对于P1成分，声音的主效应显著（F(1, 31) = 23.06, p < 0.001, η2 = 0.345），视听刺激的幅度（2.48 ± 0.18 μV）大于纯视觉刺激（2.08 ± 0.21 μV）。情绪的主效应显著（F(2, 62) = 6.10, p = 0.010, η2 = 0.164），中性条件下的幅度（2.40 ± 0.18 μV）大于快乐条件（2.14 ± 0.21 μV），而恐惧条件（2.32 ± 0.19 μV）未显示出显著差异。

**讨论**

本研究采用事件相关电位技术，将视觉空间频率操作与视听情感整合相结合，从而揭示了视听情感加工的时序动态。行为结果与ERP结果共同表明了视听情感加工的动态时间特征。在早期感觉阶段（P1/N170），与威胁相关的恐惧刺激在跨空间频率维度上表现出优先的视听整合。随着加工进入后期时间窗口……

**结论**

利用高时间分辨率的ERP技术，本研究描绘了由视觉空间频率构建的视听情感加工的动态层次化处理流。ERP结果表明在P1和N170阶段存在早期威胁优先的视听整合：恐惧面孔在所有空间频率条件下均产生稳健的视听增强效应，而中性面孔和快乐面孔的整合则局限于特定频率条件下。EPN效应表现出快乐面孔的选择性，在BSF条件下……

**CRediT作者贡献声明**

Meng Wang：验证、数据管理。Jingjing Yang：验证、数据管理。Xin Zhao：验证、数据管理。Tengfei Hao：撰写——初稿、可视化、验证、软件、方法学、调查、形式分析、数据管理、概念化。Wenhui Wang：验证、数据管理。Fengxia Wu：撰写——审阅与编辑、可视化、监督、资源、项目管理、调查、经费获取、形式分析、数据管理、概念化。

**伦理声明**

已从所有参与者或其法定代理人处获得书面知情同意，同意参与本研究并发表文章。已尊重参与者的隐私权。

本研究按照研究所在地相关法律法规、监管框架和指南进行。本研究已获长春理工大学学术委员会批准。（批准号：2023）

**数据可用性**

数据可在要求下提供。

**资金来源**

本研究由吉林省科技发展计划（YDZJ202301ZYTS418）和国家自然科学基金（32260198）资助。

**利益冲突声明**

作者声明不存在利益冲突。

Fengxia Wu | Tengfei Hao | Wenhui Wang | Jingjing Yang | Xin Zhao | Meng Wang

长春理工大学人工智能学院，中国长春