发声情绪与情感背景对语音包络神经追踪过程以及听众警觉状态的影响
《Frontiers in Human Neuroscience》:The effects of vocal emotions and emotional context on the neural tracking of speech envelopes and listeners’ vigilance states
【字体:
大
中
小
】
时间:2026年05月08日
来源:Frontiers in Human Neuroscience 2.7
编辑推荐:
摘要
引言:高唤醒情绪言语(如愤怒和快乐的言语)的特征是信号幅度的变化,这些变化会显著改变言语信号的时间结构。在这项脑电图(EEG)研究中,我们探讨了这些声学变化以及 preceding 情绪背景的结构如何影响听众对时间语音模式的神经追踪,以及与警觉状态相关的alpha波段去同
摘要
引言:高唤醒情绪言语(如愤怒和快乐的言语)的特征是信号幅度的变化,这些变化会显著改变言语信号的时间结构。在这项脑电图(EEG)研究中,我们探讨了这些声学变化以及 preceding 情绪背景的结构如何影响听众对时间语音模式的神经追踪,以及与警觉状态相关的alpha波段去同步现象。
方法:我们记录了30位以美国英语为母语的成年受试者在听不同情绪(愤怒、快乐或中性)的口语句子时的EEG数据。这些句子以随机顺序或按情绪分类呈现。为了确保受试者的持续注意力,他们偶尔需要回答关于句子内容的问题。
结果:当刺激按情绪分类呈现时,愤怒言语引发的alpha波段去同步现象比中性或快乐言语更强烈;但在随机顺序下则没有这种差异。相比之下,在两种刺激呈现条件下,对中性言语的振幅调制模式的神经追踪更为稳定。当控制了刺激振幅变异性差异后,愤怒言语(其振幅变异性更大)的追踪更为准确,无论是哪种呈现方式。
讨论:我们的研究结果表明,alpha波段的稳态调制对持续的情绪背景比对短暂的言语者情绪变化更为敏感。此外,我们发现情绪言语能够显著影响听众的警觉性,尤其是在长时间暴露于单一情绪之后,而对振幅调制的神经编码影响有限,后者主要受声学信号中自下而上的振幅变异性的支配。
引言
声音情绪在人类交流中起着重要作用,因为它们使我们能够表达和感知心理状态。情绪言语的特点是声音化表征(Coutinho和Dibben, 2013; Frick, 1985; Laukka等人, 2005; Lieberman和Michaels, 1962),这些声音化能够改变言语信号的光谱-时间结构(详见下文小节)。理解这些声音化如何影响言语处理和听众的心理状态对于开发自然主义的口语交流模型至关重要。关键在于,这些影响可能取决于 preceding 情绪背景的结构,即情绪表达是持续存在的还是快速交替的。在本研究中,我们探讨了声音情绪及其发生的情绪背景如何影响(1)振幅调制的神经追踪(这是连续言语处理的指标)和(2)alpha波段去同步(与听众更高的警觉性相关)。这两个神经标志共同解释了说话者的情绪及其对听众内部处理状态的影响,以及这些影响如何影响与言语可理解性相关的时间语音模式的编码。
情绪言语的感知
情绪言语涉及对声音的系统性修改,这些修改可以显著改变言语信号的时间结构。愤怒通常表现为幅度增加、基频(F0)升高和发音速率加快,尽管在某些情况下也可能表现为节奏变慢和话语持续时间延长(Johnstone和Scherer, 2000; Scherer, 1986; Scherer和Banse, 1996)。悲伤通常与强度减弱、音调降低和节奏变慢相关,而快乐和恐惧则与音调变化更大和频谱倾斜变化有关(Juslin和Laukka, 2003; Laukka等人, 2005)。值得注意的是,这些模式反映了情绪唤醒下声音发音的生理限制以及说话者传达情感意图的交流惯例。听众对情绪言语线索非常敏感,基本的声音情绪可以在不同语言和文化中以高于偶然水平的准确性被识别,尽管不同情绪的识别率有所不同,其中愤怒和快乐的识别通常比恐惧或厌恶更为可靠(Pell等人, 2009; Scherer等人, 2001)。除了情绪识别之外,情绪韵律还被证明会影响言语模式的感知,在不利听觉条件下改善或阻碍单词识别(Alexander和Llanos, 2025; Cohn等人, 2021; Dupuis和Pichora-Fuller, 2014; Gordon和Ancheta, 2017)。这些效应,无论是促进性的还是干扰性的,都取决于情绪内容和任务需求。例如,在听觉词汇决策任务中,情绪一致的嗓音和词汇-语义线索可以促进词汇和情感处理(Feeny等人, 2019; Gao等人, 2022; Nygaard和Lunders, 2002; Pell等人, 2011; Wurm等人, 2001)。相反,当任务要求识别特定说话者的嗓音特征时,与任务无关的情绪线索可能会干扰对说话者特定信息的处理(Aue等人, 2011)。
情绪言语的神经处理
与情绪相关的韵律线索已被证明可以激活听觉皮层以及涉及情感评估的大脑区域,如杏仁核和眶额皮质(Ethofer等人, 2006; Grandjean等人, 2005; Schirmer和Kotz, 2006)。从机制上讲,事件相关电位(ERP)研究显示,在情绪言语与中性言语的检测过程中存在早期时间分离,ERP的时间进程在刺激开始后的前200毫秒内就出现了差异(Jessen和Kotz, 2011; Paulmann和Kotz, 2008a)。情绪言语特征的检测通常之后还有一个整合窗口,在刺激开始后的300毫秒内,预期和感知的情绪在此期间被整合(Kanske等人, 2011; Paulmann和Kotz, 2008b; Zora等人, 2020)。
除了情绪言语对ERP的影响外,情绪韵律还可以调节听众心理状态下的神经振荡。特别是alpha波段活动(8–12赫兹)与注意力控制和情绪状态有关。在这里,alpha波段去同步一般被认为是反映警觉性的增强和注意力资源向显著或动机相关刺激的重新分配。与此观点一致的是,包括恐惧或愤怒的面孔、情感声音和带情绪色彩的单词在内的情绪激发输入通常与中性刺激相比会导致alpha波段功率降低(Aftanas等人, 2002; Güntekin和Basar, 2007; Knyazev, 2007)。在听觉领域,情绪韵律调节alpha波段功率,高唤醒度的声音表达引起的去同步现象比中性言语更为明显(del Giudice等人, 2016)。alpha波段调制还被解释为一种门控机制,通过这种机制,振荡活动能够抑制与任务无关的系统(Foxe和Snyder, 2011; Klimesch, 2012),从而促进资源向任务相关处理的分配。
振幅调制的神经追踪
以往关于情绪言语的神经科学研究主要集中在识别说话者的情绪及其对听众情感状态的影响。因此,我们目前对说话者情绪如何影响特定言语特征的神经编码的理解较为有限。为了填补这一研究空白,我们探讨了情绪言语对振幅调制神经追踪的影响。言语单元的识别依赖于振幅调制模式(如振幅或语音包络)和频率调制模式(包括F0、谐波和共振峰),这些在听觉系统中被不同地编码。然而,有证据表明,慢速振幅调制(尤其是1到8赫兹之间的调制频率)对言语可理解性更为关键(Elliott和Theunissen, 2009; Houtgast和Steeneken, 1985)。尽管听众即使在最小的时间精细结构下也能识别言语单位(音节、单词和短语)(Rosen, 1992; Shannon等人, 1995; Stilp等人, 2010),但音节和单词的时间失真会严重损害言语可理解性并减慢处理速度(Drullman, 1995; Healy等人, 2005)。
时间皮层中对振幅调制模式的处理是通过时间编码实现的(Alexandrou等人, 2020; Ding和Simon, 2014; Peelle和Davis, 2012)。在非人类模型中的单单元记录研究(Wang, 2007; Wang等人, 2003)显示,初级听觉皮层中的神经元会与刺激幅度的变化相锁相,以编码类似的语音包络版本。在人类中,振幅调制的神经追踪使用了多种技术进行研究,如皮层电图(ECoG)(例如Nourski和Brugge, 2011)、脑磁图(MEG)(例如Ding等人, 2016)和EEG(例如Di Liberto等人, 2015)。这些研究表明,连接言语中的振幅调制神经追踪可能受多种因素的影响,如注意力(Lakatos等人, 2008; Obleser和Kayser, 2019)、语言经验(Reetzke等人, 2020; Song和Iverson, 2018)或言语可理解性(Peelle等人, 2013; Peelle和Davis, 2012; Vanthornhout等人, 2018)。这些发现表明,振幅调制的神经追踪不仅仅是时间属性的感觉转导。实际上,计算神经科学研究(Di Liberto等人, 2015; Huth等人, 2016)表明,当模型中包含抽象的语言特征作为回归变量时,预测大脑振荡和血流动力学反应的效果会更好。这一发现表明,言语信号中振幅调制的神经追踪可能有助于提取具有语言相关性的离散特征。
本研究
鉴于振幅调制对可理解性至关重要,并且它可以被说话者的情绪显著改变,我们旨在探究情绪言语对连续言语中振幅调制模式神经追踪的影响。高唤醒度的声音情绪(如愤怒和快乐的言语)表现出更大的包络变化,这可能会降低追踪的准确性。与此假设一致,先前的研究报道,当言语信号的时间结构更加不规则或不可预测时,其神经表征的准确性较低(Falk等人, 2017; Kayser等人, 2015)。同时,高唤醒度的情绪刺激预计会引发更强的情绪反应(del Giudice等人, 2016),这可能会增强注意力和感官增益,有助于感觉输入的筛选(Aston-Jones和Cohen, 2005; Ghacibeh等人, 2006; Mather和Sutherland, 2011; Sara, 2009)。因此,高唤醒度情绪言语的振幅包络是被更忠实地追踪还是不那么忠实地追踪,可能取决于由自下而上的声学特征引起的输入处理需求与说话者情绪对听众处理状态的影响之间的平衡。
此外,我们还通过比较长时间暴露于单一情绪音调与混合暴露于多种情绪的影响来探讨情绪背景的作用。以往的神经科学研究通常依赖于随机顺序呈现的孤立情绪话语。因此,关于长时间暴露于单一情绪音调(例如几分钟的愤怒、快乐或中性言语)如何影响alpha波段功率和神经追踪与混合情绪暴露(例如几分钟内情绪在愤怒、快乐和中性言语之间随机变化)的影响知之甚少。长时间暴露于单一情绪特征的刺激可能会诱发类似情绪的状态,导致alpha波段去同步或神经追踪的差异,而这些差异在情绪以不可预测的方式呈现时不会出现。这一假设得到了证据的支持,即长时间暴露于积极或消极情绪刺激可以引发持续性的神经和行为反应,这种反应在暴露期后仍然存在(Barazzone和Davey, 2009; Halberstadt等人, 1995)。这种与情绪相关的变化似乎独立于特定的刺激特征,因为情绪不会自发地或对单一短暂刺激出现而改变(Beedie等人, 2005; Brewer等人, 1980; Egidi和Nusbaum, 2012; Ku?era和Haviger, 2012)。
为了验证这些假设,我们在30位以英语为母语的参与者听多次重复的10个语义中性句子(用愤怒、快乐或中性韵律表达)时记录了连续EEG数据。参与者完成了一个单词回忆任务,以确保整个实验过程中的参与度一致。为了将整个实验的持续时间保持在2小时内,一半的参与者(N=15)被分配到按情绪分类的条件下,所有刺激按情绪分类呈现;另一半参与者被分配到随机条件下,所有刺激在各种情绪之间随机呈现。每个口语句子被呈现36次,以提高相应平均反应的信噪比。这项设计使我们能够研究情感背景(blocked与randomized exposure)如何影响α失同步以及神经对振幅调制的追踪。为了描述刺激集的感知特性,参与者在EEG记录之前完成了一项行为任务,他们需要对每个音频进行价值(愉悦度)和唤醒度(强度)的评分,并使用七档基本情绪框架(愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性)来分类预期情绪,其中呈现顺序根据EEG条件而变化。
**方法**
该研究获得了德克萨斯大学奥斯汀分校机构审查委员会(IRB)的批准。匿名化的研究数据和代码可在以下在线存储库中供公众查阅:https://osf.io/j89bw/。
**参与者**
研究数据来自德克萨斯大学奥斯汀分校地区的30名以美式英语为母语的年轻人(6名男性,23名女性,1名未指定;年龄:平均值=21.30岁,标准差=3.45岁,范围=18–33岁)。参与者在参与实验前提供了书面同意书,并报告没有听力障碍、神经发育障碍或精神疾病的历史。参与者每小时获得15美元的报酬,实验持续了大约1.5小时。
**刺激**
语音刺激包括从CREMA-D数据集(Cao等人,2014年)下载的30个情感语音音频。该数据集包含了91位演员在12个语义中性句子背景下产生的六种基本情绪(快乐、悲伤、愤怒、恐惧、厌恶和中性)的语音表达。CREMA-D数据集还包括通过众包从2,443名听众那里获得的一组感知分类响应,这些听众被要求识别音频的预期情绪。我们的刺激集由10个语义中性的口语句子组成,每个句子都由同一位女性说话者(说话者代码:1089)在三种情绪(愤怒、快乐、中性)下发出,共计30个独特的音频。使用同一位说话者可以隔离韵律变化,同时最小化由于说话者特定频谱特征引起的变异性。所选说话者在情绪识别测试中的得分高于平均水平。语音刺激的振幅包络和F0轮廓展示在图1a,b中。
**图1**
声学特征:
(a) 以原始单位(左)和z分数单位(右)表示的语音振幅包络。
(b) 以原始单位(左)和z分数单位(右)表示的F0轮廓。
(c) 受情感语音背景影响的四个韵律标记的平均值和标准误差均值(SEM)(平均值=均值,标准差=标准差)。F0的标准差在不同情绪间没有显著差异(见下文结果部分的表1),因此未在图中显示。具有显著差异(p<0.05)的情况用单个星号(*)标出。
**声学分析**
我们进行了声学分析,以识别不同情感语音类别之间的主要韵律差异。对于每个音频,我们测量了:
(1)语音包络的平均值和标准差;
(2)F0轮廓的平均值和标准差;
(3)音节率。振幅包络是通过计算语音波形的希尔伯特变换的绝对值得到的。得到的包络信号被重新采样到EEG的采样率(500 Hz),并在1至8 Hz之间进行带通滤波(零相位,四阶巴特沃斯滤波器),以隔离对语音清晰度最相关的振幅调制频率(Houtgast和Steeneken,1985;Stilp等人,2010)。由于这一频率范围远低于EEG的采样率,重新采样过程可以最小化时间失真的风险。
F0轮廓使用Praat V 6.1.38软件(Boersma和Weenink,2018)中的自相关方法提取(音高下限:75 Hz;音高上限:400 Hz),这与以往关于情感语音韵律的研究一致(Hammerschmidt和Jürgens,2007;Juslin和Laukka,2001;Sauter等人,2010)。音节率是手动计算的,作为平均音节持续时间的倒数(Scherer,2013;Scherer和Banse,1996),从而得到一个清晰且可解释的语速度量(Buller,2005)。
为了评估情感语音背景是否影响韵律标记,我们根据数据是否满足参数假设进行了参数(ANOVA)或非参数(Kruskal–Wallis)假设检验。当数据满足参数假设时,使用ANOVA进行分析,随后进行事后比较;当假设不成立时,使用Kruskal–Wallis检验,再通过MATLAB的multcompare函数进行基于排名的多重比较。对于非参数分析,事后比较基于平均排名进行,不假设正态性或同方差性。在所有情况下,事后成对比较都使用了Tukey–Kramer程序进行多重检验校正,该程序在MATLAB的multcompare函数中实现。
**行为程序**
在EEG会话之前,每位参与者完成了一项Qualtrics调查,使用Self-Assessment Manikin(SAM)评分标准(Bradley和Lang,1994;Verma和Tiwary,2017)对每个语音刺激的情感价值和唤醒度进行评分。该评分标准包括九个图形化的价值和唤醒度级别,从较低唤醒度/价值(级别1)到较高唤醒度/价值(级别9)。SAM评分标准已在之前的相关研究中用于评估情感语音的水平(Chen等人,2019;Grimm等人,2007;Guntupalli等人,2012;Siegert等人,2011)。在转到下一个音频之前,参与者还被要求将说话者意图表达的情绪标记为CREMA-D数据集中包含的六个基本情绪标签之一,再加上一个额外的标签“惊讶”,这在文献中很常见(Hammerschmidt和Jürgens,2007;Lausen和Hammerschmidt,2020;Monnot等人,2003;Paulmann和Kotz,2008a;Sauter等人,2010)。对于被分配到随机背景的参与者,句子和情绪在每次试验中都是完全随机化的;对于被分配到blocked背景的参与者,情感内容以更可预测的方式呈现,即每个句子在进入下一个句子之前会依次以三种情绪状态出现(固定顺序)。这种设计避免了完全按情绪分组的情况,因为这可能会因长时间重复暴露于相同情绪而降低任务参与度。
为了评估预期情感特征与感知情感特征之间的对应关系,我们分别用两个线性混合效应方程独立建模了唤醒度和价值的个体评分。每个模型方程在R语言中编码如下:
rating ~ emotion * stimulus presentation + (emotion | participant) + (1 | sentence),其中emotion表示预期的发声情绪。方程包括:
- 情绪(因素水平:愤怒、快乐、中性)和刺激呈现顺序(因素水平:固定、随机)的两个固定效应;
- 情绪的参与者间随机截距和随机斜率;以及句子间的随机截距。模型使用lme4包(Bates等人,2015)进行拟合,事后成对比较使用emmeans(Lenth等人,2019)包和Tukey多重比较校正进行。
为了确保三种预期情绪被正确感知,情绪分类响应分别编码为‘1’(正确)和‘0’(错误),并在R语言中使用以下逻辑混合效应方程进行建模:
accuracy ~ emotion * stimulus presentation + (1 | participant) + (1 | sentence),其中accuracy表示因变量(正确或错误),emotion表示预期的发声情绪。方程包括:
- 情绪(因素水平:愤怒、快乐、中性)和刺激呈现顺序(因素水平:固定、随机)的两个固定效应;
- 参与者间的随机截距;以及句子间的随机截距。由于包含这些项时逻辑方程无法收敛,因此排除了参与者间的随机斜率。事后成对比较使用emmeans包和Tukey多重比较校正进行。
**结论**
此外,我们进行了卡方独立性检验,以确定参与者在七个基本类别中的响应分布是否因刺激呈现顺序(fixed vs. randomized)而有所不同。
**EEG会话**
在EEG会话期间,参与者听了每个音频的36次重复(N=30次),共计1,080次试验,刺激间的间隔为500 ms。重复次数是在一个试点会话中确定的,以确保平均神经响应中的信噪比较强。为了保持EEG会话的时间可控,刺激呈现背景(blocked vs. randomized)作为被试间变量进行操纵,即每位参与者只完成一个呈现背景。在blocked背景中,刺激按照情绪分组,音频在每个组内以伪随机顺序呈现,以避免同一句子的连续重复。为了避免由于长时间暴露于愤怒或快乐语音引起的情绪延续效应(Barazzone和Davey,2009;Halberstadt等人,1995),首先呈现中性组,然后是愤怒和快乐组,这些组在参与者间进行了平衡。
尽管有证据表明,随着EEG会话时间的延长,神经对振幅调制的追踪并不一定会恶化(Cabral-Calderin和Henry,2022),但注意努力、注意力和疲劳等因素仍可能起作用(Hjortkj?r等人,2020;Obleser和Kayser,2019;Vanthornhout等人,2019)。为了最小化注意力和疲劳对神经追踪的潜在影响,我们在每组之间包含了短暂的休息时间。此外,偶尔还会向参与者提出关于前一句中是否存在特定单词的随机是/否问题(例如:“你刚才听的最后一句话中包含‘jacket’这个词吗?”)。在两种刺激呈现背景下,单词检测问题在15次试验的片段中随机插入,每组24个问题。参与者在blocked背景下的准确率达到99.10%,在randomized背景下的准确率达到98.88%。
语音刺激通过一对电屏蔽的Etymotic ER3C入耳式耳机进行双耳传输。单词检测问题通过一个电屏蔽的VIEWPixx显示器(VPixx Technologies)显示。参与者被要求尽快按下键盘上的相应按钮(9个“是”/0个“否”)进行回答。EEG使用32个actiCAP snap电极(Brain Products GmbH)采集,电极放置在带有共同接地点AFz的弹性帽(EasyCap GmbH)上,参考点在FT9。电极根据国际10/20系统分布在头皮上。在第一个组之前将电极阻抗调整到小于15 kΩ,并在每个组结束时检查阻抗水平,以确保其处于最佳范围内。连续的EEG信号使用Brain Vision actiCHamp plus放大器以500 Hz的频率进行数字化,并记录在Brain Vision Recorder中。EEG任务使用MATLAB(R2021b)编写的定制Psychtoolbox-3界面控制,该界面用于向EEG系统发送VIEWPixx TTL触发器以估计刺激起始时间。
为了最小化肌肉伪迹的影响,参与者坐在带有可调头枕的舒适椅子上。他们在播放音频时被要求尽可能不动,并在组间提供小休息时间喝水和伸展手臂和腿部。为了最小化眨眼伪迹的影响,参与者被要求闭着眼睛听音频,他们的表现通过红外实时摄像头进行监控。每个组的持续时间约为15分钟,实际任务时间约为45分钟。包括设置、指导和行为评分任务在内的每人总时间不到2小时。
**EEG预处理**
EEG在MATLAB(R2021b)中使用定制功能和EEGLAB(Delorme和Makeig,2004)功能进行预处理。EEG数据从在线参考点重新参考到平均乳突。对于神经追踪分析,连续EEG在1至8 Hz之间使用零相位四阶巴特沃斯滤波器进行带通滤波。使用ICA去除眼动和肌肉伪迹,这些功能通过EEGLAB的pop_runica.m、pop_icalabel.m、pop_icflag.m(眼部和肌肉组分的伪迹概率阈值=0.9)和pop_subcomp.m实现。得到的EEG信号从刺激开始到刺激后500 ms的分成离散的时间段,用于神经追踪分析。神经追踪延迟在单个时间段水平上使用交叉相关方法进行校正(例如,参见Zoefel和VanRullen,2016),通过将语音包络和EEG信号进行交叉相关。对于每个时间段和每个通道,我们计算了(未标准化的)交叉相关函数:
R(τ, channel) = ∑tE(t)X(t+τ)R(τ, channel),其中E(t)表示语音包络,X(t)表示EEG信号,τ表示时间延迟。交叉相关使用MATLAB的xcorr函数计算,并评估0到150 ms之间的非负延迟。交叉相关函数R(τ, channel)R(τ, channel)量化了包络和EEG信号之间的相似性,作为通道和时间延迟的函数。对于每个时间段和每个通道,延迟定义为R(τ)R(τ)达到最大值的0–150 ms窗口内的延迟ττ。选择这个窗口是为了避免神经延迟出现在刺激开始之前或显著超过EEG的N1组分的延迟。因为交叉相关仅用于估计与最大相似性对应的延迟(即,对ττ的argmax),而不是用来解释相关性的大小,所以不需要进行归一化处理,因为这不会影响峰值延迟的位置。这种对齐程序考虑到了神经反应潜伏期的试验间变异性,从而得到了更可靠的神经跟踪估计。然后将一个时间段(epoch)的持续时间设置为与诱发刺激的持续时间相匹配,以确保神经振荡和包络振荡数据点的数量相同。随后使用200毫秒的刺激前间隔对每个时间段进行基线校正,并对参与者内每种独特的情绪(3个水平)、句子(10个水平)和通道(32个水平)的组合进行平均。EEG幅度超过±100微伏的时间段被排除在平均之外。
在α功率分析中,连续的EEG数据在0.1到30赫兹的范围内进行带通滤波,使用ICA进行清洗,并从刺激开始到刺激结束分为多个时间段。然后使用200毫秒的刺激前间隔对每个时间段进行基线校正,并对参与者内每种独特的情绪(3个水平)、句子(10个水平)和通道(32个水平)的组合进行平均。EEG幅度超过±100微伏的时间段被排除在平均之外。
像时间响应函数(Temporal Response Function,TRF)(Crosse等人,2016年;Lalor和Foxy,2010年)这样的现代方法为建模连续语音与长时间尺度(以分钟为单位)内的神经反应之间的关系提供了强大的线性回归框架。在本研究中,我们选择了更直接的句子级方法。神经跟踪是通过平均EEG反应与诱发刺激的幅度包络之间的皮尔逊r相关系数来确定的。这种方法得出了相当稳健的平均神经跟踪相关系数(在0.6到0.8之间;见结果部分和图2),特别适合于我们评估特定幅度调制模式的神经编码的目标,因为它捕捉的是神经表示本身的强度,而不是线性回归模型的权重。
图2展示了神经振荡和包络振荡之间的同步性。当刺激呈现被情绪阻断(a)或在情绪之间随机化(b)时,刺激幅度包络和总体平均诱发反应(z分数单位)的情况。
神经跟踪系数使用R语言中的以下线性混合效应方程进行建模:tracking ~ emotion * context * channel + (emotion | participant) + (1 | sentence)。该方程包括:按情绪(因子水平:愤怒、快乐、中性)、刺激呈现(因子水平:阻断、随机化)和通道(32个水平)的固定效应;按情绪的随机截距和随机斜率;以及按句子的随机截距。模型使用lme4包进行拟合,事后成对比较使用emmeans包进行,并采用Tukey调整方法,或者对于通道级别的分析使用FDR(32个水平)。
为了部分化包络变异性对幅度调制的神经跟踪的影响,还使用R语言中的以下线性混合效应方程对神经跟踪系数进行了建模:tracking ~ emotion * context * channel + envelope variability + (emotion | participant) + (1 | sentence)。该模型包括了包络变异性(定义为刺激包络的标准差)作为协变量,以部分化韵律差异对神经跟踪准确性的贡献。选择包络变异性是因为它在不同情绪类别之间显示出最强的声学差异(见结果部分)。
为了研究阻塞顺序对神经跟踪的影响,在被阻塞的刺激呈现情境下,使用R语言中的以下线性混合效应方程对神经跟踪系数进行了建模:tracking ~ emotion * block ordering + (emotion | participant) + (1 | sentence),其中emotion表示在阻塞情境中在参与者之间进行了平衡的情绪水平(愤怒和快乐)。该方程包括:按情绪(因子水平:愤怒、快乐)和阻塞顺序(因子水平:愤怒先、快乐先)的固定效应;按情绪的随机截距和随机斜率;以及按句子的随机截距。模型使用lme4包进行拟合,事后成对比较(按情绪水平的分组差异)使用emmeans包进行,并采用Tukey调整方法。
α功率分析使用小波卷积方法进行,将每个窗口内的每个整数频率(8-12赫兹)的独立小波应用于每个时间段。对于每个目标频率,将EEG数据段与复合Morlet小波(6周期)进行卷积,并将卷积结果的平方幅度作为瞬时功率。然后将功率值在整个数据段上平均,得到每次试验的单一α功率估计值。然后,将α功率估计值在参与者内每种独特的情绪、句子和通道组合上进行了平均。
在刺激呈现期间量化了α频段的活动,并在情绪之间进行了比较,而不是相对于刺激前的基线进行比较(例如,Hauswald等人,2022年)。这一选择是由于实验设计的特性,可能会导致刺激前间隔由于先前情绪情境的潜在延续效应而成为不可靠的参考(Bradley等人,1996年;Brouwer等人,2013年;Verduyn等人,2015年)。此外,参与者被指示在句子呈现期间闭上眼睛,以最小化神经跟踪分析期间的眨眼伪影,而在刺激前间隔期间没有控制眼睛状态。因为闭眼可以显著增加枕叶α功率,所以基于基线的抑制措施可能会受到眼睛状态系统差异的混淆。因此,α功率在句子聆听期间进行分析,并在情绪和呈现情境之间进行了对比,从而能够在受控的刺激和任务条件下评估条件依赖的警觉性差异。
平均α功率值使用R语言中的以下线性混合效应方程进行建模:alpha power ~ emotion * context * channel + (1 | participant) + (1 | sentence)。该方程包括:按情绪(因子水平:愤怒、快乐、中性)、刺激呈现(因子水平:阻断、随机化)和通道(32个水平)的固定效应;按参与者的随机截距和按句子的随机截距。由于情绪的斜率水平显示出显著的共线性(r = 0.72),并且模型未能收敛,因此省略了按情绪的随机斜率。模型使用lme4包进行拟合,事后成对比较使用emmeans包进行,并采用Tukey调整方法进行多重比较。
声音情感之间的声学差异
包络特征显示了不同声音情感之间的明显声学差异(见图1c)。对于愤怒的语音,包络平均值显著更高(Kruskal–Wallis: χ2(2, 27) = 17.97, p < 0.001;见表1中的成对比较),其值为49 × 10^-4 a.u.(标准误为0.8 × 10^-4 a.u.),而快乐的语音为18 × 10^-4 a.u.(标准误为0.2 × 10^-4 a.u.),中性的语音为0.9 × 10^-4 a.u.(标准误为0.1 × 10^-4 a.u.)。愤怒语音的包络标准差显著更高(Kruskal–Wallis: χ2(2, 27) = 24.54, p < 0.001),其值为0.08 a.u.(标准误为0.004 a.u.),与快乐的语音(0.03 a.u.,标准误为0.006 a.u.)相比,以及快乐语音与中性语音(0.01 a.u., 标准误为0.001 a.u.)相比。这些统计差异表明,三种情绪语音在时间结构上存在重要差异,包括包络高度和包络变异性的差异,后者可以区分三种声音情感。
表1 韵律特征对比
统计量 纠正后的p值
包络平均值 正常 2.08 0.03
愤怒 vs 高兴 2.08 <0.001
愤怒 vs 中性 3.52 <0.001
高兴 vs 中性 1.44 0.19
包络标准差 正常 1.97 0.04
愤怒 vs 中性 4.14 <0.001
高兴 vs 中性 2.16 0.02
F0值 正常 0.57 0.77
愤怒 vs 中性 3.44 <0.001
高兴 vs 中性 2.86 <0.01
音节率 正常 -3.03 0.01
愤怒 vs 中性 -4.08 <0.01
高兴 vs 中性 -1.05 0.55
F0值的差异不那么一致。F0的标准差在各种刺激情感之间没有显著变化(Kruskal–Wallis: χ2(2, 27) = 1.89, p = 0.38)。相比之下,愤怒语音(F0平均值 = 286.62 Hz,标准误为8.19 Hz)和快乐语音(F0平均值 = 272.62 Hz,标准误为8.19 Hz)的F0平均值显著高于中性语音(F0平均值 = 207.77 Hz,标准误为4.93 Hz)(见表1中的成对比较)。愤怒和快乐语音的F0平均值没有显著差异。这些发现表明,愤怒和快乐语音的F0值明显高于中性语音,而F0的变异性在不同情感之间没有太大差异。
最后,中性语音(F0平均值 = 5.51 Hz,标准误为0.28 Hz)和快乐语音(F0平均值 = 5.13 Hz,标准误为0.25 Hz)的音节率(ANOVA: F(2, 27) = 8.98, p = 0.001;见表1)高于愤怒语音(F0平均值 = 4.01 Hz,标准误为0.23 Hz)。然而,快乐和中性语音之间的音节率没有显著差异。因此,愤怒语音的发音速率比中性语音和快乐语音都要慢。
在两种刺激呈现顺序(固定顺序和随机顺序;见图3a和表2)中,愤怒语音的唤醒评分(固定顺序:M = 6.80,标准误 = 0.13;随机顺序:M = 6.41,标准误 = 0.13)都高于快乐语音(固定顺序:M = 3.26,标准误 = 0.15;随机顺序:M = 4.12,标准误 = 0.16),并且快乐语音的唤醒评分也高于中性语音(固定顺序:M = 1.82,标准误 = 0.08;随机顺序:M = 1.80,标准误 = 0.08)。
图3 行为。(a)根据声音情感(M和标准误SEM)和刺激呈现顺序(固定顺序 vs 随机顺序)感知的刺激唤醒水平(上)和情感值(下)。显著差异(p < 0.05)用单个星号(*)表示。(b)按照刺激呈现顺序,预期(说话者)和感知(听者)情感之间的混淆模式(计数和百分比四舍五入到最接近的整数)。
表2 特征对比
顺序 纠正后的p值 唤醒
愤怒 vs 高兴 固定顺序 11.47 <0.001
愤怒 vs 中性 固定顺序 19.93 <0.001
快乐 vs 中性 固定顺序 4.29 <0.001
愤怒 vs 高兴 随机顺序 7.43 <0.001
愤怒 vs 中性 随机顺序 18.44 <0.001
快乐 vs 中性 随机顺序 6.89 <0.001
相反,快乐语音的情感值评分(固定顺序:M = 6.39,标准误 = 0.13;随机顺序:M = 6.25,标准误 = 0.16)高于中性语音(固定顺序:M = 3.46,标准误 = 0.12;随机顺序:M = 4.28,标准误 = 0.12),并且中性语音的情感值评分也高于愤怒语音(固定顺序:M = 2.28,标准误 = 0.09;随机顺序:M = 2.33,标准误 = 0.10)。我们没有观察到刺激呈现顺序对唤醒评分有总体显著影响(|t| ≤ 1.18,p ≥ 0.10)。然而,当刺激呈现顺序随机化时,中性语音的情绪平均值略高(t = 2.10,p = 0.044)。
所有三种预期的情感都被正确识别的比例都远高于随机水平(= 14.29%;见图3b)。在两种刺激呈现情境下(见表3),快乐语音的正确分类响应百分比显著低于愤怒语音(固定顺序:M = 56%,标准误 = 4.07%;随机顺序:M = 54%,标准误 = 4.08%),中性语音的正确分类响应百分比也低于愤怒语音(固定顺序:M = 73.33%,标准误 = 3.62%;随机顺序:M = 77.33%,标准误 = 3.43%;随机顺序:M = 77.33%,标准误 = 3.65%;随机顺序:M = 68.67%,标准误 = 3.80%)。快乐语音的相对较低识别率反映了它与“惊讶”情感的感知重叠。由于“惊讶”是一个可选的响应选项,一些快乐的语音可能被感知为愉快或惊喜的语音,这与先前的研究结果一致(Cao等人,2014年;Lausen和Hammerschmidt,2020年;Pell等人,2009年)。
表3 对比
顺序 纠正后的p值
愤怒 vs 高兴 固定顺序 3.23 0.003
愤怒 vs 中性 固定顺序 0.13 0.99
快乐 vs 中性 固定顺序 -3.10 0.005
愤怒 vs 高兴 随机顺序 4.33 <0.001
愤怒 vs 中性 随机顺序 1.74 0.18
快乐 vs 中性 随机顺序 -2.69 0.019
在愤怒和中性语音之间,无论哪种刺激呈现顺序,正确的情绪识别都没有显著差异。此外,当将正确响应的百分比跨情感合并时,我们没有发现刺激呈现顺序对识别准确率有影响(|z| ≤ 0.77,p ≥ 0.43)。我们在两种刺激呈现顺序中都观察到了类似的混淆模式。在两种顺序中,中性语音最常被误认为是悲伤的语音,快乐语音被误认为是惊讶的语音,愤怒语音被误认为是厌恶的语音(见图3b)。卡方检验的结果表明,两种刺激呈现顺序下的分类响应分布并不独立(χ2(6) = 0.81,p = 0.99)。这表明刺激呈现并没有显著影响情感差异的感知。
声音情感对神经跟踪的影响
在情感语音情境中,幅度调制模式被稳健地跟踪(见图2),平均相关系数为0.72(有关句子、情感和刺激呈现情境的神经跟踪平均值和标准差的额外信息,请参见补充材料)。
在两种刺激呈现情境下,神经跟踪(见表4和图4a)对于中性语音(固定顺序:M = 0.7571,标准误 = 0.0014;随机顺序:M = 0.7578,标准误 = 0.0014)比快乐语音(固定顺序:M = 0.7266,标准误 = 0.0013;随机顺序:M = 0.7261,标准误 = 0.0013)和愤怒语音(固定顺序:M = 0.7071,标准误 = 0.0013;随机顺序:M = 0.7261,标准误 = 0.0013)以及快乐语音与愤怒语音的比较更为准确(见表4和图4a)。
表4 对比
情境 纠正后的p值
愤怒 vs 高兴 固定顺序 -2.74 <0.027
愤怒 vs 中性 固定顺序 -8.07 <0.001
快乐 vs 中性 固定顺序 -4.44 <0.001
愤怒 vs 高兴 随机顺序 -4.50 <0.001
愤怒 vs 中性 随机顺序 -10.08 <0.001
快乐 vs 中性 随机顺序 -4.44 <0.001
在个体通道层面,也观察到了情感层面的神经跟踪差异(见图4b,c),其中中性语音在多个中央、前额中央和前额通道上显示出更高的相关系数,而快乐语音在较少数量的前额、顶叶和枕叶通道上传达了更高的相关系数。值得注意的是,我们没有观察到由于刺激呈现差异(跨情感:|z| ≤ 1.88,p ≥ 0.068)导致的神经跟踪的主要情感层面差异,这表明幅度调制的神经编码并没有受到情感情境的强烈影响。
图4 神经跟踪。(a)每种刺激呈现情境下的情感语音情境的神经跟踪相关系数(M和标准误SEM)。显著的差异(p < 0.05)用一个星号(*)表示。(b) 按通道和刺激情绪划分的平均神经跟踪相关系数。(c) 在不同刺激情绪(A = 愤怒,H = 快乐,N = 中立)之间显示出显著差异(p < 0.05)的脑电图(EEG)通道。值得注意的是,当将包络标准差作为协变量纳入时,神经跟踪对中性语音的反应不再最强。相反,表现出更大包络变异性的愤怒语音,在幅度调制跟踪方面比快乐语音(跨情境:t ≥ 5.33,p < 0.001)和中性语音(跨情境:t ≥ 5.59,p < 0.001)更为准确。这表明之前报告的情绪水平差异主要由刺激的幅度变异性驱动,在一定程度上也受到刺激唤醒水平的影响。最后,我们没有发现块顺序对神经跟踪有显著影响(跨情绪:|t| ≤ 0.67,p ≥ 0.51),表明快乐或愤怒块先呈现与否并不影响神经跟踪。
**声音情绪对α波功率的影响**
正如预期的那样,α波功率在枕叶通道上最强(见图5),这与先前的研究结果一致,这些研究表明当参与者闭眼时后部的α波功率更高(Adrian和Matthews,1934;Barry等人,2007)。由于参与者被要求在听音频时保持闭眼,观察到的枕叶α波功率可能反映了与任务无关的视觉处理的抑制。
**图5** α波功率。(a) 每种刺激呈现情境下的α波功率(平均值和标准误)。显著的差异(p < 0.05)用一个星号(*)表示。(b) 按通道和刺激情绪划分的α波功率。(c) 在不同刺激情绪(A = 愤怒,H = 快乐,N = 中立)之间显示出显著差异(p < 0.05)的脑电图(EEG)通道。
在分块的情绪情境中(见表5),愤怒语音的α波功率显著较低(即α波去同步度较高)(M = 1666.36 a.u.,SEM = 25.67 a.u.),而快乐语音(M = 1901.96 a.u.,SEM = 31.17 a.u.)和中性语音(M = 1844.22 a.u.,SEM = 26.57 a.u.)的α波功率较高。此外,快乐语音的α波功率也显著高于中性语音,尽管这种效应较微弱(p = 0.041)。在随机情境中,愤怒(M = 1843.92 a.u.,SEM = 36.24 a.u.)、快乐(M = 1863.03 a.u.,SEM = 36.60 a.u.)和中性语音(M = 1876.12 a.u.,SEM = 36.66 a.u.)之间的α波功率没有显著差异。因此,虽然α波去同步度的情绪水平差异并未由刺激呈现方式的不同引起(跨情绪:|z| ≤ 0.45,p ≥ 0.65),但刺激呈现方式显然影响了每个情境中α波功率相对差异的分布。具体来说,愤怒语音与更高的警觉水平相关,而快乐语音与较低的警觉水平相关,但这仅发生在情绪分块的情况下。
**讨论**
我们研究了声音情绪对听者時間语音模式和内部处理状态的影响,比较了长时间暴露于单一情绪音调和随机暴露于多种情绪音调的情况。先前的研究表明,根据多种因素,声音情绪可以促进或干扰处理过程。高唤醒水平的刺激,如愤怒和快乐的语音(Russell,1980;Verma和Tiwary,2017),可以增加注意力和感知增益,从而有可能增强输入属性的神经编码(Aston-Jones和Cohen,2005;Lakatos等人,2008;Mather和Sutherland,2011;Sara,2009)。然而,愤怒和快乐的语音也表现出更大的幅度变性(Laukka,2005;Laukka等人,2005;Lieberman和Michaels,1962),这可能会通过扭曲语音信号的时间结构来干扰神经跟踪。因此,神经跟踪是得到增强还是受到阻碍,取决于这些因素的相对影响。
**声学和行为发现**
首先,我们确定了研究中考察的三种基本说话者情绪(愤怒、快乐和中性情绪)之间最显著的韵律差异。愤怒和快乐的语音显示出更大的包络变异性和更高的F0平均值。这些声学差异与先前的研究结果一致(Coutinho和Dibben,2013;Laukka等人,2005)。重要的是,包络变异性在三种情绪之间表现出独特且明显的三重区别,愤怒语音的包络变异性最高,其次是快乐语音,然后是中性语音(见图1c中的包络标准差面板)。
接下来,我们研究了参与者如何感知这些情绪语音刺激。每种预期的语音情绪都与不同的感知唤醒水平和价值相关联。在这里,我们发现包络变异性与唤醒评分之间存在强烈的对应关系,这种关系在情绪类别间系统性地共变。愤怒语音与更大的幅度变异性和感知唤醒相关,而中性语音则具有较低的这两种水平。
虽然预期的情绪被识别出来的概率高于随机水平,但快乐情绪的识别准确度低于愤怒或中性情绪,并且经常被标记为“惊讶”。这种混淆模式与情感空间中快乐和惊讶的接近性一致,当惊讶被视为愉快的惊喜时(Cao等人,2014;Lausen和Hammerschmidt,2020;Pell等人,2009)。因此,本研究记录的情绪识别模式与先前的研究结果一致。
值得注意的是,情绪识别和唤醒评分均未受到情绪情境的显著影响。唤醒评分在不同刺激呈现情境间相当,识别准确性和混淆模式都保持了高度一致性。价值评分仅显示出边际效应(p = 0.044),在随机呈现刺激时愤怒语音获得了更积极的评分。这表明,在更可预测的情境中呈现愤怒语音时,它被感知为稍微更负面。对于其他情绪,未观察到价值评分的额外情境效应。总体而言,这些发现表明刺激呈现顺序对听者如何感知情绪语音特征的影响有限。
**神经发现**
在确定了情绪语音类别的独特声学和感知相关性后,我们接下来研究了这些类别如何影响神经跟踪和α波功率。我们发现情绪水平的包络变异性差异与神经跟踪的准确性之间有明确的对应关系,愤怒语音的跟踪最不准确,快乐语音处于中间水平,而中性语音在各种刺激呈现情境下最为可靠。这些发现表明,语音刺激的声学特征,特别是包络变异性,可能对神经跟踪更为关键,而不是说话者情绪对听者处理状态的影响。如果神经跟踪主要由听者的警觉状态驱动,那么应该期望α波功率和神经跟踪在各种刺激呈现情境间有更系统的对应关系;但实际上并非如此。此外,先前的脑电图证据表明,不规则的韵律模式会干扰连续语音中的幅度调制的神经跟踪(Falk等人,2017;Kayser等人,2015),这与我们的发现一致,即更大的幅度变化更难以跟踪。
有趣的是,当控制了句子级别的包络变异性差异后,愤怒语音的神经跟踪比快乐和中性语音更为稳健。鉴于愤怒语音显示出比快乐和中性语音更大的幅度变性,这一结果表明,高唤醒水平的刺激可能会在存在幅度驱动的神经跟踪挑战的情况下产生轻微但可量化的促进效应。
虽然神经跟踪并未受到情绪情境的显著调节,但α波功率显然对其敏感。当刺激按情绪分块时,愤怒语音引发的α波去同步度(即α波功率降低)高于中性或快乐语音,特别是在枕叶通道上。在闭眼范式中,枕叶α波抑制通常被解释为警觉性提高或准备状态的增强(Barry等人,2004,2007;W?stmann等人,2020)。这种提高的警觉性可能有助于解释高唤醒水平刺激对神经跟踪的轻微积极效应;然而,与包络变异性的影响相比,这些效应可以忽略不计。
采用与自动警觉假说(Pratto和John,1991)一致的方法,愤怒语音在分块条件下观察到的选择性α波去同步最自然地被解释为对负面价值、与威胁相关线索的增强警觉性的反映。在这种框架下,注意资源优先分配给信号潜在危害的厌恶性刺激,而正面价值刺激不一定引发相同的自动定向反应。由于愤怒和快乐语音的唤醒水平都很高,快乐语音相对较弱的α波去同步性反对纯基于唤醒的机制,而支持基于警觉性的解释。在随机条件下缺乏情绪相关的α波差异进一步表明,持续暴露于一致的情感情境可能是警觉性相关神经调节出现的必要条件,或者情绪情境之间的快速交替可能会减弱这种效应。
目前的发现表明,情绪语音处理期间的α波段活动反映了不同情绪韵律下的持续警觉状态差异,而不是短暂的与事件相关的抑制效应。在这项研究中,α波功率在句子听觉期间进行了量化,并在不同预期情绪间进行了比较,捕捉了在整个刺激处理过程中持续的调制。这种解释与区分相位α动态(反映相对于参考基线的短暂、事件锁定的变化)和持续α动态(反映持续注意、唤醒或认知控制等更广泛状态相关因素的框架一致(Klimesch等人,2007;Sadaghiani和Kleinschmidt,2016)。在这种基于状态的框架下,某些情绪语音情境(例如愤怒相对于中性或快乐语音)期间的较低α波功率被解释为反映了听讲时的更高持续参与度或警觉性,而不是与刺激开始时刻锁定的短暂抑制释放。
**局限性与未来工作**
应承认本研究的几个局限性。首先,所有刺激都由同一位说话者产生。选择这位说话者是因为他们在CREMA-D数据库中对愤怒、快乐和中性韵律的演绎被评定为高准确性,我们的感知评分也证实了他们的代表性。尽管如此,目前仍不确定观察到的效应是否适用于情绪表达不太典型的说话者。在未来的工作中,纳入更多不同说话者的刺激将有助于更深入地了解这些发现的普遍性。
第二个局限性涉及我们使用被试间设计来比较长时间和随机暴露于情绪语音的情况。选择这种方法是为了避免与情绪诱导相关的潜在混淆,因为长时间暴露于单一情绪音调可能会偏置参与者的感知基线。虽然这种设计降低了情绪诱导的携带效应风险,但也限制了对细微刺激呈现差异的敏感性,不如被试内范式那么敏感。
第三,目前的方法特别敏感于情绪语音处理期间的持续、状态相关的α波动态,并没有直接解决与刺激前基线相关的相位、事件相关的α波抑制问题。如上所述,任务限制,包括情绪的携带效应和刺激前后眼睛状态的系统差异,使得无法使用稳定的基线参考。因此,目前的分析无法确定情绪语音如何调节刺激开始时的短暂、事件锁定的α反应。未来采用具有更长、情绪中性基线和受控眼睛状态的设计的研究可以更直接地区分相位和持续α动态,从而更全面地了解情绪韵律如何塑造即时的感官反应和持续注意状态。
最后,我们的大多数参与者是女性,这提出了观察到的效应可能反映性别特异性情绪语音处理模式的可能性。在未来的工作中分析更具代表性的样本对于确定这些发现是否广泛适用于不同性别,以及性别是否以系统的方式影响韵律变异性、感知判断或神经跟踪至关重要。