编辑推荐:
本特刊以"语言感知与加工"为主题,涵盖言语声音的感知与处理,以及语言理解过程中句法、语义和语境信息的运用。特刊共收录13篇论文,其中12篇为实证研究,1篇为研究方案。Fishero等(论文1)、Oganyan等(论文2)、Zheng等(论文3)以及Venkat
本特刊以"语言感知与加工"为主题,涵盖言语声音的感知与处理,以及语言理解过程中句法、语义和语境信息的运用。特刊共收录13篇论文,其中12篇为实证研究,1篇为研究方案。Fishero等(论文1)、Oganyan等(论文2)、Zheng等(论文3)以及Venkateswaran和Wayland(论文4)考察了声学线索、知觉突显性(perceptual salience)和音系结构对言语感知及口音判断的影响。Fu等(论文5)、Leung等(论文6)、Liu等(论文7)、Tremblay和Kim(论文8)以及Hong等(论文9)探讨了语言经验、学习、跨语言影响和语言优势地位如何塑造言语产生和/或感知。Mathew等(论文10)和Meng等(论文11)采用事件相关电位(event-related potentials, ERPs)分别考察了形态句法格处理以及道德违背和语义违背的处理。Hromatko和Tadinac(论文12)考察了与月经周期阶段相关的言语表现变异和大脑半球不对称性,而Zuo等(论文13)提出了一项研究自闭症谱系障碍(autism spectrum disorder, ASD)儿童音系特征神经处理与整合的研究方案。
贯穿这些不同主题的一个共同观点是:语言加工依赖于对可用信息的选择性使用。哪些信息变得具有决定性,取决于信号的声学属性和语言属性、信号出现的结构和语境、任务要求、听者的语言经验以及个体神经认知或生物学特征。各研究采用行为、声学、计算、眼动和电生理等方法,涵盖多种语言和受试人群。言语感知研究表明,听者并非同等程度地使用言语信号中所有可用信息。例如,Fishero等(论文1)发现,当基频(fundamental frequency, F0)和语速分别操纵时,两者差异均能改善目标言语与掩蔽言语的分离;但当两个线索同时变化时,仅基频效应整体可靠,语速差异仅在目标和掩蔽具有相同基频时起作用。Oganyan等(论文2)发现,听者对新型辅音丛的反应更多由辅音的知觉突显性预测,而非由响度层级(sonority hierarchy)中的位置预测。Zheng等(论文3)表明,四川普通话听者对/i/前/n–l/对立的敏感性高于/a/前,这与/i/语境中具有更稳健的对立相关声学信息一致。Venkateswaran和Wayland(论文4)同样发现,并非所有在产生中存在差异的音系特征都能预测听者的口音判断。这些发现表明,声学或音系差异的存在并不保证其会影响感知;其贡献取决于可用性、突显性、可靠性和与任务的相关性。
语言结构的重要性在形态句法加工中同样明显。Mathew等(论文10)发现,印地语复合轻动词结构中作格(ergative)和主格(nominative)格违背诱发不同的ERP反应:作格格违背诱发晚期正成分,而主格格违背诱发双相负成分和晚期正成分。这些发现表明,对格违背的神经反应取决于其出现的结构配置。
在先前比较道德或社会规范违背与语义违背的ERP研究基础上,Meng等(论文11)在保持关键区恒定的同时改变前语境,直接比较了道德违背和语义违背。例如,"sped up"出现在相同的目标句中:"So she sped up the car immediately."当儿童正在过马路时构成道德违背,当汽车没油时构成语义违背,当司机赶时间时构成中性延续。道德违背诱发持续的后部晚期正成分,而语义违背产生较晚的正成分,其头皮分布描述性地更偏前部,但头皮分布差异未达到统计显著。这些发现与道德违背加工至少涉及部分不同于语义违背加工过程的观点相容。研究人员将道德违背的反应解释为反映评价性或情感性加工,而语义违背的反应可能反映话语表征的更新。然而,这些解释仍是初步的。
语言经验也以依赖于特定韵律模式和任务的方式塑造产生和感知。Fu等(论文5)发现,韩国学习者对普通话双音节声调序列的产生总体上随熟练度提高而改善,但序列的相对难度在各熟练水平间保持相似。与韩语声调模式相似的序列产生更准确,而以普通话声调2结尾的序列即使对高级学习者仍然困难。Liu等(论文7)同样发现,普通话听者对英语疑问焦点(interrogative focus)的感知因任务而异:在识别韵律凸显(prosodic prominence)时表现良好,但在识别焦点和判断语调自然度方面存在更大困难,且英语经验的延长并未消除这些困难。这些发现表明,语言经验的影响取决于一语和二语系统之间的关系以及被评估的韵律方面。
Hong等(论文9)也使用ERP探讨大脑是否在不同声音之间形成基于口音的归类。在EEG oddball范式中,英语母语者、汉语普通话母语者和继承语普通话听者听到由10位加拿大英语说话者和10位带普通话口音的英语说话者产生的"stopped"一词。即使标准和偏差刺激来自不同说话者,加拿大英语作为偏差刺激时,英语母语组和普通话母语组均诱发失匹配负波(mismatch negativity, MMN)。由于刺激跨说话者变化,该反应与听者检测到口音层面的规律性一致,尽管存在说话者特定的声学变异。继承语普通话组对任一□音均未显示可靠的MMN反应,但该组内反应随汉语熟练度变化。结果表明,对口音变异的前注意反应取决于听者的语言经历。
Leung等(论文6)回应了言语感知与产生是否以及如何相关的长期问题。Leung和Wang的早期研究发现,普通话声调感知和产生通过F0斜率(声调分类的关键知觉线索)相关联,而非通过F0均值。当前研究将该工作扩展到二语学习,考察印尼普通话学习者在四至六周持续教学中的表现。在各次访问中,学习者对F0斜率赋予更大的知觉权重,其产生也变得更准确地被F0斜率分类。F0均值仅在产生中显示学习效应。尽管感知和产生在F0斜率方面平行变化,但学习者的获益大小并不相关。因此,感知与产生的关系似乎是线索特异性的,而非整体感知与产生准确性之间的一般对应。
本特刊的研究提供了若干新见解。第一,Fishero等(论文1)提出了为什么当两个线索都可用时F0比语速具有更强效应的问题。研究人员提出,F0获得更大权重是因为它更可靠地标示说话者身份,而语速在同一说话者内部可有较大变化。Fishero等将目标和掩蔽调整为175或225 Hz的F0值。测试中间F0差异可以确定语速的贡献是随F0变得更明显而逐渐减少,还是在F0差异达到知觉阈值时发生改变。该效应也可能取决于信号中可恢复的信息量。Ma等发现,视觉信息在中等听觉噪声水平而非最差信噪比(signal-to-noise ratio, SNR)下对词汇识别贡献最大。遵循其贝叶斯解释,语速可能在F0提供不确定的分离证据但信号仍足够清晰以检测语速差异时贡献最大。同时操纵F0分离度和SNR可以检验这一可能性。
这一问题也与人工耳蜗(cochlear implant, CI)使用者相关,他们通常对F0信息的获取有限,且在竞争说话者条件下理解言语存在困难。一些CI使用者受益于目标和掩蔽言语之间的嗓音性别差异,尽管这种获益取决于他们将音高不同的嗓音进行知觉分离的能力。鉴于其F0获取有限,一个重要问题是CI使用者能否更依赖语速差异来分离竞争言语。尽管F0和嗓音性别差异对言语分离的影响已在CI使用者中研究过,但语速能否在F0分辨率较差时作为替代分离线索仍不清楚。在操纵F0和语速差异的同时比较正常听力和CI使用者可以检验这一可能性。
第二,Hong等(论文9)提供了新证据表明跨说话者口音变化的前注意神经反应因听者群体而异。英语母语者和普通话母语者在加拿大英语作为偏差口音出现时显示可靠的失匹配反应。继承语普通话听者对加拿大英语或带普通话口音的英语均未显示可靠的失匹配反应,且其反应随自我报告的汉语熟练度变化。因此其模式不能简单描述为介于其他两组之间。先前研究表明,继承语说话者可能以不同于单语者和晚期二语学习者的方式保持区分或加权语音信息。Hong等通过表明继承语经验也可能影响听者如何表征跨说话者的口音变异来扩展这一工作。
然而,该研究未识别这些群体差异背后的线索。听者在回应跨说话者口音变异时可能依赖不同的声学或音系属性。未来研究可操纵单个口音线索并连续测量语言经验,以确定这些线索如何促进母语、二语和继承语听者的前注意口音区分。
第三,Meng等(论文11)探讨了道德违背是否与情境或语义知识冲突以相同方式加工。其发现表明二者并非相同加工。由于关键句和关键词在各条件下保持恒定,不同ERP反应不能归因于目标表达本身的差异。道德上不可接受但物理上可能的动作所诱发的反应在幅度和时间上与情境中不合理的动作反应不同。此外,道德可接受性解释了超越合理性所能解释的后部正成分。因此,在此操纵下道德和语义条件诱发不同的晚期ERP反应,与二者涉及部分不同加工过程的可能性一致。
第四,Oganyan等(论文2)对不熟悉辅音序列的反应反映抽象响度约束还是知觉压力的争论做出了贡献。通过使用眼动考察不熟悉辅音丛的实时加工,研究人员发现听者的反应更多由辅音突显性预测,而非由响度层级预测。这为Wright提出的线索可恢复性(cue-recoverability)假说提供了新的在线证据。更一般地,这些发现告诫人们不要将系统性的不熟悉声音模式反应视为抽象响度约束的证据,因为这些反应可能由信号的知觉属性解释。跨语言研究可以确定这些反应何时反映一般听觉压力,何时反映通过经验习得的音系模式。
第五,Tremblay和Kim(论文8)表明,双语线索加权不能被理解为L1知觉常规向L2的固定迁移。西班牙语主导的双语者在感知英语词汇重音时更多依赖音高和时长,而英语主导程度越高,对元音质量的依赖增加,对音高和时长的依赖减少。因此线索加权随听者在两种语言中的相对经验而变化。这一发现可在Tremblay等提出的线索生态学(cue-ecology)框架内理解。该框架不同于将L1影响主要描述为L1是否包含特定音系类别的传统方法,而是提出听者迁移由声学线索在L1系统中的功能方式塑造的维度特异性注意优先级。当相同维度在两种语言中均提供有用信息时,这些优先级可能支持L2感知,但当其对L2并非最优时也可能持续存在。Tremblay和Kim的发现表明,这些L1塑造的优先级随语言优势地位系统性变化,与随相对语言经验变化而重新校准的可能性一致。
最后,Hromatko和Tadinac(论文12)表明,与月经周期阶段相关的变异对所执行的言语任务是特异性的。女性在黄体中期比卵泡早期在语义决策任务中反应更快,在言语流畅性任务中产生更长的句子。这些行为差异伴随大脑半球偏侧化(hemispheric laterality)的变化。相比之下,言语推理表现和偏侧化在周期各阶段间无差异。这些发现表明,月经周期阶段与言语加工之间的关系是任务依赖性的,而非在言语能力间统一。由于未直接测量激素水平,观察到的差异应归因于周期阶段而非特定激素机制。
本特刊的研究还指出了若干更广泛的研究方向。其一是将无诊断感觉、神经或发育障碍的成人研究结果扩展到临床人群。这不仅确定效应能否在另一群体中复制,还可显示语言加工的哪些方面依赖于特定感觉线索的获取,哪些可由替代信息支持。例如,CI使用者的研究可揭示音高信息分辨率较差时线索如何被重新加权。Zuo等(论文13)提出的方案同样说明神经发育人群的研究如何阐明音系特征感知背后的过程。跨人群比较因此既有助于语言加工理论,也有助于临床评估和干预。
第二个方向涉及社会信息对言语感知的影响。听者对说话者语言背景、口音或社会身份的信念可影响言语信号的解释方式。尚不清楚的是这些信念最初如何形成。听者可能利用说话者的嗓音、发音、外表、语言选择或周围语境,而这些信息来源可能并不总是一致。未来研究可考察听者如何组合这些线索来推断说话者是谁、该推断被修正的速度,以及它如何改变对后续言语的解释。这将把线索加权研究从信号内的声学信息扩展到关于被认为产生该信号的人的信息。
另一个重要方向是研究互动中的语言加工,而非仅作为对固定刺激的个体反应。尽管与人工代理的互动未在本特刊中直接考察,但这一方向为其更广泛主题提供了前瞻性延伸。在人-人互动中,说话者在词汇、语义和韵律层面相互适应。这些对齐形式不必总是同时发生或对交际成功做出相同贡献。未来研究可确定哪些对齐形式支持成功交际,以及观察者能否检测到这种协调并预测对话组合的表现。从人-人互动中获得的发现可为研究人-AI和人-机器人交际提供基础,包括支持人与人交际的对齐形式是否也支持与人工伙伴的交际。最后,道德加工提供了相关的延伸方向。同一行为在归因于人、AI系统或机器人时可能被不同评价。这些判断可能取决于人工代理是否被认为具有知识、意图、控制或责任。基于Meng等(论文11)的方法,未来研究可在保持所描述行为恒定的同时改变行为者的身份和推定能动性(agency)。这将表明对人工代理的信念如何影响对其行为的解释和道德评价。AI和机器人也可作为受控伙伴,用于考察词汇内容、韵律和反馈如何影响相互适应、协调、信任和责任判断。
语言感知与加工研究:从声学线索到神经认知机制的系统性综述
一、研究背景与问题提出
语言加工是人类认知的核心能力之一,涵盖从言语声音的感知到句法、语义和语境信息的综合运用。尽管已有大量研究探讨语言加工的各个层面,但一个关键问题始终悬而未决:听者和读者如何在众多可用信息中进行选择性使用?哪些信息在何种条件下变得具有决定性?本特刊正是围绕这一问题展开,汇集了13篇论文,其中12篇为实证研究,1篇为研究方案,从声学线索、音系结构、形态句法加工、语言经验、神经电生理机制等多个维度系统考察了语言感知与加工的复杂性。
现有研究面临的主要问题包括:第一,声学或音系差异的存在并不保证其会影响感知,其贡献取决于可用性、突显性、可靠性和任务相关性;第二,语言经验的影响并非单一模式,而是取决于一语和二语系统之间的关系以及被评估的语言层面;第三,神经反应对语言违背的加工取决于其出现的结构配置;第四,感知与产生的关系是线索特异性的,而非整体对应。这些问题的存在促使研究者采用多方法、多语言、多人群的系统考察,以揭示语言加工的选择性机制。
二、研究内容与主要发现
本特刊的研究围绕几个核心主题展开。在言语感知层面,Fishero等(论文1)发现基频(F0)和语速在言语分离中的作用不对称:当两个线索同时变化时,仅F0效应可靠,语速差异仅在F0相同时起作用。Oganyan等(论文2)通过眼动技术发现,听者对不熟悉辅音丛的反应更多由辅音知觉突显性预测,而非响度层级,为线索可恢复性假说提供了新的在线证据。Zheng等(论文3)表明四川普通话听者对/n–l/对立的敏感性具有语境依赖性。Venkateswaran和Wayland(论文4)发现并非所有产生中存在的音系特征差异都能预测口音判断。
在语言经验与双语加工层面,Fu等(论文5)发现韩国学习者普通话声调产生的相对难度跨熟练度保持稳定。Leung等(论文6)追踪印尼学习者发现感知与产生通过F0斜率相关联,且该关联是线索特异性的。Liu等(论文7)表明普通话听者对英语疑问焦点的感知因任务而异。Tremblay和Kim(论文8)揭示双语线索加权随语言优势地位动态变化,支持线索生态学框架。Hong等(论文9)发现前注意口音反应因听者语言经历而异,继承语普通话听者表现出独特模式。
在神经机制层面,Mathew等(论文10)发现印地语中作格和主格格违背诱发不同ERP模式。Meng等(论文11)在保持关键句恒定的条件下直接比较道德违背和语义违背,发现二者诱发不同的晚期ERP反应。Hromatko和Tadinac(论文12)表明月经周期阶段对言语加工的影响是任务依赖性的。Zuo等(论文13)提出研究自闭症谱系障碍儿童音系特征神经处理的方案。
三、主要技术方法
本特刊研究采用多种关键技术方法:行为实验用于测量知觉判断和产生准确性;声学分析用于量化语音信号特征;眼动追踪用于考察实时加工过程;事件相关电位(ERPs)用于测量神经电生理反应,包括失匹配负波(MMN)和晚期正成分等;EEG oddball范式用于考察前注意加工;计算建模用于预测知觉反应。样本包括英语母语者、普通话母语者、韩语-普通话双语者、西班牙语-英语双语者、印尼普通话学习者、继承语普通话者以及女性受试者等多元人群。
四、研究结果分述
声学线索与言语分离。 Fishero等(论文1)通过操纵目标和掩蔽言语的F0和语速差异,发现F0是更可靠的分离线索,语速仅在F0相同时起作用,提示线索权重取决于其可靠性。
辅音序列知觉。 Oganyan等(论文2)使用眼动追踪考察不熟悉辅音丛的实时加工,发现知觉突显性比响度层级更好地预测听者反应,支持线索可恢复性假说。
声调对立感知。 Zheng等(论文3)发现四川普通话听者对/n–l/对立的敏感性在/i/语境高于/a/语境,与语境中声学信息的稳健性一致。
口音判断的线索基础。 Venkateswaran和Wayland(论文4)发现并非所有产生差异都能预测口音判断,提示知觉权重具有选择性。
二语声调产生。 Fu等(论文5)发现韩国学习者的普通话声调产生随熟练度提高,但相对难度模式稳定,与L1声调模式相似的序列更易习得。
感知-产生关系。 Leung等(论文6)追踪印尼学习者发现F0斜率的知觉权重和产生准确性平行变化,但个体获益不相关,表明线索特异性关联。
疑问焦点感知。 Liu等(论文7)发现普通话听者识别英语韵律凸显较好,但焦点识别和自然度判断较难,英语经验未消除困难。
双语线索加权。 Tremblay和Kim(论文8)发现西班牙语主导者更依赖音高和时长,英语主导者更依赖元音质量,线索加权随语言优势变化。
口音的前注意加工。 Hong等(论文9)发现英语母语者和普通话母语者对加拿大英语口音变化显示MMN反应,继承语普通话者无可靠反应,且反应随汉语熟练度变化。
格违背的神经反应。 Mathew等(论文10)发现作格格违背诱发晚期正成分,主格格违背诱发双相负成分和晚期正成分,反应取决于结构配置。
道德与语义违背。 Meng等(论文11)在恒定关键句条件下发现道德违背诱发持续后部晚期正成分,语义违背诱发较晚且分布更靠前的正成分。
月经周期与言语加工。 Hromatko和Tadinac(论文12)发现黄体中期语义决策更快、言语流畅性句子更长,伴随半球偏侧化变化,但言语推理无差异。
ASD音系加工方案。 Zuo等(论文13)提出研究ASD儿童音系特征神经处理和整合的研究方案。
五、讨论与结论
本特刊研究揭示了语言加工的核心特征:信息的选择性使用。哪些信息变得具有决定性,取决于声学属性、语言结构、任务要求、语言经验和个体神经认知特征。研究提出了若干重要方向:将成人研究扩展到临床人群(如CI使用者)可揭示线索重新加权机制;社会信息(如对说话者身份的信念)如何影响言语解释值得深入研究;互动中的语言加工(包括人-AI交际)是重要前瞻方向;道德加工研究可扩展到人工代理的责任判断。
研究结论表明:语言加工依赖于对可用信息的选择性使用,线索的贡献取决于其可用性、突显性、可靠性和任务相关性;语言经验的影响是动态的、线索特异性的,而非固定的迁移模式;神经反应对语言违背的加工取决于结构配置和违背类型;感知与产生的关系通过特定线索而非整体准确性相关联;前注意加工反映听者的语言经历和口音表征。这些发现为理解语言加工的认知和神经机制提供了重要证据,也为临床评估和干预以及人机交际研究提供了理论基础。