普通话重音识别：利用事件相关电位探索听觉基线与视觉调制

《Brain Research》：Stress recognition in Mandarin Chinese: exploring auditory baselines and visual modulation using ERP

　　

摘要本研究旨在确定重音识别的感知基线——即重音识别是依赖于通过句内在线比较计算出的内部基线，还是依赖于从先前声学经验积累的外部基线——并进一步考察这一听觉基线是否受内部认知处理结果调节。为实现这些目标，设计了两个事件相关电位（ERP）实验。实验 1 采用被动听觉异探范式，比较了非重音和逻辑重音条件下的 ERP 反应。结果表明，在同一试验中任何非重音音节出现之前，句首主语逻辑重音即引发了显著的 P200 调节。大脑从先前语境中积累非重音语音的声学模板，并将逻辑重音检测为对该模板的偏离，而不是在单个句子内重建对比关系，从而支持了外部基线假设；实验 2 采用跨模态正字法提示任务，其中带有视觉重音标记（加粗和下划线）的书面句子与其听觉对应项同时呈现。视觉一致和不一致条件下早期听觉成分（N100 和 P200）的振幅变化及其与行为结果的一致性，共同表明视觉预期影响了重音的听觉感知，这在一定程度上表明某些内部认知过程的结果可以影响逻辑重音识别的听觉基线。这些发现有助于探究汉语普通话句子中逻辑重音的听觉识别机制。

引言重音指的是句子中发音强调程度较高的单词或结构成分（人民教育出版社，1999）。重音音节的声学特征主要体现为重音音节音高上下限、时长和强度的延伸，即变化范围的扩大（赵元任，1922）。作为一种声调语言，汉语中重音的类型和分布对于传达句子的核心信息和说话者的意图至关重要。重音被广泛认为是汉语中一个重要的韵律特征，在口语交际中起着重要作用（杨，2007；段木，2007）。然而，重音在汉语中的地位——无论是音位性的、非音位性的，甚至是声调和语调的衍生——仍然是理论争论的焦点（徐，1999）。研究汉语重音尤为重要，因为与非声调语言的重音模式相比，汉语重音不仅在词层面信号化强调，还影响句子的整体语义结构。因此，了解汉语重音对认知过程的影响有助于揭示语言处理的普遍原理和特殊性。

在汉语句子中，逻辑重音指的是放在特定成分上的韵律突显，用以表达语义对比、强调或说话者的交际意图（周，1980）。逻辑重音不受语法结构影响，而是由说话者根据句子的潜在含义和交际目的来确定。为了便于实验验证，本研究使用的句子均为主谓补结构，重音出现在主语位置或谓补位置，分别称为主语逻辑重音和谓补逻辑重音。例如，在句子“小王是一名司机”中，如果说话者强调“小王”，那么“小王”就是主语逻辑重音。如果说话者强调“司机”，那么“司机”就是谓补逻辑重音。

需要注意的是，逻辑重音与格律音系学中的核心重音规则（NSR）（乔姆斯基和哈利，1968；利伯曼和普林斯，1977）以及韵律层级（内斯波尔和沃格尔，1986）属于不同的理论维度。韵律层级和 NSR 主要表征无语境标记条件下短语和句子的默认突显关系，描绘了从音步到语调短语的层级组织，通常不涉及说话者的特定语用意图。相比之下，逻辑重音是由语用信息结构驱动在线突显，在韵律结构允许的范围内增加对比性重音。

此外，逻辑重音与信息结构理论中的焦点概念密切相关但存在重要区别。焦点是一个语用范畴，用于识别话语中新信息或对比信息的位置（克里夫卡，2008）。逻辑重音是实现焦点的最重要的语音手段之一，但它不是唯一的手段；焦点也可以通过句法结构或形态标记来编码。同样，尽管逻辑重音经常与焦点共现，它也可以服务于其他语用功能（例如情感强调）。

一些研究表明，句子层面的逻辑重音既影响信息处理也影响句法结构（卡特和福斯，1977；伯奇和克利夫顿，1995；卡特等，1997；古森霍文，2011）。当论元（如句子中的主语或谓补）承载重音时，它们倾向于接受重音，这可以将重音投射到整个短语或句子。重音的投射使得参与者在处理复杂句子结构时能够获得更多信息，从而直接促进语义理解（伯奇和克利夫顿，1995）。重音对信息和句法结构的影响导致语义理解的差异。埃克斯坦和弗里德里西（2005）发现，在句子理解的后期阶段，句法和韵律之间存在显著交互作用，主要表现为 P600 效应，在句法和韵律违反的情况下比单纯句法违反更大。在该研究中，句法违反通过短语结构错误（例如词序错误）实现，而韵律违反通过在不合适的成分上放置对比重音（例如强调功能词）实现。这表明在句子理解期间，大脑不仅分别处理句法和韵律信息，而且在后期阶段整合这两种信息。同样，海姆和阿尔特（2006）分析了具有不同重音位置和可预测性的德语句子，发现不可预测的重音引发了分布更广泛的 N400 效应，反映了语义处理的困难，并突出了韵律重音与语义整合之间的密切交互作用。然而，这些发现并未直接回答重音是否作为独立的语义载体发挥作用。多项 ERP 研究表明，韵律重音与语境信息交互作用，共同决定语义处理的深度和难度（王等，2011；马涅等，2005；李等，2017），但重音是否可以作为独立的语义单元进行处理仍然不清楚。

综上所述，现有文献主要集中在逻辑重音对句子理解中句法、语义和信息结构等高层处理的影响，而对听觉模态中重音本身的识别机制及其感知基线的确定关注较少。这一核心问题构成了本研究的起点。

前文定义了逻辑重音，并将其与韵律结构和焦点等相关概念区分开来，其中的讨论主要集中于重音对句法和语义处理的后续影响。然而，一个更基本的前提在于听觉上确定给定音节是“重音”，这必然预设了某种重音识别的感知基线。

许多相关研究采用了事件相关电位（ERP），因为它可以测量与特定刺激时间锁定的脑电活动，并提供认知过程的毫秒级时间分辨率。

扎纳等（2019）调查了 F0 峰值相对于重音音节的时间对齐如何影响德语中的重音感知。他们的发现表明，当 F0 峰值与预期的重音位置不匹配时，听者的重音识别错误率显著增加。这表明音高的时间特征对于重音感知至关重要。库特施莱德等（2022）考察了先前对重音的经验如何影响听者对词和句子层面重音的识别。他们的研究发现，听者倾向于将高或上升的音高感知为重音，并且这种倾向在短期接触语音后可以进行调整。这表明重音感知具有可塑性，并受语境和先前经验的影响。

来自失匹配负波（MMN）研究的进一步证据突出了早期听觉偏差检测在韵律处理中的作用。佐拉等（2020）证明，词重音模式的违反可以引发 MMN，表明大脑在注意前阶段会自动记录偏离预期重音模板的情况。同样，魏等（2025）使用具有普通话声调对比的异探范式，发现 MMN 反应受语音突显性和听者特定语言预期的调节，揭示了自下而上的声学敏感性与自上而下的预测处理之间的交互作用。这些发现直接支持了我们的实验设计，该设计采用异探范式来考察主语和谓补重音是否相对于非重音基线作为偏差刺激发挥作用。

在汉语等声调语言中，重音的感知和产生不能脱离词汇声调来理解。重音和声调系统地交互作用，因为两者都依赖基频（F0）作为主要声学线索。徐（1999）证明，焦点重音扩大了声调音高范围——使高调更高、低调更低——同时保持规范声调轮廓，表明重音和声调身份是平行编码的。陈和古森霍文（2008）进一步揭示，普通话中强调的语音实现因目标声调而异；强调下的 F0 调整具有声调类别特异性，声调目标与强调重音的交互作用产生了听者可以识别的独特韵律模式。刘和徐（2005）表明，普通话中的重音和疑问语调在 F0 轮廓上平行编码，两者同时实现而不损害声调完整性。综上所述，这些发现表明，任何汉语重音识别模型都必须解释听者如何将重音引起的 F0 变异与底层声调规范分离开来——这一过程很可能构成了在连续语音中建立重音听觉基线的基础。

重音识别也可能受外语经验影响。格雷等（2019）探讨了外语重音语音如何影响第二语言（L2）句子理解。ERP 结果表明，尽管参与者在行为层面上理解母语重音和外语重音语音的准确率相似，但他们的神经处理模式不同。李等（2020）考察了母语者和第二语言学习者如何处理对比重音。

这些研究支持了重音在句法、语义、信息结构、时间对齐和外语处理中的关键作用。它们也强调了重音感知的动态性和语言特异性。通过整合这些研究发现，我们可以加深对普通话重音听觉识别机制的理解。

大多数相关研究探讨了重音与外部因素之间的关系，这自然引出了另一个研究领域：重音感知是否也受大脑中其他内部处理机制的影响。

卡库罗斯和拉萨宁（2016）提出了“重音感知与韵律特征的时间不确定性有关”的假设。他们的研究表明，听者更倾向于将不确定的韵律特征（如不稳定的 F0 变化）感知为重音。这项研究对于理解普通话重音的听觉识别基线具有重要启示，表明听者可能依赖音高和能量变化的动态模式，而不是固定的音高峰值来识别重音。范德布尔赫特等（2021）考察了重音在建立句法和语义预期中的作用。他们的研究表明，重音不仅引导听者形成语义预期，还影响句法结构解析。

李和杨（2005）调查了重音一致性对话语中信息激活的影响，发现不一致的重音增强了旧信息的激活，但抑制了新信息的激活，从而影响话语理解。李等（2008）通过 ERP 研究进一步调查了这一问题，发现不一致的重音触发 N400 效应，表明它影响语义处理的深度和难度。此外，卡尔维特和塞森（2004）强调了跨模态信息整合在语音处理中的重要性，指出视觉信息可以显著提高听觉处理效率。这些研究使我们推测，大脑内处理的信息，特别是关于重音的预期，可能会影响重音识别。

本研究建立在先前研究的基础上，进一步探讨以下核心问题：重音的听觉识别是否受视觉信息调节？当视听信息不一致时是否会产生认知冲突？

综上所述，本研究不仅验证了视觉信息对听觉重音识别的早期影响，还揭示了视听一致性如何调节重音识别的神经机制，扩展了以往仅关注重音对语义理解影响的研究视角。这些研究有助于加深我们对汉语重音感知以及重音加工机制的理解。

尽管取得了上述进展，但一个基本问题仍未得到解答：大脑基于何种感知基线来确定一个音节是“重音”的？识别重音必然意味着感知到某些声学特征相对于某个参考点更为突出。原则上，这个参考点可以通过两种截然不同的方式建立。第一种方式（我们称之为内部基线）是听者在句子内计算重音，即将潜在重读词的声学特征与同一句子中周围非重读词的特征进行即时对比。根据这一观点，句子开头的重音无法被识别，因为尚未遇到非重读的参考。相反，第二种方式（我们称之为外部基线）是听者根据先前的语言经验——尤其是先前的话语——逐渐积累一个关于什么是“重读”与“非重读”语音的内部模板，然后利用这个模板实时评估传入的音节。根据这一解释，只要声学特征与存储的重读模板匹配，即使在句子开始时也能识别重音。

迄今为止，尚无研究直接测试这两种机制中哪一种作为汉语重音感知的基础。回答这个问题至关重要，因为它塑造了重音识别基线的基本性质：如果重音识别依赖于从前序话语积累的外部基线，那么基线本身本质上是动态的，受输入中声学规律的影响，并受到自下而上声学模板和自上而下认知加工的调节。因此，澄清哪种机制在起作用，对于理解重音本身的感知基础设施至关重要，同时也揭示了大脑在连续言语加工过程中如何编码和更新韵律参考框架——这是我们理解言语加工中缺失的一环。

基于这一理论框架，我们提出了两个核心假设：重音识别基线假设：听觉重音识别依赖于先前声学输入建立的外部基线，而不是句内对比。因此，在畸变体范式中，句首重音将被快速且自动地检测到，表现为显著的 P200 振幅调制和类似 MMN 的反应。重音期望调节假设：视觉重音线索可以影响听觉重音基线。因此，与不一致条件相比，视听一致条件将导致 N100 和 P200 振幅增强。

为了检验这两个假设，我们设计了两个实验。实验 1 采用被动听觉畸变体范式，以确定重音的感知基线是计算在当前句子内，还是从前序语言语境中延续而来，从而检验重音识别基线假设。在实验 1 确认重音识别依赖于先前声学经验建立的外部基线后，实验 2 采用跨模态正字法线索任务，以调查这一听觉基线是否可能受视觉重音标记的影响，从而检验重音期望调节假设。如果视觉线索可以影响早期听觉重音加工，这将表明重音识别不仅是一种声学现象，还涉及相关内部认知加工的调节机制。

章节片段方法实验 1 采用单因素重复测量设计，使用被动听觉畸变体范式。本实验旨在为研究假设 1 提供直接的神经证据：即主语重音畸变刺激和谓补重音畸变刺激是否会诱发 N100、P200 和 MMN 成分，从而直接检验重音识别的基线是来源于当前句子内，还是从先前经验中积累而来。畸变体方法实验 1 表明，重音识别的听觉基线依赖于从先前语境中积累的声学模板。实验 2 进一步调查了这一基线是否可能受内部认知加工结果的影响，其中最可能是重音期望。在实验 2 中，我们采用跨模态正字法线索范式，其中标有粗体和下划线的书面句子与其同时呈现。听觉重音感知的基线实验 1 采用畸变体范式，畸变刺激的 P200 振幅显著小于标准刺激这一发现表明，参与者能够清晰地检测到畸变刺激中的重音。尽管畸变刺激诱发的 P200 相比标准刺激有所减弱——这种模式对于简单的声学畸变体范式并不典型——但这必须在畸变的语言学性质背景下加以理解。不同于结论本研究旨在调查汉语逻辑重音听觉识别的感知基线。结果汇聚于两个主要结论。首先，重音识别依赖于大脑从先前语境中积累“非重读语音”的声学模板，并将重音检测为一种偏差，而不是在每个单独的句子内重新计算对比关系。这将重音感知的理论视角从局部声学对比转移到了语境 - 数据可用性声明支持当前研究发现的科研材料和实验数据通过开放科学框架（https://osf.io/7gfcd/?view_only=03fceebaba9a434c853bf50c6f4d78ed）公开可用。CRediT 作者贡献声明蒋宇文：写作 – 审核与编辑，写作 – 初稿，可视化，验证，资源，方法论，调查，形式分析，数据管理，概念化。李静：写作 – 审核与编辑，可视化，验证，软件，方法论，调查，形式分析，数据管理。罗传伟：写作 – 审核与编辑，监督，资源，项目管理，方法论，资金获取。于天慧：方法论，调查，形式分析，未引用参考文献 Friedrich and Friederici, 2004, Li and Lu, 2011.蒋宇文 | 李静 | 罗传伟 | 于天慧 | 黄建仪 浙江师范大学外国语学院，中国金华