《Cognitive Science》:Bidirectional Interactions Between Language and Music in a Dual Task Experiment Without Syntactic Violations
编辑推荐:
为考察语言与音乐之间可能存在共享句法机制,研究人员开展了一项新颖的无句法违例双任务范式改编研究,以评估两个领域之间的双向交互程度。被试在听和声进行的同时阅读自然语言句子,随后按随机顺序给出音乐闭合判断与语言理解作答。研究人员基于词与和弦之间的非局部依赖,对语言
为考察语言与音乐之间可能存在共享句法机制,研究人员开展了一项新颖的无句法违例双任务范式改编研究,以评估两个领域之间的双向交互程度。被试在听和声进行的同时阅读自然语言句子,随后按随机顺序给出音乐闭合判断与语言理解作答。研究人员基于词与和弦之间的非局部依赖,对语言刺激与音乐刺激同时操纵其句法结构复杂度(syntactic structural complexity,SynSC)与句法工作记忆需求(syntactic working memory,SynWM)。研究人员发现一种双向但不平衡的交叉领域交互模式:语言对音乐的影响相对大于反向影响,且这种效应主要源于句法结构复杂度而非句法工作记忆需求,尽管研究人员也讨论在并发、高资源需求加工过程中可能采用了替代性启发式策略。研究人员还发现,当序列中句法关键性词汇与调性关键点在时间上重合时,跨域交互往往最为显著。这些结果为主张语言与音乐共享资源的理论模型提供了新的证据。
研究背景方面,语言与音乐都具有组合性、生成性的句法系统,能够从离散元素生成具有层级结构、局部与非局部依赖的时间序列。当前学界存在两极化争议:一方面,失乐症与失语症的双重分离、行为及神经影像研究支持模块独立观;另一方面,共享句法整合资源假说(Shared Syntactic Integration Resource Hypothesis,SSIRH)与超模态层级解析假说(Supramodal Hierarchical Parser,SHP)认为语言与音乐依赖共同神经认知资源。已有研究多使用句法违例范式,被质疑所引发事件相关电位可能反映显著性驱动的注意或错误检测,而非纯句法加工。因此,研究人员在《Cognitive Science》发表该研究,采用无句法违例双任务,考察语言与音乐是否交互,以及交互主要来自句法结构复杂度(SynSC)还是句法工作记忆(SynWM)。
关键技术方法方面,研究人员通过UCLA的SONA系统招募50名以英语为母语、无音乐理论与语言学专业训练的被试。实验用PsychoPy2呈现刺激:语言材料为八词句子,含简单嵌入(SE)、右分支主语提取关系从句(SRC1)、中心嵌入主语提取关系从句(SRC2)与中心嵌入宾语提取关系从句(ORC);音乐材料为九和弦序列,含回到原调的Return结构与停留新调的Stay结构,并操纵枢轴点和回归点位置。任务分单任务与双任务,因变量为语言理解正确率与音乐闭合评分(1至7)。统计采用线性混合模型(Linear Mixed Models,LMM)与广义线性混合模型(GLMM),并以重复测量方差分析作一致性校验。
研究结果如下。
3.1 Research question 1:研究人员通过模型1发现,双任务中语言理解正确率下降,尤其SRC2几乎降至随机水平,而ORC未受明显影响;语言SynSC对比(SRC2减SRC1)在双任务中急剧增大,语言SynWM对比(ORC减SRC2)在单任务不显著,说明音乐主要放大语言句法结构复杂度成本。模型2a显示,双任务中Return结构的音乐闭合评分升高,Return与Stay差异缩小,表明语言影响音乐SynSC加工。模型2b显示,枢轴-回归距离增大降低闭合评分,双任务中该负向斜率变小,说明语言调制音乐SynWM。模型3a未发现句子结构乘音乐结构对语言准确率的显著交互;模型3b发现SRC2与ORC等中心嵌入句会放大Return减Stay效应,说明语言SynSC与音乐SynSC交互,而非SynWM主导。模型4a与4b显示,音乐SynWM对语言或音乐加工的交互较弱,未强有力支持音乐SynWM与语言SynWM交互。
3.2 Research question 2:模型5a显示,双任务中SRC2在枢轴点P3与关系化词that重合时语言正确率最低,说明关键句法时刻重合会损害语言加工。模型5b显示,枢轴点位置与句子结构在音乐闭合评分上存在显著交互,所有句子类型均在关键时刻出现音乐加工变化。模型进一步表明,当语言与音乐的关键句法节点时间重合,跨域交互最强。
讨论与结论部分,研究人员指出:无句法违例条件下仍存在双向但不平衡的跨域交互,语言对音乐影响更强;效应主要由句法结构复杂度(SynSC)驱动,而非句法工作记忆(SynWM);在嵌入起始的关系化词that与枢轴和弦、嵌入结束的主动词与回归和弦时间重合时,整合负担最大。结论可译为:研究发现一种双向但不平衡的模式,语言比音乐施加相对更多影响,似乎主要来自句法结构复杂度而非句法工作记忆需求;跨域交互在句法关键词与调性关键点时间重合时最突出。这些结果支持语言与音乐存在共享句法整合资源的理论模型。