精神分裂症谱系障碍中伴随语义无关与语义相关共言语手势的物体相关言语的异常神经加工

《Neuropsychologia》：Dysfunctional neural processing of object-related speech with semantically unrelated vs related co-verbal gesture in schizophrenia spectrum disorders

　　

# 摘要

## 背景
精神分裂症谱系障碍（SSD）伴随多模态交流障碍，这在言语和手势的产出与理解方面的缺陷中尤为明显。既往神经影像研究发现，SSD患者在处理与物体相关的言语时，感觉运动区域（如左侧中央后回和右侧岛叶）激活减弱（He等，2021）。然而，共言语手势的语义一致性如何影响物体相关言语的神经加工仍不清楚。本研究旨在探讨语义相关与无关手势对社会及物体相关言语加工的影响。

## 方法
45例SSD患者和43名健康对照观看短视频，视频中演员呈现社会性或物体相关句子，同时配合语义相关或无关的标志性强手势（与社会相关）和工具使用手势（与物体相关）。参与者在执行内容判断任务期间采集功能磁共振成像（fMRI）数据，判断所观察的刺激包含社会性或物体相关信息。

## 结果
两组在内容判断任务中，物体相关刺激和语义相关手势均与更高的准确率相关。当处理带有无关手势的物体相关内容时，与健康对照相比，患者在一个包含辅助运动区和中央前回、额上回、眶后回和颞回的脑区簇中表现出神经激活减弱。

## 讨论
这些结果拓展了关于物体相关信息运动模拟的研究发现，这种发现可能反映在健康对照中物体相关句子的运动皮层激活上。SSD患者表现出前运动皮层激活减弱，尤其是在物体相关言语伴随语义无关手势时，提示在心理模拟方面存在特定缺陷。

# 引言

除复杂的口语交流外，人类的沟通依赖于多种模态之间的动态交互。诸如肢体语言、面部表情和手势等视觉线索用于支持或替代口语交流（Levinson & Holler, 2014），人类能够根据情境调整手势的使用方式（Mol等，2011），这有助于接收者处理信息（Biau等，2015；Holler等，2009；Obermeier等，2015）。发育学证据进一步凸显了手势的重要性，表明婴儿能够在说出第一个有意义的词汇之前理解和做出指示手势（Liszkowski等，2009）。

神经认知模型进一步表明，交流意义的加工依赖于信息的语义领域。功能磁共振成像研究已发现，社会性、人际相关和物体相关信息具有部分可区分的神经系统：当观察社会相关语言刺激时，内侧前额叶皮层和颞上回等区域参与其中（Mitchell等，2002）。这些区域此前已在其他社会认知任务的加工中被识别（Adolphs, 2001）。另一方面，物体相关刺激（如动物和工具）在梭状回、颞上和颞中回以及左侧额下回引发左偏侧化的激活模式（Binder等，2009；Chao等，1999）。He及其同事（2021）将此框架扩展至精神分裂症谱系障碍，使用内容判断范式，在手势单独、言语单独和双模态（言语+手势）条件下，研究了SSD患者对社会-抽象与非社会-具体信息的神经加工（He等，2021）。他们发现模态特异性的组间差异：患者在仅手势条件下的社会内容内侧前额叶皮层激活减弱，而仅在言语条件下的非社会内容在中央后回和右侧岛叶等区域激活减弱。重要的是，这些组间差异在双模态条件下未被观察到，提示言语和手势的同时可用性可能部分补偿单模态加工缺陷。

口语交流使说话者能够指代无限范围的概念，手势同样能够传达各种含义，从节拍手势组织和聚焦信息的能力（Dimitrova等，2016）到具象手势表征具体真相以及隐喻手势表征抽象概念。更具体地说，标志性强手势和工具使用手势都具有内在意义，但工具使用手势模仿使用工具执行的具体动作，而标志性强手势用于在社会情境中传达文化概念。

更具体地说，标志性强手势和工具使用手势都具有内在意义，但工具使用手势描绘使用工具执行的典型运动动作，通常需要对具体物体知识的要求，而标志性强手势用于传达文化中共享的、具有社会意义的概念。它们被用于向对话中的对方传达特定信息，通常有直接的语言翻译，由简短的短语组成（Ekman & Friesen, 1972）。因此，标志性强手势可以传达相对抽象的概念。

从机制上看，工具使用手势的理解可能依赖于整合动作表征与预期多模态感觉后果的预测性感官运动过程。与此一致，近期证据表明，在涉及工具使用和多模态反馈的条件下，SSD患者自我产生与外部产生感觉信号的区分能力减弱（Schmitter等，2025）。

鉴于多模态交流在社会互动中的核心作用，多模态交流的感知和产出中的障碍可能产生深远的后果。精神分裂症患者在言语产出和感知方面的缺陷已被充分描述（Bleuler, 1950; Kircher等, 2002, 2018; Meyer等, 2021; Perlini等, 2012）。此外，精神分裂症患者通常表现出社会认知方面的损害（Green等，2015, 2019），这可能对社交功能产生负面影响（Fett等，2011）。大量先前的研究集中在面部和声音的感知上，表明患者在识别面部表情（Kohler等，2010）或音调信息中的情绪线索（Kantrowitz等，2013）时表现不如健康对照。许多研究还探讨了手势产出和感知方面的缺陷，既在行为层面（Nagels等，2019），甚至将特定的手势缺陷与阴性症状和形式思维障碍联系起来（Pavlidou等，2025），也在神经层面进行了研究（Choudhury等，2021; Stegmayer等，2016; Straube等，2014; Straube, Green等，2013; Thakkar等，2014）。重要的是，越来越多的证据表明，手势-言语整合障碍不仅限于临床精神分裂症，还可能延伸至精神病性症状连续谱。在一项大型人群研究中，分裂样人格特质与具体和抽象材料的手势-言语匹配表现降低相关，其中思维紊乱与抽象手势-言语匹配的关联尤为突出（Polner等，2024）。尽管精神分裂症患者及其他群体中多模态交流的研究兴趣日益增加，但SSD如何在言语和手势提供趋同与冲突语义信息时影响多模态整合，以及这种冲突效应在社会-标志性强手势与物体-工具相关交流之间是否存在差异，仍不清楚。

He等（2021）主要通过单模态（仅言语和仅手势）与双模态（语义相关的言语和手势）条件下语义信息可用性的变化进行操作，而本研究是一项新的fMRI实验，聚焦于语义整合需求，通过系统变化言语和手势之间的相关性，同时使用语义相关和无关的双模态言语-手势刺激。尽管先前的工作已证明手势-言语整合的损害和多模态加工中神经招募的差异，但尚不清楚这些改变是否依赖于信息的语义领域以及言语和手势信息之间的一致性。区分社会-标志性强手势与物体-工具相关交流，并操纵语义相关性，可能有助于明确患者主要表现为社会认知整合缺陷、动作相关模拟缺陷（即在言语-手势加工过程中招募感官运动表征以及相关的整合努力，参见Green等，2009），还是在解决跨模态语义冲突方面的缺陷。为弥补这一空白，我们研究了社会性与物体相关句子伴随语义相关或无关的标志性强手势和工具使用手势时的行为表现和神经激活。

在本研究中，SSD患者（具体为精神分裂症和分裂情感性障碍）和健康对照执行内容判断任务，要求参与者判断视频内容描绘的是社会性情境还是物体相关动作。在这些视频中，言语刺激在社会条件下伴随语义相关或无关的标志性强手势，在物体相关条件下伴随工具使用手势。在任务进行期间采集功能磁共振成像数据。

综合考虑先前的发现，我们假设SSD患者在判断社会性言语-手势刺激时准确率较低，且在与运动模拟相关的区域——尤其是左侧中央后回和右侧岛叶——神经激活减弱（He等，2021）。基于先前关于SSD患者在处理无手势的物体相关言语时，与健康对照相比右侧岛叶和中央后回神经激活减弱的发现（He等，2021），我们预期SSD患者在观察伴随无关工具使用手势的物体相关言语刺激时，运动区域也会表现出类似的神经激活减弱。重要的是，本设计使我们能够检验手势-言语整合组间差异的两个潜在机制：(i) 语义一致手势产生的促进效应和(ii) 跨模态语义冲突下增加的加工需求。

# 段落摘要

## 参与者
45例SSD患者和43名健康对照的数据纳入分析。参与者通过互联网广告和传单招募，患者也通过马尔堡大学医院精神科和心理治疗科招募。患者根据ICD-10诊断为精神分裂症（F20.0, n = 31; F20.5, n = 2, F28, n = 1）或分裂情感性障碍（F25.X, N = 11）。30例患者接受抗精神病药物治疗，10例患者还接受额外治疗。

## 行为学结果
SSD患者和健康对照通过按钮按压表示其感知到的刺激视频是包含社会性还是物体相关内容。使用混合方差分析（ANOVA）分析正确反应数所代表的反应准确率，以句子类型（社会性或物体相关）和手势相关性（相关或无关）为被试内因素，组别（SSD患者或健康对照）为被试间因素。实验的描述性统计数据。

## 讨论
本研究结果显示，SSD患者与健康对照在处理手势-言语刺激时的组间差异在观察物体相关刺激中的语义冲突时出现。具体而言，当物体相关言语伴随语义无关的工具使用手势时，患者在前运动和辅助运动区域表现出激活减弱，而社会-标志性强手势刺激未观察到组间差异。

本研究调查了患者……

## 结论
本研究通过系统操纵社会性和物体相关交流中言语和手势之间的语义关系，考察了SSD的多模态言语-手势整合。在先前对比社会-抽象与非社会-具体内容单模态和双模态加工的研究基础上（He等，2021），我们聚焦于语义一致与不匹配下的整合需求。在行为层面，两组均从语义相关手势中获益，准确率……

## CRediT作者贡献声明
Katrin Leinweber：撰写-原稿、方法学、调查研究、形式分析、数据整理、概念化。Tilo Kircher：撰写-审阅与编辑、项目管理、资金获取。Benjamin Straube：撰写-审阅与编辑、监督、项目管理、方法学、资金获取、概念化。Yifei He：撰写-审阅与编辑、方法学、形式分析、概念化。

## 未引用参考文献
Straube等，2013; Walther等，2025。

## 资助
本研究工作得到"冯·贝林根-伦琴基金会"（项目编号59-0002）和德国研究基金会（STR1146/11-2; KI566/6-2; HE8029/5-1）的资助。KL得到由黑森州科学与艺术部LOEWE项目资助的DYNAMIC中心支持（项目编号：LOEWE1/16/519/03/09.001(0009)/98）。BS和TK得到由黑森州科学与艺术部LOEWE项目资助的DYNAMIC中心支持（项目编号：

## 利益冲突声明
作者无利益冲突需要声明。

## 作者信息
Katrin Leinweber | Yifei He | Tilo Kircher | Benjamin Straube
德国马尔堡菲利普斯大学医学院精神科和心理治疗科，Rudolf-Bultmann街8号，D-35039马尔堡，德国