《Nature Neuroscience》:A neural architecture for imagined and overt speech motor dynamics
编辑推荐:
心理意象是人类认知的标志,然而其神经机制仍知之甚少。言语意象(即无外显发音的言语内部模拟)被认为与言语产生部分共享神经基质,但其时空动态仍存在争议。研究人员利用高分辨率皮质脑电图(electrocorticography, ECoG)考察了言语意象与发声过程中
心理意象是人类认知的标志,然而其神经机制仍知之甚少。言语意象(即无外显发音的言语内部模拟)被认为与言语产生部分共享神经基质,但其时空动态仍存在争议。研究人员利用高分辨率皮质脑电图(electrocorticography, ECoG)考察了言语意象与发声过程中发音运动学轨迹(articulatory kinematic trajectories, AKT)的共享与模态特异性编码。线性建模显示,前额顶叶皮层在两种模态下均稳定编码AKT。位于中央前回中部(middle premotor)、亚中央区(subcentral)及后中央-缘上回(postcentral–supramarginal)的跨模态群体在整合性规划中表现出的时空稳定性;与之相对,言语意象与发声的模态特异性群体在初级体感觉运动皮层(primary sensorimotor cortex, SMC)中按躯体定位方式交织分布,呈现出不同的时空组织。研究人员进一步构建了通用解码框架,对言语意象的预测准确率中位数为80.4%(随机水平16.7%),与发声的78.3%相当。这些发现揭示了将跨模态规划与模态特异性表征相联系的躯体-认知组织,可为基于意象的脑机接口(brain–computer interfaces, BCI)提供理论基础。
研究背景方面,心理意象(mental imagery)是连接过去经验、当前状态与未来情景的人类认知特质,而言语意象(speech imagery,亦称想象言语 imagined speech)指无外显或可听发音的言语内部准知觉体验。外显言语产生具有概念形成、词汇选择、音位编码、运动规划和发音执行等明确序列,但言语意象的神经机制长期未被充分刻画。已有功能磁共振(fMRI)、脑磁图(MEG)和头皮脑电(EEG)研究提示,言语意象与发声在运动规划早期存在相似性,前额顶叶如中央前运动皮层和缘上回(supramarginal gyrus, SMG)有重叠激活,而初级体感觉运动皮层(primary sensorimotor cortex, SMC)参与减弱;模型认为言语意象可能依赖运动指令的传出副本(efference copies),通过前额顶叶前向模型支持内部感觉运动模拟,但受无创方法时空分辨率和颅内记录稀缺限制,内部与外部言语的神经组织仍不清楚。该研究由《Nature Neuroscience》发表,利用高密度ECoG在九名脑肿瘤清醒手术参与者中同步采集音频与256通道ECoG,开展音节发声(syllable articulation, SA)与音节想象(syllable imagery, SI)对照,旨在明确言语意象与发声的时空关系,并检验分布式前额顶叶网络能否以足够保真度捕获连续内部发音动态用于解码。
关键技术方法上,样本为九名接受清醒手术的大脑肿瘤患者,其中五人完成范式1、四人完成范式2;采用256通道高密度ECoG同步音频记录,借助说话人无关的声学-发音逆推算法(acoustic-articulatory inversion, AAI)由SA音频推导13维AKT,SI沿用对应SA的AKT作为内部运动学替代;以时滞岭回归的时间感受野(temporal receptive field, TRF)模型量化AKT与神经信号关系;以核密度估计(kernel density estimation, KDE)做群体空间分布,以互相关分析做领先-滞后动态,以深度学习三流解码框架做音节分类、语音合成与AKT重建,并进行留一音节外推与跨模态迁移学习。
研究结果部分,第一项小标题为“Distinct spectral signatures govern AKT encoding across SA and SI modalities”:研究人员在θ、α、β1、β2、低γ(low γ, Lγ)、高γ(high γ, Hγ)等频段建模,发现SA的AKT编码以Hγ最强、β1次之,而SI以β1主导、Hγ参与很低;同一电极若两频段都响应,SA中β1与Hγ无显著差异,SI中β1显著强于Hγ,表明内部模拟与外显执行以不同频谱机制调动言语网络。
第二项小标题为“Frontoparietal β1 activity underpins shared and specific AKT encoding in SA and SI modalities”:在β1频段,1182个响应电极中47.7%仅SA、14.5%仅SI、37.8%双模态响应;双响应电极经无监督聚类分为两类,一类SA与SI编码强正相关,代表跨模态共享发音表征,另一类SI编码明显弱于SA,代表模态切换或特异编码;共享电极在SA与SI的构音器贡献模式余弦相似度为0.32且显著,而特异群体无显著相似,说明言语意象是带详细内部发音表征的主动认知过程。
第三项小标题为“Distinct spatiotemporal dynamics of supramodal and modality-specific articulatory representations”:KDE显示SA与SI特异电极集中于中央沟两侧腹侧初级体感觉运动皮层,SI峰点比SA更靠下;跨模态共享电极形成三个分布式簇,即中央前回中部(mPMC)、亚中央回(subCG)与后中央-缘上回交界(POCG–SMG)。互相关显示POCG–SMG先于mPMC与subCG,subCG又先于mPMC;两种模态中这些超模态簇都先于腹侧体感觉运动皮层(VSMC)的特异群体,体现自顶向下从规划到执行或内部模拟的组织。
第四项小标题为“Supramodal integration versus modality-specific somatotopic organization of articulators”:共享电极在mPMC、subCG、POCG–SMG对各构音器(唇、舌、颌、喉)峰值重叠且跨模态相似,支持整合性发音规划;SA特异电极在VSMC呈现背-腹躯体地形梯度,含腹侧与背侧双喉表征及舌、唇、颌顺序排布;SI特异电极躯体地形弱而弥散,常与SA群体交错,并不构成独立宏观地图。
第五项小标题为“Frontoparietal articulatory codes enable effective syllable classification, speech synthesis and kinematic decoding across executed and imagined speech”:基于β1编码电极,音节分类SI中位准确率80.4%、SA 78.3%,均显著高于16.7%随机水平;语音合成梅尔倒谱失真(MCD) SA中位3.25 dB、SI 3.61 dB,均低于8 dB可用阈值;AKT重建SI中位皮尔逊相关0.60、SA 0.67且均超随机;跨模态迁移与留一音节外推均有效,共享电极跨模态泛化指数高于特异电极与Hγ电极,证明前额顶叶发音码可支撑分类、合成与运动学解码。
讨论与结论部分,研究人员指出高密度ECoG揭示言语意象与发声在发音控制上的共享与特异机制:前额顶叶β1活动承载跨模态规划,初级体感觉运动皮层以躯体定位方式区分两种模态;超模态节点支持模态不变规划,体感觉运动群体在外显发音中保留清晰躯体地形、在内部模拟中转为稀疏重加权组织。该躯体-认知架构为严重言语障碍患者的意象驱动BCI提供神经基础和植入靶点。原文结论强调,middle premotor、subcentral与postcentral–supramarginal区域构成跨模态整合规划核心,primary sensorimotor cortex中imagery与articulation的modality-specific群体呈somatotopically interleaved;广义解码框架在speech imagery达到median 80.4%、chance 16.7%,与speech articulation的78.3%相当,从而uncover a somato-cognitive organization linking supramodal planning with modality-specific representations,并可inform imagery-based brain–computer interfaces。