长滞后重复学习的多尺度神经特征：同步 fNIRS–EEG 研究

《Neurophotonics》：Multiscale neural signatures of long-lag repetition learning: a simultaneous fNIRS–EEG study

　　

实验设计和长时距重复任务结构。(a) 参与者完成了四轮语义判断任务（有生命/无生命判断）。每轮包含五个块，每块包含六个单词。四个重复块（R1至R4，橙色）出现在所有四轮中，而每轮还包含一个独特的新颖块（N1至N4，蓝色）且从不重复。块顺序在每轮内伪随机化。(b) 试验结构。每次试验以注视十字（500 ms）开始，随后呈现单词（2000 ms），响应提示，以及抖动刺激间期（500至1000 ms）。试验顺序也在每块内伪随机化。

1. 引言
高效的单词识别和阅读流畅性在很大程度上取决于大脑从重复接触语言刺激中学习的能力。这种基于重复的语言学习能力是词汇习得、阅读发展和语言教学的核心，1,2 但其神经机制仍知之甚少，特别是在缺陷性语言输入固化可能潜在地导致持续性阅读和语言困难的障碍情境中。3 因此，理解大脑如何通过重复建立持久的表征不仅是认知神经科学中的基本问题，也是具有临床意义的问题。在成人中确定基于重复的学习的可靠神经标志物，是开发工具以更深入了解儿童阅读和语言困难表型的关键一步。

主导理论解释，包括表征锐化、4 神经效率、5 和预测编码，6,7 在原则上汇聚于重复减少了处理熟悉项目所需的神经资源。然而，这种汇聚掩盖了实证记录中持续存在的张力。除了已被充分记录的重复抑制（即刺激重新出现时神经反应幅度的降低）之外，大量证据报告在特定脑区和任务情境中存在重复增强，8–11 表明重复学习可能在不同测量水平上产生可解耦的神经特征，而不是统一的神经衰减模式。

这种抑制与增强的共存得到了相互竞争的解释。抑制与预测误差降低和处理效率提高有关，6,7 而增强则与表征更新、固化及整合性处理相关。10,12 解决这一张力对于理解语言学习具有直接意义，因为参与重复抑制和增强的神经系统，包括左额下回和颞上回皮层，传统上与语音处理、词汇提取和阅读有关，13,14 并且已知在发育性阅读障碍和语言学习障碍个体中存在异常组织。15,16 然而，由于大多数先前的研究依赖于单一神经影像模态，仍然难以刻画这些相反效应如何在不同神经组织水平上相互关联，或识别哪些神经特征最敏感地捕捉语言学习能力的个体差异。解决这一局限性需要两项方法学进展，它们共同构成了本工作的基础。第一项是能够将持久学习从瞬时促进中分离出来的实验范式。第二项是能够在互补时间尺度上同时索引神经活动的多模态记录方法。

第一个要求，即隔离持久学习，指向重复之间时间间隔的重要性。短时距设计（即重复项目发生在几秒钟内或经过少量试验）受到感觉习惯化、残留工作记忆激活和短暂预测的强烈影响。5 在此类条件下，观察到的重复效应可能反映的是短暂的感觉适应，而非持久的表征变化。相比之下，具有许多无关介入项目的长时距重复范式允许这些短暂影响消散。18–21 任何在如此延长间隔后幸存的重复效应必然来自那些已被先前经验持久修改的存储表征。在行为学上，长时距重复会产生反应时和准确率的促进作用，22,23 证实了持久学习已经发生。

第二个要求，即多模态记录，是由电生理和血流动力学信号的互补性质所驱动的。在电生理水平上，长时距重复调节了一系列事件相关电位（ERP）成分，这些成分具有不同的功能关联。在FN400（300至500 ms）中观察到了重复相关的减少，这是一种与基于熟悉度的识别有关的前额负波，12,24 以及在N400（300至500 ms）中的减少，该成分与词汇语义提取需求有关。25 它们可解耦的头皮分布表明存在可分离的神经发生器。同时，重复项目通常会引发晚正性活动（LPC，>500 ms）的增强，这与回忆性处理有关。12,26 时频分析进一步揭示了重复相关的振荡调节，包括α功率增加和θ同步，这些与表征稳定和预测更新有关。27,28 综合这些发现表明，重复会调动多个在独立时间尺度上运行的快速计算。相比之下，血流动力学信号在根本不同的时间尺度上索引神经活动：它们反映了数秒内处理累积代谢需求，并整合了快速电生理事件。功能性磁共振成像研究经常报告额下回、颞上回和枕颞皮层中重复相关的降低，11,29–31 通常被解释为代谢效率提高。

先前的工作已经开始整合跨模态内容。同步EEG-fMRI研究将电生理调节与BOLD适应联系起来，32–35 然而受限的扫描环境限制了生态效度并引入了复杂的EEG伪迹，使信号解释变得困难。这些局限性对于学习范式尤为棘手，因为此类范式需要较长的任务时长和自然条件来引发持久的表征变化。功能性近红外光谱法（fNIRS），它测量皮层组织中氧合（HbO）和脱氧（HbR）血红蛋白浓度的变化，提供了一种有前景的替代方案：fNIRS保留了对区域血流动力学动态的敏感性，同时允许在最小电磁干扰下并发采集EEG，并提高参与者舒适度。然而，现有的fNIRS-EEG语言处理研究主要关注短时标过程，如语音感知和语义判断，36,37 而且非常少（甚至没有）研究开发出全皮层同步fNIRS–EEG框架来表征重复学习如何在延长的重复间隔中展开。

基于机器学习的多模态解码为评估这种互补性提供了原则性方法。解码模型量化了每种模态所携带的判别信息，并直接检验它们的整合是否提高了预测准确率，从而评估电生理和血流动力学信号是否提供了关于学习相关表征变化的互补信息。38,39 由于fNIRS和EEG索引部分独立的生理过程，即快速神经信号传导和较慢的代谢适应，多模态解码能够表征无法被单一模态捕捉的跨多时间尺度的学习。除了模态特定特征外，此类模型可以整合索引时间对齐的fNIRS-EEG关系的跨模态特征，从而在不假设电信号和血流动力学信号之间存在一对一映射的情况下，对跨模态fNIRS–EEG相关性特征具有敏感性。

在本研究中，我们通过开发同步fNIRS–EEG多模态神经影像方法并将其应用于长时距重复范式来解决这一空白，从而能够在学习过程中同时测量快速电生理动态和较慢的血流动力学反应。我们的设计产生了三个层次的预测。首先，如果重复相关变化已在单一生理水平上被充分捕捉，那么单独使用电生理或血流动力学测量可能足以区分重复状态，结合模态可能提供很少的额外判别信息。其次，如果模态捕捉了重复相关适应的互补方面，它们可能表现出部分可解耦的模式：电生理信号可能对快速预测和表征过程敏感，包括FN400/N400和振荡调节，而血流动力学信号可能捕捉较慢的、区域分布的皮层活动变化。在此工作多尺度适应框架下，如果两种模态包含互补的判别信息，整合电生理、血流动力学及跨模态fNIRS–EEG相关性特征的多模态分类器预计将优于单模态模型。重要的是，该框架并不假设重复抑制或增强是特定于某一模态的。第三，如果多模态框架捕捉到的是具有行为学意义的学习信号而非偶然生理变异，那么多模态分类准确率的个体差异应与行为重复学习幅度相关，例如重复过程中的反应时促进作用。

2. 方法
2.1. 参与者
三十名成人参加了本研究。参与者因参与时间获得40美元报酬。我们的样本量30名参与者与我们实验室之前的同步fNIRS-EEG研究一致，40–42 这些研究使用可比的样本量（N=21至28）进行被试内多模态范式。事后敏感性分析（G*Power 3.1）表明，在N=30、α=0.05和power=0.80条件下，配对t检验的最小可检测效应量为d=0.53。本研究未进行预注册。

2.2. 实验设计
参与者进行语义判断任务，指示每个视觉呈现的英文单词是指有生命还是无生命实体。每次试验以呈现500 ms的注视十字开始，随后单词显示2 s。刺激间期在0.5至1 s之间抖动以减少时间可预测性。参与者使用Xbox控制器的红色和绿色按钮分别响应“有生命”或“无生命”。试验组织为六项目块，每块包含六个固定词汇项目（例如：ARTIST, CAT, APPLE）。每块内单词顺序在每次呈现时随机化。每轮由五个块组成：四个重复块（R1至R4）在所有四轮中重新出现，以及一个新颖块（N1至N4）仅属于该轮且从不重复（图1）。四个重复块在每轮中呈现一次，导致在首轮呈现后有三个额外的暴露（第2、3、4轮）。包含四个重复块是为了在每个呈现时提供多次观测以估计重复相关变化并进行块级分类，而每轮中的新颖块用于表征跨轮的非特异性变化，如练习、疲劳和任务时间效应。包含10至15 s的块间期以允许血流动力学反应恢复到基线。每轮内块顺序伪随机化以防止参与者预测给定块是否包含新颖或重复项目。块内试验顺序伪随机化。参与者总共完成四轮。轮次组织和长时距重复结构在图1中示意。

图1
实验设计和长时距重复任务结构。(a) 参与者完成四轮语义判断任务（有生命/无生命判断）。每轮包含五个块，每块包含六个单词。四个重复块（R1至R4，橙色）出现在所有四轮中，而每轮还包含一个独特的新颖块（N1至N4，蓝色）且从不重复。块顺序在每轮内伪随机化。(b) 试验结构。每次试验以注视十字（500 ms）开始，随后呈现单词（2000 ms），响应提示，以及抖动刺激间期（500至1000 ms）。试验顺序也在每块内伪随机化。

2.3. fNIRS采集
我们使用连续波LABNIRS系统（Shimadzu Corporation, 京都, 日本）记录fNIRS信号，该系统由40个发射器-检测器对组成，排列成矩阵配置产生134个测量通道（图2）。fNIRS系统采用三个波长（780, 805, 和830 nm）测量氧合和脱氧血红蛋白浓度变化，采样率为8.13 Hz（123 ms每样本）。前额正中光学探头位于鼻根上方1 cm，后正中光学探头与枕外隆突对齐，Cz光学探头位于解剖学Cz位置以确保参与者间一致的皮层覆盖。使用带照明的光纤探针（Daiso, 广岛, 日本）清除每个光学探头下方的头发以优化接触。信号噪声比在数据收集前通过监测每个通道的光衰减进行评估，并根据需要调整光学探头放置。43,44 数据采集和帽子放置遵循既定方案。45–48

图2
同步fNIRS-EEG记录的空间配置。红色球体表示fNIRS光源，蓝色球体表示fNIRS检测器（40个发射器-检测器对产生134个测量通道；LABNIRS, Shimadzu Corporation）；绿色球体表示EEG电极位置（32个通道按国际10-10系统排列；g.USBamp, G.tec Medical Engineering）。fNIRS光学探头阵列以前额正中光学探头位于鼻根上方1 cm，后正中光学探头与枕外隆突对齐，Cz光学探头位于解剖学Cz位置放置，以确保参与者间一致的皮层覆盖。EEG电极放置已调整以适应fNIRS光学探头。

2.4. EEG采集
我们使用32电极、256 Hz系统（g.USBamp, G.tec Medical Engineering, 奥地利）同步记录EEG数据。电极按国际10-10系统排列，经调整以适应fNIRS光学探头（图2）。Cz作为在线参考并从后续分析中排除，产生31个头皮通道。由于同步fNIRS光学探头放置造成的空间限制，记录布局未包含乳突电极。帽子放置后，在每个电极上涂抹基于盐水的导电膏以确保头皮接触。使用示波器目视检查信号质量以验证稳定的波形和缺乏过量噪声或饱和。

通过放大器界面确认了电极阻抗，并在整个记录过程中保持在10 kΩ以下。

**2.5 光极和电极定位**

任务完成后，我们使用Structure Sensor 3D扫描仪（Structure.io，科罗拉多州博尔德，美国）记录所有光极和电极的三维坐标，以创建参与者特定的头皮模型。49,50 手动识别标准颅骨标志点（鼻根点、枕骨粗隆点、Cz、T3、T4），电极位置定义为相邻光极之间的中点。然后通过NIRS-SPM52将坐标归一化到蒙特利尔神经研究所（MNI）空间51。这种概率配准方法估计的空间精度约为10至15 mm。49

**2.6 fNIRS预处理和统计分析**

预处理在NIRS Brain AnalyzIR工具箱53和MATLAB R2024a中进行。使用改良的Beer-Lambert定律54,55将原始光密度信号转换为相对氧合血红蛋白（OxyHb）和脱氧血红蛋白（deOxyHb）浓度变化。使用小波去趋势方法56去除基线漂移，并使用基于主成分分析（PCA）的空间滤波器57,58衰减全局生理噪声。基于PCA的滤波不能替代短分离通道回归。在数据收集过程中，通过监测检测到的光衰减和检测器饱和来评估通道质量。拨开头发，并根据需要调整光极位置，直到获得稳定的信号强度。因此，质量控制主要在采集过程中进行，而不是通过应用固定的数值事后通道拒绝阈值。在小波去趋势后，按照Zhang等人（2016, 2017）57,58描述的方法，分别对多通道HbO和HbR信号应用基于PCA的空间滤波。使用奇异值分解对数据进行分解，并使用原始方法中指定的宽高斯核平滑每个成分的空间载荷模式。空间广泛成分用于重建全局信号估计，然后从原始数据中减去。因此，没有移除固定数量的主成分。我们还澄清，虽然该程序可以衰减空间广泛的生理波动，但由于没有短分离通道和同步的系统生理测量，无法完全区分皮层活动与浅表头皮血流或空间异质性系统效应。

采用一般线性模型（GLM59）估计重复单词四次呈现（第1至4次运行）和新单词四次呈现（第1至4次运行）的血流动力学反应。根据事件时序构建八个盒状回归因子来模拟第1至4次运行中重复单词和新单词的呈现，并与NIRS Brain AnalyzIR工具箱中的标准血流动力学反应函数卷积。GLM按参与者按通道拟合，在134个测量通道中的每个通道产生针对每个条件的运行特异性beta估计（β_Run1、β_Run2、β_Run3和β_Run4）。分析在HbDiff信号上进行，该信号计算为OxyHb和deOxyHb绝对浓度变化的总和，这提供了更稳健的皮层激活指标，并降低了fNIRS测量中对假阳性的敏感性。60然而，HbDiff不保留HbO和HbR的方向或经典关系，因此无法识别它们各自的贡献。

对于主要分析，我们计算了重复单词的第一次与最后一次运行对比。具体而言，配对t检验在每个通道上跨参与者比较β_Run1与β_Run4（随机效应，df=N?1），分别针对第1次运行>第4次运行和第4次运行>第1次运行方向。为刻画重复效应的时间过程，我们还检查了相邻运行之间的成对对比（第1次与第2次、第2次与第3次、第3次与第4次），涵盖重复和新条件。新单词作为对照条件，以确认观察到的效应是重复特异性的，而非归因于一般练习或疲劳。所有通道级检验使用错误发现率（FDR）校正跨所有134个通道进行多重比较校正，q<.05。61

统计推断在通道水平进行；未对功能数据进行空间归一化。MNI坐标仅用于解剖标记和可视化。数据采集后，使用Structure Sensor 3D扫描仪数字化光极位置，通过NIRS-SPM52使用Colin27模板和标准颅骨标志点配准到MNI空间，每个通道根据其光源和检测器中点的皮层投影分配解剖标签。这种概率配准的估计空间精度约为10至15 mm。49

**2.7 EEG预处理和统计分析**

使用EEGLAB 202162和MNE-Python 1.11.63进行EEG预处理。连续数据进行带通滤波（1至100 Hz）。通过自动标准识别坏通道（中位绝对偏差>3相对于通道中位数，和/或平均通道间相关<0.3），并使用球面样条进行插值。数据重新参考到平均参考。应用独立成分分析（ICA；扩展infomax，20个成分），并排除ICLabel64分类为神经起源概率<5%的成分，或代表眼动或肌肉伪迹的成分。后续全头皮和时间频率分析仅包含正确反应的试验。

对于全头皮分析，清洗后的连续数据进行带通滤波（0.1至30 Hz），从单词开始的?200至800 ms切段，并使用?200至0 ms的刺激前间隔进行基线校正。任何通道上超过±80 μV的切段被拒绝（m=2.8%，范围：0%至14.2%）。主要ERP对比比较重复单词的第一次（第1次运行）与第四次呈现。在所有通道和所有刺激后时间点（0至800 ms）上进行时空聚类置换检验65，进行10,000次置换，聚类形成阈值为p<.05（双侧）。这种全头皮、数据驱动的方法消除了对先验感兴趣区域或时间窗口指定的需要，并直接解决了多重比较问题。作为次要分析，我们使用正交对比权重（?3、?1、+1、+3）测试了四次运行的线性趋势，并进行了相邻运行之间的成对比较（第1次与第2次、第2次与第3次、第3次与第4次）。相同的第1次与第4次对比也应用于新单词，以确认观察到的效应是重复特异性的。所有比较的效果大小以Cohen's d报告。

为补充时间锁定的ERP分析，使用时间频率分解检查振荡动态。在单次试验水平上使用Morlet小波卷积（2至30 Hz，1 Hz步长，自适应周期=频率/2）计算频谱功率，为每个试验、电极和参与者生成时间频率表示。事件相关频谱扰动（ERSP）以分贝（10×log10[power/baseline]）相对于刺激前间隔（?200至0 ms）量化。ERSP值在每个运行中对所有电极和试验进行平均。重复单词第一次与第四次呈现之间的统计比较使用基于聚类的置换检验（10,000次置换，聚类形成阈值p<.05，双侧）应用于完整的频率×时间矩阵，同时控制所有时间频率点的多重比较。

**2.8 机器学习分析**

**2.8.1 感兴趣区域选择**

为启用多模态整合，为fNIRS和EEG特征提取定义了共同的解剖区域集。基于其在视觉词语处理网络中已建立的作用以及在先前fMRI研究中重复一致调节，预先选择了三个感兴趣区域：11,29–31 左额下回（IFG）、左颞上回（STG）和左枕颞腹侧皮层（vOT）。这些感兴趣区域的定义独立于本研究的单模态结果。对于fNIRS，通道根据光极位置到MNI空间的概率皮层投影分配到感兴趣区域。通道级特征在每个感兴趣区域内取平均。对于EEG，由于头皮电极空间精度有限，选择粗略的电极集群来近似相同的皮层区域：左额叶（F7、F3、FC5）作为IFG的代理，左颞叶（T7、CP5）作为STG的代理，以及左枕颞腹侧（P7、PO3、O1）作为vOT的代理。电极到感兴趣区域的分配基于标准10-10坐标与目标区域MNI质心之间的最小欧几里得距离。66,67

**2.8.2 特征提取和聚合**

为确定多模态脑特征是否能区分重复单词的第一次与最后一次呈现，将fNIRS和EEG数据转换为适合机器学习分类的定量特征矩阵。fNIRS特征在三个感兴趣区域（左IFG、左STG、左vOT）内取平均，每个block产生六个fNIRS特征（2个特征×3个感兴趣区域）。EEG特征在近似相同语言相关区域的粗略头皮区域上进行总结：左额叶（F7、F3、FC5；作为IFG的代理）、左颞叶（T7、CP5；作为STG和后颞叶皮层的代理），以及左枕颞腹侧（P7、PO3、O1；作为与视觉词语处理相关的枕颞腹侧皮层的代理）。这些EEG感兴趣区域根据参与单词重复学习的皮层区域预先定义，独立于全头皮ERP分析和单模态fNIRS结果。电极集群的选择基于标准10-10电极坐标与目标皮层区域MNI质心之间的最小欧几里得距离。66,67

从对应早期（150至300 ms）、中期（300至500 ms）和晚期（500至800 ms）成分的典型ERP窗口提取平均振幅，每个block产生九个ERP特征（3个成分×3个区域）。theta（4至7 Hz）、alpha（8至13 Hz）和beta（13至25 Hz）频带的频谱功率产生每个block九个额外的频谱特征（3个频带×3个区域）。为评估跨模态对应，在每个区域内对fNIRS和EEG特征进行相关，在三个区域中生成36个耦合特征。仅对耦合特征集应用主成分分析（PCA）以降低维度。对于每个参与者和block，在每个感兴趣区域内按刺激试验匹配试验级fNIRS和EEG特征，并在六次试验中计算Pearson相关。两个fNIRS特征（HbDiff的均值和标准差）各自与三个ERP特征和三个频谱功率特征相关，每个感兴趣区域产生12个相关，三个感兴趣区域产生36个相关。这些值仅分配给对应的参与者-by-block分类样本，未在block或参与者之间计算。为控制非特异性任务时间效应，在每个LOSO折中内对fNIRS和EEG特征进行运行相关漂移的残差化。在每个折开始时，保留一个参与者及其所有相应观察值。运行相关漂移系数仅使用训练参与者的新单词block进行估计，PCA仅拟合训练集的耦合特征，z-scoring参数仅从训练数据中计算。拟合的残差化模型、PCA载荷和缩放参数随后不变地应用于保留的参与者。

**2.8.3 分类程序**

使用支持向量机（SVM68）对重复单词的第一次（第1次运行）与第四次呈现（第4次运行）进行分类。所有分类器使用C=1的线性SVM。该值是预先固定的，未使用完整数据集或保留的参与者进行数据驱动的超参数优化。fNIRS-only、EEG-only和多模态模型使用相同的正则化参数。选择线性核以限制模型复杂性并允许检查模型系数。每个参与者从第1次运行贡献四个block，从第4次运行贡献四个block，每个参与者产生八个观察值，30个参与者总共240个。分类仅对重复单词进行。所有模型使用留一法交叉验证（LOSO）进行训练和测试。SVM仅在所有折特定转换完成后进行训练。对于特征数量匹配分析，在每个训练折内根据重复和新block之间的绝对标准化平均差（|Cohen's d|）对特征进行排名。选定的特征集随后不变地应用于保留的参与者。因此，保留的参与者未参与残差化系数、PCA载荷、缩放参数、特征排名、选定特征集或模型参数的估计。评估了三个分类器：(1) fNIRS-only模型（六个特征），(2) EEG-only模型（18个特征），以及(3) 结合单模态特征与PCA降维跨模态fNIRS-EEG相关特征的多模态模型。对于多模态线性SVM分类器，我们使用学习系数的绝对幅度总结相对模型权重模式。由于相关预测因子可能共享或重新分配系数幅度，这些值不应解释为个体特征独特生理或预测贡献的度量。相应地，个体特征的精确排名被视为探索性的。EEG-HbDiff相关反映了电生理活动与复合血流动力学反应之间的关联，而不是HbO或HbR特异性的神经血管耦合。使用1000次迭代置换检验评估统计显著性。多模态线性SVM分类器的特征重要性值计算为模型学习特征权重的绝对幅度。

见图 3，展示了 fNIRS-EEG 多模态分析的机器学习分类流程。图 3 下载 全尺寸图片 fNIRS-EEG 多模态分析的机器学习分类流程。单模态特征：6 个 fNIRS（HbDiff 均值/标准差 × 3 个感兴趣区域）和 18 个 EEG（ERP + 频谱 × 3 个区域）。从 fNIRS-EEG 相关性导出的跨模态相关性特征通过 PCA 进行了降维。采用留一受试者（LOSO）交叉验证的 SVM 分类器区分了重复单词的第 1 次运行与第 4 次运行。

3. 结果
3.1. 行为结果
准确率在所有条件和运行中均接近上限（重复词：98.0%；新词：95.2%），因此未进一步分析。对 26 名参与者的反应时（RT）数据进行了分析（4 名参与者因缺失触发器被排除：受试者 4、8、19 和 27）。为测试 RT 变化是否具有重复特异性，我们检验了条件 × 运行的交互作用。从第 1 次运行到第 4 次运行的 RT 减少量在重复词（?105 ms）中显著大于新词（?40 ms），证实了重复特异性促进效应（t=?2.49, p=.021, d=0.53）。以运行（1 至 4）作为被试内因素的单因素重复测量方差分析显示，重复词存在显著的重复主效应，F(3,78)=2.894, p=.039，表明四次运行的 RT 存在显著差异。如图 4(a) 所示，第 1 次运行的 RT 最长（M=0.894 s, SD=0.144），并在第 2 次（M=0.828 s, SD=0.146）和第 3 次（M=0.806 s, SD=0.170）运行中逐渐减少，在第 4 次运行（M=0.776 s, SD=0.138）达到最快响应。配对比较显示了稳健的与重复相关的加速。与首次暴露相比，第 2 次（t=5.022, p<.001, d=0.985）、第 3 次（t=4.326, p<.001, d=0.848）和第 4 次（t=7.289, p<.001, d=1.429）运行的响应显著更快。中间运行之间的直接比较也显示了显著改进（第 2 次与第 4 次：t=3.575, p=.001, d=0.701；第 3 次与第 4 次：t=2.468, p=.021, d=0.484），证实了随重复暴露而出现的渐进性 RT 促进。对于新词，未观察到运行的显著主效应（F<1, p=.55）。与第 1 次运行相比，参与者在第 2 次运行中反应更快（t=2.180, p=.039, d=0.430），但其他直接比较不显著。

图 4 下载 全尺寸图片 重复词和新词在四次实验运行中的反应时（RT）。(a) 重复词显示出显著的重复启动效应，反应时从第 1 次到第 4 次运行逐渐减少（第 1 次与第 2 次：p<.001；第 1 次与第 3 次：p<.001；第 1 次与第 4 次：p<.001）。(b) 新词仅在第 1 次和第 2 次运行之间显示出显著减少（p<.05），后续运行无显著差异。彩色标记代表平均反应时；阴影区域表示 95% 置信区间。灰色线条显示个体参与者轨迹。*p<.05, ***p<.001。

3.2. fNIRS 单模态结果
使用 Benjamini–Hochberg61 错误发现率校正多重比较的 GLM 分析，识别出 HbDiff 存在显著与重复相关差异的通道。第 1 次运行的重复词在位于左侧额下回（L-IFG）和左侧颞上回（L-STG）的通道上诱发了显著大于第 4 次运行的血流动力学响应幅度，包括通道 54（t=2.09, p-FDR=.042, d=0.40）、通道 33（t=2.23, p-FDR=.037, d=0.43）和通道 34 [t=2.89, p-FDR=.030, d=0.56; 图 5(a)]。相比之下，第 4 次运行的重复词在右侧缘上回（SMG）产生了显著更大的激活，通道 76 观察到与重复相关的增加 [t=?2.12, p-FDR=.043, d=0.41; 图 5(a)]。没有额外的通道通过 FDR 校正。图 5(b)–5(g) 展示了这些显著区域血流动力学响应在运行间的轨迹。在左侧额下回 [图 5(b)] 中，重复词显示出 HbDiff 贝塔值从第 1 次（M=0.42, SD=0.18）到第 4 次（M=0.15, SD=0.15）的逐渐下降，反映了重复减少效应（p<.001）。同一区域的新词 [图 5(c)] 在运行间未显示出显著变化（p>.1）。左侧颞上回观察到类似模式：重复词 [图 5(d)] 显示出从第 1 次（M=0.48, SD=0.20）到第 4 次（M=0.22, SD=0.18）的显著重复减少（p<.001），而该区域的新词 [图 5(e)] 未显示出显著调节（p>.1）。相比之下，右侧缘上回的重复词 [图 5(f)] 显示出 HbDiff 贝塔值从第 1 次（M=0.22, SD=0.15）到第 4 次（M=0.37, SD=0.15）的显著增加，反映了重复增强效应（p<.001），而该区域的新词 [图 5(g)] 在运行间未显示出显著调节（p>.1）。

图 5 下载 全尺寸图片 (a) 重复词在第 1 次和第 4 次运行之间显示显著激活差异的脑区。表格总结了每个显著簇的 MNI 坐标。黄色簇表示第 1 次运行激活更大，蓝色簇表示第 4 次运行激活更大。统计图阈值设为 p-FDR<0.05。L-IFG，左侧额下回；L-STG，左侧颞上回；R-SMG，右侧缘上回。(b) 重复词四次呈现过程中左侧额下回的 HbDiff β 平均值。(c) 新词四次呈现过程中左侧额下回的 HbDiff β 平均值。(d) 重复词四次呈现过程中左侧颞上回的 HbDiff β 平均值。(e) 新词四次呈现过程中左侧颞上回的 HbDiff β 平均值。(f) 重复词四次呈现过程中右侧缘上回的 HbDiff β 平均值。(g) 新词四次呈现过程中右侧缘上回的 HbDiff β 平均值。点代表个体参与者（n=30）。*p<.05, ***p<.001。

3.3. EEG 单模态结果
3.3.1. EEG 全头皮结果
时空聚类基于置换测试（10,000 次置换）比较重复词的第一次和第四次呈现，揭示了额部和额中央电极（Fp1, Fp2, AF3, AF4, Fz, F4, FC1, FC2, FC6）上一个显著簇（324 至 484 ms；p=.0005, 聚类校正；d=1.06），第四次呈现诱发的幅度比第一次更负（第 1 次运行：M=?0.30 μV；第 4 次运行：M=?0.95 μV；图 6）。该效应在 Fz（?1.02 μV）、Fp1（?0.99 μV）和 FC2（?0.91 μV）处最大。双侧额部分布和 300 至 500 ms 潜伏期与 FN400 相关响应一致。12,24 线性趋势分析证实负性在所有四次运行中逐渐增加（Run 1=?0.30, Run 2=?0.85, Run 3=?0.93, Run 4=?0.95 μV；线性对比：t=?4.38, p=.0003, d=0.96, 补充材料中的图 S1）。没有相邻运行比较达到显著水平（所有 p>.10），表明逐渐积累。对于新词，未发现显著的 ERP 差异（p>.1）。在 500 至 800 ms 窗口内未观察到显著簇（所有 p>.14）。具体而言，在任何头皮区域均未检测到晚期正复合波（LPC）或 P600 样增强的证据（p>.1）。

图 6 下载 全尺寸图片 重复词显著聚类校正 ERP 效应（第 4 次至第 1 次）的时空范围和头皮拓扑图。(a) 彩色单元格表示由时空聚类基于置换测试识别的显著簇内的电极 - 时间点对组合（p=.0005, 校正；10,000 次置换）。蓝色阴影反映 t 值（负值 = 第 4 次比第 1 次更负）。垂直虚线标记簇边界（324 至 484 ms）。效应集中在额部和额中央电极（Fp1, Fp2, AF3, AF4, Fz, F4, FC1, FC2, FC6），与 FN400 相关响应一致。灰色区域表示不显著的电极 - 时间组合。(b) 在 FN400 簇窗口（324 至 484 ms）内平均幅度的头皮拓扑图。

3.3.2. 时频结果
基于聚类的置换测试识别出一个显著簇（p=.0014, 聚类校正；10,000 次置换），跨度为 8 至 25 Hz（alpha 和 beta 带），位于晚期时间窗口（520 至 800 ms；994 个时频点），图 7。在该簇内，相对于基线，第 1 次运行的频谱功率降低（M=?1.22 dB, SD=0.76），但到第 4 次运行时接近基线水平（M=?0.28 dB, SD=0.88），产生平均 ERSP 差异为 0.93 dB。这种与重复相关的功率增强在 alpha 带（8 至 13 Hz；第 1 次：M=?2.11 dB, SD=1.55；第 4 次：M=?0.97 dB, SD=1.39；t=4.51, p=.0002, d=1.04）和 beta 带（13 至 25 Hz；第 1 次：M=?0.92 dB, SD=0.73；第 4 次：M=?0.04 dB, SD=0.79；t=6.16, p<.0001, d=1.41）中均很明显。在 theta 带（4 至 7 Hz）、任何较早的时间窗口或对于新词（所有聚类 p>.10）未观察到显著簇。

图 7 下载 全尺寸图片 第 1 次和第 4 次运行重复词的时频表示。(a) 第 1 次运行的事件相关频谱扰动（ERSP），跨所有电极平均。(b) 第 4 次运行的 ERSP。ERSP 计算为相对于刺激前基线（?200 至 0 ms）的分贝变化，使用 Morlet 小波分解（2 至 30 Hz，周期 = 频率/2）。面板 (a) 和 (b) 共享相同的颜色刻度。暖色表示相对于基线的功率增加，冷色表示功率减少。(c) ERSP 差异（第 4 次至第 1 次）。黑色轮廓线出了由基于聚类的置换测试识别的显著簇（10,000 次置换，p=.0014, 聚类校正），跨度为 8 至 25 Hz（alpha 和 beta 带），位于晚期时间窗口（520 至 800 ms）。在该簇内，第 4 次运行显示出比第 1 次运行显著更大的功率（平均 t=3.61），表明跨 alpha–beta 频率范围的与重复相关的增强。垂直虚线指示刺激出现（0 ms）。灰色阴影标记 FN400 时间窗口（324 至 484 ms）。白色水平虚线指示频段边界（theta, 4 至 7 Hz；alpha, 8 至 13 Hz；beta, 13 至 25 Hz）。对于新词未观察到显著簇。

3.4. 分类结果
基于区域血流动力学特征的仅 fNIRS 分类器达到 65.42% 的平均准确率，个体准确率范围为 37.5% 至 100%（30 名参与者中有 4 名达到 100%）。根据 1000 次迭代置换测试，该性能显著高于先验机会水平 50%（p=.022）。
仅 EEG 分类器纳入了 ERP 幅度（早期、中期和晚期时间窗口）和时频特征（theta、alpha、beta 功率），达到 60.42% 的平均 LOSO 准确率，个体准确率范围为 37.5% 至 100%（30 名参与者中有 3 名达到 100%）。该性能显著高于机会水平（p=.028）。
多模态分类器集成了 fNIRS 血流动力学特征、源自 EEG 的 ERP 和时频测量以及降维至前 20 个主成分的跨模态 fNIRS–EEG 相关性特征指数，在三种模型中取得了最高的解码性能。该分类器达到 72.50% 的平均 LOSO 准确率，个体准确率范围为 50% 至 100%（30 名参与者中有 6 名达到 100%）。性能显著高于机会水平（p=.005）。比较个体 LOSO 准确率的配对 t 检验显示，多模态分类器显著优于仅 fNIRS 模型（t(29)=2.45, p=.021, d=0.45）和仅 EEG 模型（t(29)=3.12, p=.004, d=0.57）。

为表征多模态分类器权重的空间分布，我们可视化了线性 SVM 的绝对系数，涉及三个先验感兴趣区域：左侧额下回（IFG）、左侧颞上回（STG）和左侧腹侧枕颞皮质 [vOT; 图 8(a)]。在左侧额下回观察到最大的峰值绝对系数幅度（2.90），其次是左侧颞上回（2.53）和左侧 vOT（1.98）。这些数值总结了多模态分类器中包含的特征类的相对模型权重模式，即 fNIRS 血流动力学测量、EEG ERP 和频谱特征以及跨模态相关性指数。在特征类水平上，fNIRS 特征（HbDiff 均值和 SD）总体上表现出最大的绝对系数幅度，其次是 EEG 特征（ERP 和频谱功率），而跨模态相关性特征也获得了非零模型权重 [图 8(b)]。由于多模态 EEG–fNIRS 数据中的预测变量可能相关，系数幅度可能会在相关特征之间共享或重新分配。因此，这些结果作为描述性模型权重模式呈现，不应解释为单个特征、特征类或 ROI 的唯一生理重要性或独立预测贡献的估计。

图 8 下载 全尺寸图片 分类器特征重要性的空间分布和模态分解。(a) 暖色表示皮质表面上具有较高分类器特征重要性值的顶点。ROI 标签指示左侧额下回（L-IFG）、左侧颞上回（L-STG）和左侧腹侧枕颞皮质（L-vOT）。脑回（浅灰色）和脑沟（深灰色）反映 FreeSurfer 曲率以供解剖参考。(b) 堆叠条形图显示每个 ROI 按模态分解的特征重要性。左侧额下回显示出最高的总重要性（2.9），其次是左侧颞上回（2.5）和左侧 vOT（2.0）。在所有 ROI 中，fNIRS 特征（HbDiff 均值和 SD）对分类贡献最强，其次是 EEG 特征（ERP 和频谱功率），跨模态相关性特征提供了额外的判别信息。

消融分析比较了四个模型，使用相同的逐折预处理、线性 SVM 和 LOSO 程序：仅 fNIRS、仅 EEG、直接集成 fNIRS 和 EEG 特征而不包括跨模态相关性特征，以及完整多模态模型。直接集成模型达到 69.17% 的准确率，高于仅 fNIRS 模型（65.42%）和仅 EEG 模型（60.42%）。添加跨模态相关性特征后准确率进一步增加至 72.50%。其次，我们进行了六特征匹配分析。fNIRS 模型包括其六个预设特征，EEG 模型包括六个 EEG 特征，多模态模型包括三个 fNIRS 和三个 EEG 特征。特征选择仅在每个 LOSO 折的训练数据内进行。在这种匹配维度比较下，多模态模型达到 68.75% 的准确率，而 fNIRS 为 65.42%，EEG 为 57.92%。

因此，当特征维度匹配时，所测试的多模态模型仍保持了最高的准确率。为评估重复相关信息是否在更早的暴露阶段即可被检测到，我们进行了额外的解码分析，对比了第1次呈现与第2次呈现以及第3次呈现。在单模态脑电图、单模态功能性近红外光谱以及多模态分类器中，基于置换检验，两种对比的解码准确率均未超过随机水平（所有 p 值 >.05）。因此，对新颖项目与重复项目的可靠区分仅出现在第1次呈现与第4次呈现的对比中，表明重复相关的神经特征主要在长时间间隔和重复暴露后才变得可解码。

为考察行为学习收益是否与多模态分类性能相关，我们将反应时变化百分比与留一被试外分类准确率进行了相关性分析。在26名参与者中，反应时变化与多模态分类准确率显著相关（皮尔逊 r = -0.52，p = .007，95% 置信区间 [-0.76, -0.17]）。使用斯皮尔曼等级相关得出的结果相似（ρ = -0.49，p = .011）。最大库克距离为0.12，低于传统 4/N 阈值（0.154），表明没有单个观测值具有强烈影响力。留一参与者敏感性分析产生的皮尔逊相关系数范围为-0.43至-0.60，在所有迭代中负相关均保持显著。

4. 讨论

本研究通过整合行为指标与同步脑电图和功能性近红外光谱记录，为成人重复语言学习提供了多层次解释，并明确以建立多模态神经影像与机器学习框架为目标。经过长时间间隔的重复单词暴露产生了稳健的行为促进作用，并在不同层次的神经组织上表现出协调变化。关键在于，这些变化并不符合重复学习主流理论所预测的神经成本均匀降低模式。相反，它们揭示了一个在时间上具有结构层次的、功能上各异的适应级联，表明持久的单词学习是一种多层次转变，而非单一的神经衰减机制。

4.1. 重复语言学习的协调多水平特征

本研究的中心发现是，基于重复的单词学习表现为一种协调的神经适应模式，作用于经典上与阅读和语言相关脑区的不同神经组织层次。在行为水平上，重复单词在四次呈现中反应时逐步减少了105毫秒，而新颖单词仅表现出轻微且非渐进性的变化，排除了一般练习效应，确认了来自先前暴露的真实学习。在事件锁定神经反应水平上，脑电图捕捉到了额叶和额中央电极上FN400成分的渐进增强，这与基于熟悉度的识别逐步增强一致。该效应的额叶分布不同于经典N400的中央-顶叶分布，后者通常与词汇-语义通达相关联，而是与识别记忆研究中确定的FN400成分一致。这一区分表明，在长间隔重复中积累的主要不是语义通达的轻松化，而是将刺激标记为先前遇到过的一种熟悉度信号强度，这一过程在发育性阅读障碍儿童中可能特异性受损，他们在语义通达完整时仍对重复单词表现出异常的事件相关电位反应。最大振幅变化出现在第一次和第二次呈现之间，随后逐渐趋于平台，密切反映了行为反应时的促进作用。

在振荡动态水平上，时频分析揭示了一个显著的alpha-beta抑制减弱簇（8至25赫兹，520至800毫秒，p = .0014，簇校正后），出现在FN400窗口之后，提示了一种识别后巩固过程，其中新强化的单词表征通过协调的振荡活动得到稳定。Alpha频段增强与表征稳定和对外部驱动加工的依赖减少有关，而beta频段增强则与自上而下的预测加工和记忆再激活相关。与FN400一起，这些发现提示了每个重复单词中存在一个两阶段过程：快速的基于熟悉度的识别后接振荡表征巩固。确定这种两阶段架构是否在阅读困难儿童中被破坏，是推动本研究方案转化的关键问题。

在血流动学水平上，功能性近红外光谱揭示了左侧额下和颞上区域的血流动学反应减弱，这些区域是阅读和语言网络的核心组成部分，表明单词学习伴随着代谢效率的提高，同时右侧缘上回激活增强，提示整合和巩固相关过程的持续参与。这些特定区域受累值得关注：左侧额下和颞上皮质在发育性阅读障碍儿童的阅读和音韵加工任务中一贯报告为低激活，提示这些区域的学习相关代谢重组异常可能是阅读困难的敏感标记。

这些效应在时间上的对齐具有启发意义。FN400在第一次和第二次呈现之间表现出最大振幅变化，到第三次呈现时接近平台，密切平行于行为反应时数据。Alpha-beta增强集中在较晚的窗口（520至800毫秒），时间上紧随FN400效应，提示了识别后巩固阶段。在血流动学水平上，左侧额颞区域的功能性近红外光谱抑制和右侧缘上回增强作为四次呈现的累积效应出现。这种模式符合一种级联架构，其中快速的熟悉度信号先行并驱动振荡稳定和代谢重组，而血流动学信号反映重复神经计算的累积后果。这种级联结构为儿科人群研究定义了具体的神经靶标。

抑制和增强在不同区域和模态间的共存挑战了预测神经活动均匀降低的重复学习单一账户，并对如何使用神经影像刻画阅读和语言发展具有重要含义。此处观察到的可区分模式——核心加工区域变得更高效，而其他区域和频段增加参与——表明需要区域特异性和多模态分析才能完整刻画学习相关变化。这种区分对临床神经影像具有重要意义：比较有和无阅读困难的儿童研究可能将异常增强误读为功能障碍，而非将其作为学习不同阶段的标记，强调了发育人群中双向分析的必要性。

4.2. 电生理和血流动学特征的不可替代性及其对表型分析的影响

多模态分类结果提供了最直接证据，表明基于重复的单词学习在不同生理水平上涉及部分独立的过程，并为语言学习者的多模态表型分析提供了最强论证。多模态分类器（72.50%准确率）显著优于仅功能性近红外光谱（65.42%）和仅脑电图（60.42%）分类器，且这一改进不能归因于简单地拥有更多特征，因为多模态模型是在相同的留一被试外交叉验证框架下使用主成分分析降维特征集训练的。这种不可替代性表明重复学习在不同神经组织水平产生部分独立的适应，每个适应捕捉表征转变的不同侧面，因此任何单一模态都无法完全刻画学习过程或其个体差异。

特征重要性分析阐明了这种互补性的基础。在所有三个感兴趣区域中，功能性近红外光谱特征对分类贡献最大，这与血流动学信号跨快速电生理事件整合以提供区域代谢适应累积指标的概念一致。脑电图特征捕捉了预测更新和熟悉度信号在数百毫秒内展开的时间动态。跨模态功能性近红外光谱-脑电图相关特征的额外贡献尤为值得关注，因为它表明学习不仅改变了每个水平的神经反应振幅，还改变了电活动与其代谢后果之间的耦合，提供了任何单一信号无法完全捕捉的信息，这是一个可能在神经发育性阅读和语言障碍中被特异性破坏的神经组织维度。

关键在于，多模态分类准确率的个体差异与行为学习幅度相关，证明本框架捕捉的神经特征追踪了个体间语言学习能力有意义的变异。这一发现为本工作的转化目标奠定了基础：如果多模态解码准确率在成人中标记个体学习能力，它可能作为敏感标记来识别阅读和语言困难风险儿童，或追踪语言干预随时间的神经效应。

4.3. 理论意义

本研究发现对现有理论框架中如何概念化基于重复的语言学习具有影响。预测编码账户提出重复减少预测误差，导致神经反应减弱，此处观察到的FN400和额颞血流动学抑制与此账户基本兼容。然而，仅预测编码无法完全解释其他信号和区域观察到的同时增强以及事件相关电位和振荡效应之间的时间分离，提示基于重复的语言学习涉及预测误差减少之外的额外过程。上述提出的两阶段级联——快速的熟悉度识别后接振荡巩固和代谢重组——可能有助于调和重复抑制和增强的更广泛文献，并为理解语言学习在发育障碍中在何处以及如何崩溃提供更可操作化的神经模型。

4.4. 迈向多模态框架以表型阅读和语言发展

本研究发现推动了若干方向，将多模态功能性近红外光谱-脑电图框架转化为研究儿童阅读和语言困难。首先，学习级联不同阶段的破坏——快速熟悉度信号对比识别后巩固——可能映射到不同的阅读和语言困难剖面，对针对性干预具有启示。其次，功能性近红外光谱-脑电图耦合强度的个体差异可能预测长期保持或巩固效率，为那些尽管重复暴露但未能巩固单词形式表征的儿童提供候选神经标记，这是发育性阅读障碍的一个典型特征。第三，将本方法扩展到明确涉及音韵加工和正字法学习的任务，将更直接地探测阅读习得其障碍的机制。在方法论上，本研究确立同步功能性近红外光谱-脑电图作为特别适合儿科研究的平台。其对运动的耐受性、最少的电磁干扰、参与者舒适度和与延长任务时长的兼容性，解决了与儿童神经影像的实际约束，尤其是对于注意力和语言困难使功能性磁共振成像通常不切实际的儿童。此处开发的机器学习解码框架提供了从多模态数据中提取个体水平语言学习能力标记的原则性方法，可直接适用于临床和教育研究环境。

4.5. 局限性与未来方向

首先，跨模态相关特征量化了功能性近红外光谱和脑电图测量之间的特征级统计对应，而非时间建模的生理神经血管耦合。因为每个相关仅从六个试验中估计且未考虑延迟的血流动学反应，估计值可能对采样变异敏感，应作为探索性结果解释。其次，在当前设计中，重复和新颖条件在流行率和可预测性上不同；因此某些条件相关效应可能反映期望或任务背景差异，而不仅仅是重复历史。第三，因为无法获得短距离通道，无法直接测量或回归去除浅表头皮血流。虽然基于主成分分析的空间滤波减弱了空间广泛的生理波动，但不能完全将皮质活动与颅外信号分离，特别是在额叶区域。相应地，左侧额叶功能性近红外光谱效应应谨慎解释，因为它们可能保留浅表或系统性生理贡献。未来研究应纳入短距离通道和同步系统性生理测量。最后，主要使用血红蛋白差值限制了本研究发现的血流动学特异性，因为氧合血红蛋白和脱氧血红蛋白在方向和关系上的潜在信息性差异未被单独考察。未来研究应独立分析两种色素团以提供更完整的血流动学反应和神经血管耦合刻画。

5. 结论

本研究发现为成人基于重复的语言学习提供了多层次解释，证明行为促进作用伴随着阅读和语言网络在电生理和血流动学水平上协调但不可替代的适应。通过结合同步功能性近红外光谱-脑电图与多模态机器学习解码，本研究捕捉了快速的基于熟悉度的识别、识别后表征稳定和较慢的代谢重组，每种都标记了持久单词表征构建的不同且不可替代的侧面。关键在于，多模态分类准确率的个体差异追踪行为学习收益，为使用本框架表型语言学习能力个体差异奠定了基础。这些发现将同步功能性近红外光谱-脑电图结合多模态机器学习定位为刻画阅读和语言发展神经基础并识别儿科人群阅读和语言困难标记的强大且可实用转化平台。