多感官与单感官学习：塑造支持单模态与多模态整合的有效连接网络

本综述深入探讨了多感官与单感官训练对大脑有效连接网络的重塑作用。研究通过高密度脑电图（EEG）和格兰杰因果分析（Granger Causality）发现，多感官训练（如音乐阅读）能显著改变视听（audiovisual）、视觉和听觉处理网络，尤其涉及左内侧额回（MFG）、左下额沟（IFS）及脑岛（insula）等多感官整合关键区域；而单感官训练仅对听觉系统产生有限影响。研究揭示了多感官训练通过高阶联合区的反馈连接（top-down process）影响单感官感知，为神经康复（如卒中、帕金森病、阿尔茨海默病）及教育策略（如阅读障碍干预）提供了关键神经机制依据。

　　

引言

大脑通过整合多感官输入对环境进行有意义解读。基于情境的多感官刺激学习被认为优于单感官学习，其在康复和教育研究中引发的显著神经可塑性变化已得到证实，但具体机制尚不明确。本研究旨在从大规模层面建模多感官与单感官训练经验诱导的皮层有效连接网络改变，以支持视觉、听觉及视听信息处理。

多感官整合指同时体验的单感官信息融合形成单一感知的过程。其神经机制涉及低级和高级脑结构，主流理论认为多感官感知通过不同感觉信息汇聚于同一多模态神经元实现。这些神经元根据位置和突触结构具不同整合特性，例如皮质双模态神经元仅少数产生超加性反应，而上丘神经元则比例更高。此外，神经振荡同步化（如相位重置或相位偏移）也被视为跨模态整合的机制，但究竟是通过解剖连接传播还是无线通信（如电场效应）仍待探索。

非侵入性电生理（如EEG、MEG）和成像技术（如fMRI）无法追踪单神经元响应，但可通过有效连接度量大规模信息流。非人灵长类解剖学研究及人类多模态环境功能研究证实了初级和高级感觉皮层间存在多样前馈、侧向和反馈连接，同时高阶皮层与低阶区域激活时间相近，表明大脑并非严格层级组织。

从认知角度看，外部线索时空对应对决定刺激整合至关重要，但仅此不足，刺激还需在逻辑上连贯。多感官整合研究常采用同时暴露多刺激并要求受试基于抽象绑定规则响应的方法，如检测不同感觉信息间一致性与不一致性。失匹配负波（MMN）能反映大脑对输入与内部表征偏差的自动检测，这一前注意错误检测及随后注意重分配构成偏差/错误处理要素。音乐谱读结合视觉、听觉及潜在运动信息，是多感官范式的典型例子。

多感官训练对神经可塑性的影响及其相对于单感官的优越性是认知神经科学持续关注的话题。计算模型显示多通道使用加速学习与回忆达80%。近期EEG研究表明，多感官训练通过β振荡焦点变化影响多感官处理，而单感官训练通过分布式皮层区θ-β和α-γ跨频率耦合诱发改变。果蝇研究甚至在细胞水平证实了通过多巴胺能强化，单感官神经元可转化为多感官神经元。

音乐学习作为基本多感官训练方法，对功能和结构神经可塑性有显著影响，如音乐家与非音乐家整合视听信息方式不同，显示运动与多感官皮层间静息态功能连接增强，以及胼胝体等区域结构连接增强。非音乐家的短期钢琴训练也能诱发包括前运动区、顶内沟（IPS）、布罗卡区和下顶叶区域的神经塑性变化。

本研究利用高密度EEG记录建模无音乐教育人群音乐谱读时的皮层有效连接组，并探究4周多感官或单感官训练诱导的网络改变。神经元活动在训练前后通过视听oddball范式采集，该范式包含结合听觉和视觉刺激，根据“音高越高盘位越高”规则判断一致与否，同时嵌入针对视觉和听觉系统的单感官失匹配（颜色与音色偏差）。

材料与方法

受试者

共招募30名参与者，分为两组：MusicPlast组（15人，接受多感官/音乐训练，年龄18-35，平均26.53，SD 3.14，5男）和UniPlast组（15人，接受单感官训练，年龄18-35，平均28.67，SD 5.39，5男）。样本量通过G*Power 3.1.9.7进行先验效能分析确定，基于先前类似范式研究效应量（f=0.359），设定α=0.05，统计效能0.95，2组4测量点，总样本量30人（每组15人），实际效能0.998。所有受试除中小学必修音乐课外无音乐教育，均右利手，听觉正常，视力正常或矫正正常，无神经疾病、心理健康障碍、脑损伤或中枢神经药物使用史。研究获塞萨洛尼基亚里士多德大学研究伦理委员会批准，参与者来自随机对照试验MusicPlast（NCT03786185）。所有参与者完成4周训练干预及前后评估。

实验程序

刺激

实验期间，受试通过序列接收视听信息：5个同时图像和声音。图像为黑色背景上五条白水平线和蓝圆（位于水平方向中间及线间四空格之一）。听觉刺激为具体音高纯音，使用四种正弦音（F5, 698.46 Hz; A5, 880.46 Hz; C6, 1046.50 Hz; E6, 1318.51 Hz）创建五音旋律，首音均为C5。音长400 ms，升降时间10 ms（44,100 kHz, 16 bit）。每旋律音间间隔500 ms，总长4 s。每音播放时蓝圆在相应位置同时出现相同时长。

实验嵌入四种条件，取决于视听刺激一致性：视听一致或不一致（是否遵循“音高越高盘位越高”规则）；视觉或听觉偏差（圆颜色或音色差异）。听觉偏差刺激通过同频音替换为锯齿波形并经5000 Hz低通滤波生成；视觉偏差刺激通过蓝圆替换为红圆创建。单感官失匹配均无违反视听一致规则，且偏差从不出现于首音-像对，等可能出现于其余四位置。总四类刺激：视听一致、视听不一致、视觉失匹配、听觉失匹配。每类准备八条不同旋律。

装置

多感官刺激诱发脑活动由Nihon-Kohden 128通道EEG系统记录，使用主动（actiCAP128）和被动（R-Net）电极帽。帽组间均衡分配，每受试前后测量戴同帽。数据采集采样率1000 Hz，在电屏蔽隔音室进行。ActiCAP电极阻抗保持低于5 kΩ，R-Net低于20 kΩ。听觉刺激通过闭式耳机（Phillips SHL3260）呈现，声级高于个体听阈60 dB。视觉刺激通过平板显示器（距受试约110 cm，刷新率60 Hz，分辨率1280×768像素）呈现，刺激视角垂直-1.15°至1.15°，水平-3.86°至3.86°。通过视频监控确保受试警觉与配合。

设计

通过Presentation软件（v18.0）向受试呈现四类条件视频，要求按一致性按键响应。具体地，EEG记录前受试接受指导并尝试每类示例视频。总呈现512视频（每类128视频），分4块，每块约14.5分钟，间有短休。视频随机混合，每视频呈现后受试有2.5 s响应是否一致（右手两键）及是否有异音或异色圆（左手两键），屏幕上显示键应答对应。

多感官训练

MusicPlast组通过在线平台接受多感官训练，该平台以严肃游戏环境呈现视频，最初为Paraskevopoulos等（2021）研究开发，使用Adobe Captivate 2017。训练仅含两类刺激：视听一致和不一致。条件制备同实验，但旋律非简单音序列而是40首希腊名歌钢琴片段。不一致视频仅其中一音违反“音高越高盘位越高”规则，且偏差从不出现于首音或末音。

另设3难度级别：第二级添加背景白噪声（音量低于钢琴音6 dB）；第三级通过颗粒度应用（不透明度75%）视觉失真；第四级同时听觉和视觉失真（白噪声强度同钢琴音）。每视频时长4.92至8.25 s（M=6.89, SD=8.42），音数8至16（M=13, SD=2）。每难度级别生成80视频（40一致40不一致），随机分5组（会话）各55视频，每会话约20分钟。平台总20会话。4周内参与者需完成所有20训练会话，每周完成一难度级别（5会话）。使用个人设备（桌面和移动）访问电子学习平台网页。

每视频呈现后参与者按键响应是否违反规则，随后屏幕消息（持续3 s）反馈正误。每练习会话结束网站显示正确响应百分比得分，同时弹出框要求输入特定代码传输数据至训练网站。

单感官训练

UniPlast组通过同一在线平台接受单感官训练，桌面或移动设备可访问。训练过程同时触发视觉和听觉域，但独立针对各域，表明未采用多感官过程。具体地，控制任务中受试观看含2相似图像视频（可能细节不同），要求找出差异（视觉训练）；同时听熟悉乐曲（可能修改含不和谐部分）。视频结束要求响应音乐是否含不和谐部分（听觉训练）及图像找出多少差异。响应后受试接收3 s反馈正误，然后下一视频。每视频时长4分钟，每会话含4视频，训练会话长度同MusicPlast。

受试需完成20训练会话，仿MusicPlast原型设4难度级别，由添加视觉或听觉噪声量定义（第一级无噪声，第二级听觉噪声，第三级听觉和视觉噪声，第四级增强噪声强度）。每会话结束平台显示正确响应百分比得分，弹出窗口提示提供参与者代码并发送数据至电子学习平台。

重要地，控制训练采用分散注意（受试需同时专注视觉和听觉任务），因此预期招募更多注意资源。两训练间差异通过整体结构平衡，包括UniPlast较MusicPlast刺激呈现速率更慢（控制训练4视频各4分钟，MusicPlast训练55视频各约5秒）。

EEG数据分析

EEG预处理

使用Brainstorm（开源脑记录分析应用）预处理EEG数据。记录数据分段为刺激 onset 周围4 s epoch，含前刺激间隔2 s，导入数据库。随后通过Brainstorm内置自动伪迹检测算法去除眼眨或其他坏段伪迹。该算法执行信号空间投影（SSP），通过计算参考信号（EOG, EMG）与EEG信号间互协方差矩阵的逆矩阵，过滤信号去除空间模式一致伪迹（如眼眨或肌肉活动）。为避免引入有效连接（格兰杰因果）估计失真，省略陷波和带通滤波器。

随后定义四事件条件：标准、视听不一致、听觉偏差、视觉偏差。每epoch同步至各刺激模式末刺激，然后通过计算各通道在刺激 onset 前时间窗[-400, -1] ms平均信号并从全epoch间隔[-2, 2] s各通道信号减去去除DC偏移。

EEG源分析

使用Brainstorm实现sLORETA进行EEG源分析，针对各受试、各时间点（前或后）、各刺激类别（标准、视听不一致、视觉、听觉偏差）及各单试次神经响应。结果时间序列通过主成分分析（PCA）分解各脑区信号并选择第一模式，分配至HCP-MMP1.0图谱360区域。选择该图谱以实现功能和解译精度与重建源数显著减少间妥协。如此提取总360源时间序列。

有效连接分析

采用双变量格兰杰因果作为有效连接稳健度量，广泛用于皮层网络研究。该方法在Brainstorm中实现，用于测量HCP-MMP1.0图谱360区域间有效连接，针对各条件（听觉偏差、视觉偏差、视听不一致、标准）、各受试、各时间点各试次。总导出17037试次估计相等数360×360邻接矩阵（填充有效连接系数）。各条件各受试各时间点（前后）不同试次有向非对称邻接矩阵然后平均，产生每刺激类别每受试每时间点一连通矩阵。如此生成30（受试）×2（时间点）×4（类别）=240邻接矩阵，后统一为360×360×240 3-D数组（张量）。

统计分析

使用MATLAB中基于网络统计（NBS）工具箱在广义线性模型（GLM）统计框架下识别连通模式统计显著改变。首先从Brainstorm提取360×360×240有效连接系数张量，通过置换（非参数）检验进行三类统计比较。

具体地，第一分析包括每类偏差（视听、视觉、听觉）单因素（条件：标准和偏差）置换检验，针对所有受试“前”时间点。该分析旨在揭示无音乐教育人群视听、视觉和听觉模态错误处理相关连接。第二分析实施2×2广义线性混合模型（条件：标准和偏差，时间：训练前后）针对每类偏差（视听、视觉、听觉）和每组（UniPlast和MusicPlast）。因此，通过比较相应组内标准与偏差条件及训练前后皮层网络，该分析展示单感官和多感官训练分别诱导的错误处理-模态特异性神经可塑性。最后，第三分析执行2×2×2一般线性混合模型（条件：标准和偏差，时间：训练前后，组：UniPlast和MusicPlast）针对每类偏差（视听、视觉、听觉），以直接指示两训练神经可塑性效应差异。

计算模态特异性网络描绘两不同条件（如标准与偏差）间或附加两时间点（如训练前后）或两不同组（如UniPlast与MusicPlast）间差异，具有检查独信息整合过程相关问题优势，因为注意和其他认知功能在不同感觉条件间可互换，因此不影响感觉交互解译。

所有分析使用10,000置换，显著性水平设P<0.001经错误发现率（FDR）校正多重比较。最后，使用BrainNet Viewer可视化显著改变有效连接网络，因此生成节点和颜色加权边图，指示各统计比较F统计值。对涉及统计显著网络脑区描述，使用HCP-MMP1.0图谱命名系统，每标签对应特定分区。

结果

行为结果

为评估训练对视听处理影响，比较干预前后参与者可辨性指数行为表现。统计分析显示显著组×时间交互[F(1,28)=4.635; p=0.042; η2=0.168]，表明多感官和单感官训练对参与者检测视听不一致能力有差异效应。具体地，MusicPlast组显示辨别准确性明显改善（训练前：M=2.22, SD=0.44；训练后：M=2.89, SD=0.82），而UniPlast组无此增益（训练前：M=2.26, SD=0.49；训练后：M=2.17, SD=0.82）。组主效应和时间主效应均未达显著。

EEG结果

训练前视听不一致识别

为建模标准与偏差条件间网络差异，即所有受试训练前视听模态错误处理相关连接组，应用统计阈值p<0.001经多重比较校正。为进一步增强可解译性并聚焦该显著集内最稳健效应，随后应用附加F值阈值F≥8。分析显示左背侧颞上沟（STSd）与右海马（H）间连接改变。

训练前视觉偏差识别

所有受试训练前视觉模态错误处理相关网络建模揭示大量连接皮层重组（节点：40；边：24），设p值<0.001和附加F值>8。如节点强度所示，网络中作用最大区域为右下额沟前部（IFSa），参与24连接中4条。5最显著连接（F值>10.57）检测如下：(a,b)从右IFSa至右前部9-46v区（a9-46v，背外侧前额叶皮层）和左V3CD区（MT+复合体），(c,d)从右前部TE1区（TE1a，外侧颞叶皮层）至右内侧7P区（7Pm，上顶叶皮层）和左额叶岛盖区1（FOP1，后岛盖皮层），及(e)从左顶内沟区1（IP1，下顶叶皮层）至左脑岛颗粒复合体（Ig，脑岛皮层）。

训练前听觉偏差识别

比较所有受试训练前标准与偏差听觉条件皮层网络，发现两连接显著不同，设p值<0.001和附加F值>8。这些连接起自右后扣带皮层（PCC）区31pd和右内侧颞上区（MST，背侧视觉流），指向左前部10p区（a10p，眶前额叶皮层）和左初级体感皮层（区1）。

多感官训练前后视听不一致识别

多感官（MusicPlast组）训练在视听模态效应对应F检验识别11统计显著连接 between 7节点（p值<0.001；F值>8），其中5条含左47s区（眶前额叶皮层）。然最显著重组（F值>8.63）涉及以下连接：(a,b)从左下额交界后部（IFJp，下额叶皮层）和左后脑岛区（PoI1，脑岛皮层）至左腹侧6区（6v，前运动皮层），(c)从左 RetroInsular Cortex（RI，早期听觉皮层）至左FOP1，及(d)从左初级听觉皮层（A1）至左下额交界前部（IFJa，下额叶皮层）。

单感官训练前后视听不一致识别

单感官训练对UniPlast组视听模态错误处理能力效应分析未能显示任何统计显著网络重组，即使增加p值阈值至0.05。

视听不一致识别，训练效应差异

代表两训练类型在视听模态效应差异三因素一般线性模型 triple interaction，使用p值<0.001和附加F值>8，识别高密度网络（节点：116；边：206）。重要地，5最统计显著连接描绘（F值>10.84）如下：(a)从左10v区（前扣带皮层，ACC）至左初级运动皮层（区4），(b,c)从左52区（早期听觉皮层）至左 superior 6-8 transitional area（s6-8，背外侧前额叶皮层）和左前部6m区（6ma，旁中央小叶），(d)从左8C区（背外侧前额叶皮层）至左7PC区（上顶叶皮层），及(e)从左内侧带复合体（MBelt，早期听觉皮层）至左IFJa。

多感官训练前后视觉偏差识别

MusicPlast组视觉偏差支持网络改变建模，使用p值阈值0.001和附加F值阈值6.5，识别16改变连接 between 22区域，主要前额叶皮层。F值阈值6.5（略宽松于其他分析所用F≥8）被选为妥协，因为省略F值阈值产生难以管理大量连接，而初始 cutoff F≥8无 yield。此调整允许可行数量连接可视化同时确保统计有效性。左PoI1被识别为最大强度节点，共享16连接中3条。5最统计显著连接（F值>6.95）描绘如下：(a)从左47m区（眶前额叶皮层）至左PFcm区（早期听觉皮层），(b)从左IFJp至左后部TE2区（TE2p，外侧颞叶皮层），(c)从右背 posterior Superior Temporal Sulcus（STSdp）至右s6-8，及(d,e)从左PoI1至左6v和左OP2-3区（后岛盖皮层）。

单感官训练前后视觉偏差识别

单感官训练对UniPlast组视觉模态错误处理能力效应分析也未能显示任何统计显著网络重组，即使增加p值阈值至0.05。

视觉偏差识别，训练效应差异

两训练类型在检测视觉偏差效应差异统计分析，应用阈值p值0.001和附加F值8，识别16节点12边网络。有趣地，右半球ACC区25与所有四叶区域共享总12边中4条，显示最大节点强度。最统计显著连接（F值=9.66）链接左8C至左7PC。

多感官训练前后听觉偏差识别

统计比较（2×2混合一般线性模型）描绘多感官训练对听觉性质偏差识别支持网络效应（p值<0.001和F值>8）证明以下连接改变（节点：8；边：4）：(a)从左IFJa至左前腹侧脑岛区（AVI，脑岛皮层），(b)从左PoI1至左6v，(c)从左 middle TE1 area（TE1m，外侧颞叶皮层）至右顶内沟区0（IP0，下顶叶皮层），及(d)从腹内侧视觉区3（VMV3，腹侧视觉流）至左8BM区（ACC），该连接显示最大F值（9.05）。

单感官训练前后听觉偏差识别

单感官训练对检测听觉不规则效应对应F检验仅识别一改变连接，且仅 after increasing the p-value to 0.05。具体地，此连接起自右背侧 Lateral Intraparietal area（LIPd）并指向左s6-8。

听觉偏差识别，训练效应差异

附加统计比较（三因素一般混合模型并设p值>0.001和附加F值>8）识别特别密集网络（46边49节点）。然增加F值至9减少网络复杂性（边：16，节点：21）。最大节点强度区域（16边中5条）为右IP0，与额、顶和颞叶连接。3最显著改变连接（F值>10.29）为：(a)从右 Lateral Belt（LBelt，早期听觉皮层）至左5m区（旁中央小叶），(b)从左8C至左7PC，及(c)从左52区至左s6-8。

讨论

本研究通过细查4周各训练后视听、视觉和听觉模态错误处理负责网络重组，调查了多感官和单感官训练神经可塑性效应。此外，建模了所有参与者训练前所有三模态失匹配检测支持有效连接网络。计算模态特异性网络描绘两条件（如标准与偏差）间差异提供独信息整合过程检查优势，因为其余认知功能（如记忆或注意）在两条件间保持恒定，因此其效应未描绘于后续网络。

第一统计分析结果（比较任何训练前标准与偏差条件）揭示，无音乐教育个体显示与视觉失匹配检测相关皮层连接密度高于识别听觉或视听偏差网络。然此观察可能反映实验程序所含各模态刺激强度差异。例如，颜色对视觉系统可能构成比音色对听觉系统更强刺激。另一解释可能无音乐教育人群加权视觉信息多于听觉。STS显示在视听不一致整合期间有重要功能，此结果与现有文献多种发现一致。关于视觉模态，右IFSa（短时记忆相关下额区）被发现为视觉失匹配检测主要节点，而其与VC3D（MT+复合体）有效连接反对严格层级模型假设，即使视觉系统内。此发现符合证据表明联合区可通过下游信号过程影响单感官信息处理。

至于多感官训练对MusicPlast组信息处理能力影响，识别网络证明所有三模态（视听、视觉和听觉）显著重组。视听不一致整合呈现更大程度神经可塑性。精确地，左47s区（眶前额叶皮层）被发现为与检测跨模态偏差任务相关重组关键结构。文献中，区47s关联语言句法处理、音乐时间相干性和统计学习。多感官诱导神经可塑性改变涉及视觉和听觉刺激整合主要包含高阶皮层区间连接，但也检测到从低阶至高阶皮层区链接或独低阶皮层区间链接，表明影响单感官信息整合的自上而下和自下而上过程。

UniPlast组（接受单感官训练）条件×时间交互相应分析未能识别视听和视觉模态错误处理服务连接任何统计显著差异。关于听觉性质不规则检测，训练前后统计比较仅揭示一改变连接，也在高阶联合区内（LIPd R, s6-8 L）。然视觉模态内缺乏神经可塑性可能归因于单感官学习期间检测两相似图片间小提示差异可能 exert 较小失匹配负响应，与多感官训练期间同一图片颜色改变效应相比。

多感官训练在诱发多感官甚至单感官任务相关神经可塑性方面比单感官更有效并不令人惊讶。类似多特征范式涉及Paraskevopoulos等另一研究指出，多感官训练有助于训练后视听任务更大响应，与单感官相比。同样，至于单感官任务表现，多种研究同意并发视听暴露作为学习方法相对于独听觉或视觉提示训练优越性。这些发现逻辑上考虑，当高级过程修改时，它通过反馈循环直接影响低级过程。然当低级过程改变时，其效应可能太专业化而不能自动影响高级过程。因此，涉及多感官训练影响个体感觉输入处理，但聚焦单感官训练不能影响多感官处理系统整体功能。故，管理这些过程整合认知层级可作为选择适当训练方法时有价值指南，当 targeting 特定 outcomes。

三向交互（组×条件×时间点）分析确认两训练效应在所有三模态显著不同，尤其关于视听。最大重组差异检测于右25区（ACC）为视觉模态，和右IP0为听觉模态。可辨性评估类似验证多感官训练对视听处理增加学习效应。

总体，我们结果中作用最突出区域为左6v（位于中额回后部）、左8C（也位于MFG后部）、左PoI1（位于脑岛后长回）和左IFJa（位于下额沟后部，近下额回上 border）。若干近期研究工作展示MFG和IFG作为多感官网络中心节点作用。使用几乎相同多特征范式，Paraskevopoulos等指出IFG重要性作为多感官学习诱导修改关键枢纽。相应地，脑岛， once considered 文献中外围元素，已获 substantial 认可作为多感官整合过程 pivotal 节点。显著地，一项含49研究荟萃分析表征区域：左IFG、双侧颞上回（STG）、颞中回（MTG）、丘脑和右脑岛作为服务多感官整合显著神经关联。进一步，声称这些区域包含不同功能角色，冲突处理脑区域如脑岛和IFS促进不一致信息整合。

我们研究发现揭示左偏侧化 within 重组区域服务所有三模态错误处理。至于听觉MMN，此结果与支持左半球优势新证据一致 during 词汇 tone 语义解释，而非右半球优势 during 纯音范式。似乎，听可能熟悉旋律时存在听觉偏差需要比非语义声学线索分析资源更多听觉认知处理。

虽然先前研究提出上述脑区域类似事件由多感官经验 incited，我们研究通过建模有效连接网络量化这些重组过程。我们近期研究（揭示单和多感官训练中独特神经可塑性机制影响 cross-frequency 和振荡过程 related to 多感官感知）也为多感官学习效应自动可转移性提供证据。具体地，当这些神经发现与行为和认知数据整合时，它们证明多感官学习在改善多感官处理同时增强一般认知过程优越性。本研究不仅重申多感官学习效力，而且强调其相对于单感官领域优越性，即使在依赖单感官神经元过程任务中。

描绘多感官和单感官训练对大脑功能连接差异影响可阐明其在康复和教育策略中潜在作用。利用复杂多感官训练任务康复程序近年获增加兴趣，音乐训练为临床条件（如卒中