大规模多模态fMRI数据集用于视觉和触觉3D物体类别学习

《Scientific Data》：Larg-scale multimodal fMRI dataset of visual and haptic 3D object category learning

　　

人类如何仅通过视觉或触觉识别环境中的物体，即使只有一种感官可用？人类通常整合视觉和触觉感官系统进行物体识别，但类别信息跨模态传递的机制尚未完全理解。在本研究中，研究人员收集了134名参与者的行为数据和fMRI（功能磁共振成像）数据。50名参与者（每组25人；每组13名女性）使用视觉或触觉模态对新型3D（三维）物体（“数字胚胎”）执行相似性评分任务。其余84名参与者完成了单模态（视觉-视觉：n=19，11名女性；触觉-触觉：n=22，10名女性）或跨模态（视觉-触觉：n=22，11名女性；触觉-视觉：n=21，10名女性）条件下的3D物体类别学习实验。除了基于任务的fMRI外，研究人员还在四个时间点采集了静息态fMRI（rs-fMRI）数据：训练前、训练后、测试前和测试后。每个MRI扫描会话还获得了高分辨率T1加权图像。这些数据支持对环境的视觉和触觉表征、跨模态的表征相似性、物体识别的类别信息跨模态传递以及脑网络中的神经可塑性进行研究。

### 论文解读：视觉与触觉3D物体类别学习的大规模多模态fMRI数据集

#### 研究背景与问题
人类在日常生活环境中，能够仅通过视觉或触觉识别物体，例如在包中摸索钥匙或快速扫视找到物品。这种跨感官的物体识别能力依赖于大脑对多模态信息的整合与传递。尽管已知视觉和触觉在形状感知上具有一致性，且侧枕叶复合体（LOC）、顶内沟（IPS）和岛叶/屏状核等脑区在跨模态识别中起到关键作用，但类别信息如何在视觉和触觉之间进行跨模态传递的神经机制仍不完全清楚。以往研究存在若干局限：第一，常使用熟悉物体作为刺激，而熟悉物体的感知不仅由物理特征驱动，还受记忆和先验知识等高阶认知过程影响；第二，使用参数化形状模型（如壳状3D物体）难以捕捉自然形状的复杂性，易导致混淆或过度简化；第三，使用2D刺激避免触觉与视觉交互，但不符合现实场景中多感官交互的实际情况。为填补这一空白，本研究利用虚拟系统发育（VP）算法生成一组全新的自然化3D物体（“数字胚胎”），并采用虚拟现实（VR）环境模拟真实条件，同时减少视觉探索中的触觉干扰。据研究人员所知，尚无综合性数据集同时探索不熟悉物体的视觉和触觉类别学习以及跨模态信息传递。因此，研究人员开发了这一多模态数据集，在新型类别学习实验的关键时间点采集血氧水平依赖（BOLD）和静息态fMRI信号，以探究与类别学习相关的神经可塑性及跨模态信息传递。

#### 研究方法
本研究主要采用以下关键技术方法：
- **刺激生成**：使用虚拟系统发育（VP）算法模拟胚胎发生过程（细胞分裂、生长和运动），从均匀二十面体出发生成16个属于两个类别的自然化3D物体（“数字胚胎”），用于视觉和触觉任务。
- **实验设计与数据采集**：研究包含相似性评分任务和类别学习实验。在相似性评分任务中，50名参与者随机分配至视觉或触觉模态，对物体对进行七点Likert量表评分。在类别学习实验中，84名参与者分为四组：单模态组（视觉-视觉VV、触觉-触觉HH）和跨模态组（视觉-触觉VH、触觉-视觉HV），第一天在扫描仪外进行训练，第二天在3T Philips Achieva MRI扫描仪内进行测试，同时采集基于任务的fMRI数据。静息态fMRI（rs-fMRI）在四个时间点（训练前、训练后、24小时后测试前、测试后）采集，每次10分钟。高分辨率T1加权图像在每个MRI会话中获取。
- **预处理与分析方法**：所有神经影像数据使用FSL（v6.0.5.1）、AFNI（v20.0.09）、ANTs和FreeSurfer（v7.1.1）等工具进行预处理。任务态fMRI进行头动校正、空间平滑（5mm FWHM）、ICA-AROMA去噪、高通滤波（>0.01Hz），并使用一般线性模型（GLM）结合阈值无关集群增强（TFCE）和族系误差（FWE）校正（p<0.05）进行统计分析。静息态fMRI额外进行切片时间校正、白质/脑脊液/全局信号回归和带通滤波（0.01–0.1Hz），并进行独立成分分析（ICA）识别静息态网络（RSN）。
- **样本队列来源**：参与者通过鲁尔大学波鸿校区校园网络和社交媒体平台招募，共146名参与者，最终84人纳入分析，均来自波鸿鲁尔大学医学系伦理委员会批准的研究（No. 17-6184）。

#### 研究结果

**相似性评分任务（Similarity Rating Task）**
通过计算所有参与者的平均相似性矩阵，发现视觉与触觉相似性评分之间存在强相关（r=0.8，p=0.000），表明两种模态对物体相似性的判断具有一致性。多维尺度分析（MDS）显示两个维度即可充分解释感知空间，且两个聚类清晰对应于VP算法定义的物体类别，证实了数字胚胎可被感知为两个不同类别。

**行为数据（Behavioral data）**
所有四组（HH、VH、VV、HV）在训练过程中准确率显著提升（线性回归r2均大于0.82，p<0.005），最终三个连续训练区块的平均准确率均超过90%（HH: 94.01%、VH: 92.78%、VV: 93.33%、HV: 90.16%），组间无显著差异，表明训练任务难度相当且所有组均达到学习标准。测试阶段平均准确率也相近（HH: 91.65%、VH: 90.12%、VV: 93.07%、HV: 87.30%），组间无显著差异，表明参与者成功将类别知识转移到测试阶段。配对t检验比较最后一个训练区块与第一个测试区块的准确率，发现VH（p=0.005）、HV（p=0.003）和HH（p=0.03）组存在显著下降，而VV组无显著差异（p=0.695），表明跨模态组和触觉单模态组需要首个测试区块来完全转移类别知识，而视觉单模态组则更容易保留。

**头动参数（Motion parameters）**
对所有扫描会话的头动分析显示，帧间位移（FD）值普遍远低于0.9mm阈值，标记体积比例从静息态会话的0.1%到Day2后静息会话的1.8%不等。平移参数方面，z方向（头脚）超过±1mm阈值的比例最高（从Run1的0.5%递增至Day2后静息会话的4.5%）。旋转参数方面，俯仰旋转（x轴）超过±0.0175rad（约1°）的比例最高（从Run1的1.5%增至Day2后静息会话的5.1%）。超过阈值的体积被建模为GLM中的混淆回归量，且超过15%体积FD>0.9mm的会话被排除。结果表明头动水平在可接受范围内。

**一般激活图（General activation maps）**
任务态fMRI的GLM分析显示，视觉和触觉分类任务均诱发广泛的任务正激活和任务负激活。HH组（触觉训练-触觉测试）在双侧中央后回（初级体感皮层S1）、双侧小脑、右侧额上回、双侧额中回、右侧丘脑和左侧岛叶有显著激活。VH组（视觉训练-触觉测试）在右侧中央后回、左侧中央后回、双侧小脑、双侧丘脑、右侧豆状核和左侧中央旁小叶有最大激活簇。VV组（视觉训练-视觉测试）在双侧外侧枕叶皮层（V4、LOC）、双侧中央前回、右侧丘脑和左侧豆状核有显著激活。HV组（触觉训练-视觉测试）在双侧颞枕梭状皮层、双侧中央前回、双侧额中回、右侧额上回和右侧丘脑有显著激活。任务负激活（去激活）区域主要涉及默认模式网络（DMN），如楔前叶、颞上回、额上回等，表明分类任务期间抑制了内源性或任务无关过程。

**静息态网络（Resting-state networks）**
对所有84名参与者的四个静息态会话进行组水平ICA，识别出稳健的功能网络，包括默认模式网络（DMN）、外侧视觉网络（LVN）和运动网络（SMN）。这些网络的空间模式在四个会话间具有一致性。组内相关系数（ICC(3,1)）评估了网络空间图的可复现性：DMN的ICC为0.730（95%CI [0.630, 0.820]），LVN为0.658（95%CI [0.550, 0.760]），SMN为0.646（95%CI [0.540, 0.750]），均达到中等至良好的可复现性水平，表明各会话间的差异反映真实的神经生理变化而非测量不稳定性。

#### 讨论与结论
本研究首次完整发布了包含行为、任务态fMRI和静息态fMRI的多模态数据集，用于探究视觉和触觉类别学习及跨模态信息传递。讨论部分指出，该数据集可用于研究新类别学习相关的神经可塑性（通过静息态和任务态脑网络）、运用多变量模式分析（MVPA）解码感官模态间的信息传递，以及跨模态表征相似性等方向。本数据集的子集虽已在先前假设驱动的出版物中使用，但本文是首次全面发布完整多模态数据集，且第二天实验中fMRI采集时的跨模态类别知识转移行为数据此前未发表。

**研究结论**：研究人员收集并验证了一个包含134名参与者的大规模多模态fMRI数据集，涵盖视觉和触觉模态下新型3D物体（数字胚胎）的相似性评分与类别学习行为数据，以及训练前后和测试前后的静息态fMRI与任务态fMRI数据。行为分析证实参与者成功学习了物体类别并实现了跨模态转移；头动参数和静息态网络可复现性评估验证了数据质量。该数据集为研究视觉和触觉环境表征、跨模态表征相似性、物体识别的类别信息跨模态传递以及脑网络神经可塑性提供了独特资源。数据已通过Mendeley、ReSeeD和Zenodo等平台公开共享。