跨感觉模态的动作特征神经表征：一项多模态fMRI研究

本研究通过多模态fMRI技术，探索了人类大脑在自然情境下如何跨视听模态编码动作特征。研究人员构建了包含空间、效应器、主体与对象、社交、情感和语言六大域的动作分类模型，发现动作观察网络（AON）对动作特征的编码具有模态普适性，其中效应器和社交域贡献最显著。该研究为理解大脑多感官整合机制提供了新视角，发表于《NeuroImage》。

　　

在理解他人行为时，人类大脑需要整合来自不同感官的信息。尽管动作观察网络（AON）已被广泛研究，但其如何跨视听模态稳定编码动作特征仍不清楚。现有研究多采用孤立动作片段，忽略了自然情境中动作特征的交互性；同时，特征编码的模态依赖性也存在争议。

为回答这些问题，Laura Marras团队在《NeuroImage》发表研究，首次构建包含6大域（空间、效应器、主体与对象、社交、情感、语言）的 taxonomic action model（分类动作模型），通过多模态fMRI（功能磁共振成像）比较了101名受试者在视听（AV）、纯视觉（V）和纯听觉（A）条件下观看电影《101忠狗》时的脑活动。研究采用方差分解和典型相关分析（CCA）量化各域的独特贡献，并通过排列检验评估显著性。

方法学亮点

研究招募30名健康受试者（分三组接受AV/V/A刺激），使用3T fMRI采集数据。三名标注员根据模型对电影动作进行特征标注，通过中心核对齐（CKA）验证标注一致性。采用Schaefer脑图谱划分200个ROI（感兴趣区），结合PCA降维和CCA建立脑活动-特征映射。

主要结果

1. 1.

   模型验证

   标注一致性分析显示全模型CKA达0.48，空间域最高（0.65），情感域最低（0.1）。特征频率分析发现97.95%动作具动态性（语言域），而象征性手势仅占0.7%。

2. 2.

   全模型预测效能

   AV条件下，AON覆盖127个ROI，峰值位于右后颞上沟（R²=0.129）。V和A模态分别保留80和12个显著ROI，表明多模态信息增强编码鲁棒性。

3. 3.

   域特异性贡献

   效应器域解释14%方差（AV：0.0086±0.0031），社交域次之（9.6%），情感域最低（4.6%）。跨模态相关性显示空间域最稳定（AV-V ρ=0.76**）。

4. 4.

   皮层表征模式

   非参数排序揭示：

   • •

     空间域：双侧眶额皮层（OFC）和内侧前额叶（mPFC）偏好编码环境特征；

   • •

     效应器域：左顶叶岛盖（OP）特异性响应身体部位信息；

   • •

     社交域：左颞下沟（ITS）和背侧注意网络（含IPS/FEF）参与联合动作解析。

讨论与意义

该研究首次证明AON采用"分布式重叠表征"而非严格模块化方式处理动作特征。54.1%的解释方差源于多域协同，挑战了传统孤立特征研究范式。情感域的低贡献提示自然情境中情绪编码更依赖上下文整合。

研究局限性在于标注依赖主观判断，未来可采用数据驱动特征提取（如人类相似性评判）优化模型。成果为自闭症等社交认知障碍的神经机制研究提供了新框架，并为脑机接口的动作解码算法设计带来启示。