《NeuroImage》：Decoding individual differences in mental information from human brain responses predicted by deep neural networks
编辑推荐：
研究人员提出一个框架，显著降低脑解码（brain decoding）的功能磁共振成像（functional magnetic resonance imaging, fMRI）测量成本。该框架从预测脑响应中解码个体心理信息。其捕捉多种认知过程中心理信息的个体差异
研究人员提出一个框架，显著降低脑解码（brain decoding）的功能磁共振成像（functional magnetic resonance imaging, fMRI）测量成本。该框架从预测脑响应中解码个体心理信息。其捕捉多种认知过程中心理信息的个体差异。其亦捕捉主观自我报告（subjective self-reports）中的个体差异。该框架拓宽脑解码的潜在社会应用。
自然视听内容诱发的认知过程具有明显个体差异，心理信息无法直接观察。基于功能磁共振成像（fMRI，一种血氧依赖脑活动成像技术）的脑解码可重建自然视听内容诱发的丰富心理信息并估计自然认知体验的个体差异，已用于神经市场营销（neuromarketing）等。但fMRI物理限制与费用高，阻碍社会应用；脑电图（EEG）等替代方法成本较低但噪声大、空间分辨率低且仍需直接脑测量；跨个体脑表征空间对齐仍需至少参考脑测量，并可能削弱个体变异。因此，需要一种对新颖输入无需额外脑测量即可解码心理信息并保留个体差异的方法。预测响应解码（predicted-response decoding，利用模型预测脑响应进行解码）具潜力，但既往主要在群体水平比较，尚未检验其能否捕捉与实测响应解码一致的个体差异。该研究据此构建深度神经网络（DNN，多层人工神经网络）到体素的dnn2vox模型和体素到标签的vox2lab模型，从自然电影场景的预测全皮层响应中解码88个标签，并与实测响应解码（measured-response decoding）比较，以验证个体差异复现能力。研究结论表明该框架可捕捉多种心理信息及主观自报的个体差异，为低成本、灵活的脑解码提供工具，并拓展真实世界应用。
关键技术方法（≤250字）：采用预训练视觉DNN（VGG-16、ResNet50、ViT）和听觉DNN（SoundNet）提取1 s电影片段特征，经主成分分析（PCA）降至1,000维；以岭回归建立dnn2vox，将特征映射至全皮层体素响应并纳入3–6 s血流动力学延迟；以岭回归建立vox2lab，从预测响应解码标签；设实测响应解码与dnn2lab直接映射对照，并以支持向量回归（SVR）检验非线性解码；个体差异反射（IDR）借鉴跨被试表征相似性分析（IS-RSA），以Spearman相关比较预测与实测解码的个体间差异矩阵，置换检验评估显著性。样本为日本参与者：网络广告集40名（15女；26.6±9.0岁）、电视广告集28名（12女；26.4±7.6岁；16名重叠）、多域集99名（26女；23.0±3.6岁）；刺激含368、420、595个片段。
3.1 模型性能（Model performance）。通过场景分类准确率评估dnn2vox，发现无论使用何种DNN，其在几乎所有皮层区域显著高于机会水平；视觉DNN模型在枕叶和后颞叶等视觉区准确预测，听觉DNN模型在前颞叶等听觉区准确预测。通过标签解码相关分析，实测响应解码除“persuasive”外标签显著，预测响应解码在所有标签显著；置换检验中实测响应解码82/88个标签显著，VGG–SN、RN–SN、ViT–SN分别84、85、86/88显著。UMAP显示场景描述解码输出分布接近原始标签。SVR非线性未提升且显著降低。预测响应解码整体优于实测响应解码，且ViT+SN最高，RN+SN次之，VGG+SN再次；预测响应解码相对实测的改善与dnn2lab输出相似性正相关；dnn2vox相对dnn2lab的标签依赖；样本量增加性能趋近平台；跨数据集泛化准确率下降且降幅依DNN而异。
3.2 多种认知标签的个体差异反射（Individual-difference reflections for various cognitive labels）。通过IDR（个体差异反射，individual-difference reflection，比较预测与实测解码的个体间差异矩阵一致性）评估，代表性场景描述ViT+SN的IDR=0.80显著，多域主观偏好IDR=0.69显著；VGG–SN、RN–SN、ViT–SN分别65、63、67/88显著，分布于五类标签。DNN间IDR无清晰差异；SVR降低IDR；噪声天花板与IDR无显著相关；样本量5,400相对7,200的IDR为98.0–106.6%；多模态对场景描述增强、对广告偏好投票降低；层分析显示VGG、RN、SN层间IDR变化而ViT无显著变化，峰值倾向中层，全层组合较高；个体非特异标签仍可捕捉，其个体间差异较低但与IDR负相关。
3.3 主观行为的个体差异反射（Individual-difference reflections for subjective behavior）。通过将预测解码的主观偏好与参与者手动9点偏好评分比较，所有DNN集IDR显著；dnn2lab比较仅限主观偏好，12个设置中2个显著改善、1个显著下降。结论为预测响应解码不仅复现实测解码心理信息个体差异，也反映主观行为特异性。
3.4 IDR与解码性能的关系（Relationship between IDR and decoding performance）。通过IDR与解码准确率相关分析，在每个DNN集内均显著正相关（Pearson r=0.37–0.50，P<0.0005），表明标签解码准确率越高，个体差异表征越好。
讨论部分总结：原文指出主要目标是在无需额外fMRI测量下估计实测响应解码输出。即使标签来自第三方，解码输出仍显示个体差异，源于参与者脑响应表征结构差异；使用参与者自评标签时还捕捉主观体验差异。方法基于既有技术的新应用，并以多DNN、多数据集和多认知域严格验证；简单线性机制即可可靠估计个体心理信息；dnn2vox将DNN特征转换为更匹配个体脑表征的结构。与既往方法相比，该框架以模型预测替代重复脑测量，避免跨个体对齐可能模糊个体变异，并可跨任务和模态复用解码模型而无需重训。层深分析显示IDR倾向中层峰值，原文解释为个体差异相关信息在未完全类别抽象化的中层表征较强。跨数据集分析显示dnn2vox具较高泛化性，但降幅依DNN而异；长期稳定性需纵向研究，实际可通过仅重训vox2lab适应时间变化。未来可结合更先进回归、脑基础模型和数据增强优化。应用上可用于神经市场营销，并可与EEG或生理信号结合估计动态心理状态。隐私方面，第三方可能在不知情或不同意下推断心理信息，且主观偏好等与人格相关，可能带来歧视风险；原文强调需保障个人模型安全并建立法律框架。
研究结论翻译：研究结果表明，预测响应解码有效捕捉了由实测响应解码得到的多种心理信息方面的个体差异，即使对于与主观知觉相关的认知标签亦然。因此，预测响应解码为估计自然场景诱发的个人知觉提供了一种成本有效且灵活的工具，对增强脑解码在真实世界情境中的实际效用具有重要意义。
