深度神经网络与大脑视觉皮层对齐行为的方差分解与来源解析

《Scientific Reports》：Decomposing deep neural network-brain representational similarity reveals distinct sources across the human visual hierarchy

　　

摘要

深度神经网络能够预测视觉层叠结构中的神经反应，但现有的对齐分数并未明确这种对应关系是由学习到的表征、架构上的归纳偏差、低层次图像统计特征还是类别结构导致的。我们通过对7T fMRI数据（来自8名参与者的、观看了约10,000张自然图像的实验）进行表征相似性分析，并利用方差分解方法，将深度神经网络与大脑活动之间的对齐行为分解为四个来源。对齐成分在皮层层次结构中的分布存在系统性差异：在初级视觉皮层，架构特征和低层次图像统计特征解释了46%的方差；而在高级视觉皮层，模型特定的学习表征占据了主导地位，在海马旁回的空间表征区这一区域的解释方差占比高达68%。将相同的方法应用于处理图像说明的语言模型时，发现对齐结果高度依赖于具体模型：在高级视觉皮层中，句子嵌入模型贡献了51%的独特方差，而自回归模型仅贡献了4%的方差，其余方差可由文本表面的统计特征和类别结构解释。在九种不同模型中，对齐分数的组成存在显著差异。在对对齐结果进行解读之前，先将其分解为各个组成部分是必要的，这样才能确保其对齐行为确实反映了某种趋同的处理机制。