基于生理启发的空间扰乱对字母识别的影响：皮层与皮层下扰乱的双重效率分析

《PLOS Computational Biology》：Identification of letters distorted by physiologically-inspired spatial scrambling

　　

： 在人类视觉系统的膝状体-纹状体通路（geniculostriate pathway）中，神经元投射将特定视网膜位点的信号从一个解剖区域并行传递至下一个区域。这些投射保真度的不精确性将限制系统执行需要位置信息任务的能力。研究人员探讨了阶段间“空间扰乱”（spatial scrambling）对视觉表现的影响。研究人员考虑了一个简单早期视觉皮层规范模型（canonical model）中可能发生扰乱的两个阶段：第一个方向调谐机制（类似于V1简单细胞）的输入阶段，或这些机制的输出阶段。这两个阶段分别被称为“皮层下扰乱”（subcortical scrambling，SCS）和“皮层扰乱”（cortical scrambling，CS）。研究人员开发了一种小波分解与再合成算法来模拟这些效应，并测量了受两类扰乱影响的字母识别中的人类表现。研究结果显示，SCS和CS对字母的感知噪声程度和字母识别阈值均具有可区分的效应。将人类表现与一系列预训练和自定义的卷积神经网络（convolutional neural networks，CNNs）在扰乱刺激上训练后的表现进行比较，CS的相对效率（relative efficiency，由人类与CNN阈值的比值计算）高于SCS。然而，在通过减少提供给CNN的小波比例来模拟人类低效率时，人类在CS中的效率低于SCS。这些效率差异表明，人类更擅长处理方向冗余刺激（CS）而非方向噪声刺激（SCS）。研究人员假设这反映了皮层简单细胞输入和输出阶段整合特性的差异。

论文解读文章

一、研究背景与问题

视觉系统是一个层级化处理系统，外部世界的信息通过多个阶段逐步构建为内部表征。生理学研究早已表明，视网膜信息经视神经传递至皮层的过程中存在信息瓶颈，而皮层处理（自V1起）同样受到神经元数量、能耗和系统噪声的限制。视觉系统不仅是层级化的，同时也是拓扑化的——视觉皮层中的活动具有空间组织性，映射到视野中被表征特征的位置。然而，连续区域之间的投射会造成特征编码空间精度的损失，例如在外周视野中，感受野大小随偏心率增大而增大。

近年来，生理学研究揭示了神经元投射中的离散性（scatter）导致经典感受野亚区（subfields）的异质性。在弱视（amblyopia）中，更大的离散性导致更异质的感受野和更大的群体感受野。与此同时，行为学研究考察了视觉系统内在的“扰乱”（scrambling）、“位置不确定性”（positional uncertainty）或“内部位置噪声”（internal positional noise），发现即使在中央凹区域，人类视觉系统也表现出一定水平的内在噪声，且在外周视野和弱视中该噪声升高。

然而，一个核心问题尚未解决：空间精度的丧失究竟发生在哪个或哪些阶段？生理学上，皮层放大效应、感受野采样粒度以及投射保真度都可能发挥作用。本研究聚焦于“扰乱假说”（scrambling hypothesis），即内部位置不确定性源于功能性检测器未校准的杂乱排列。为更严格地检验扰乱对位置不确定性的贡献，本研究基于早期视觉处理流的层级特性，提出了一种区分不同阶段扰乱效应的方法。

二、研究内容与结论

研究人员选择膝状体-纹状体通路作为研究对象，这是视觉信息从视网膜经外侧膝状体核（lateral geniculate nucleus，LGN）传递至初级视觉皮层（V1）的最经典通路。在V1简单细胞感受野形成的经典模型中，简单细胞从代表各向同性调谐的LGN传入纤维的亚单位中汇聚输入。研究人员开发了一种小波分解与再合成算法，利用给定位置、方向、空间频率和相位的log-Gabor滤波器对图像进行分解和再合成，并在两个阶段施加扰乱：其一为方向调谐机制输出阶段的位置随机抖动，即“皮层扰乱”（cortical scrambling，CS），模拟V1简单细胞投射的扰乱；其二为构成方向调谐机制的亚单位输入位置随机抖动，即“皮层下扰乱”（subcortical scrambling，SCS），模拟LGN传入纤维的扰乱。

研究采用字母识别任务，该任务在临床字母视力测量中具有相关性，在计算机视觉的光学字符识别（Optical Character Recognition，OCR）领域具有长期重要性，并在不变物体识别理论中扮演重要角色。字母高度设为1.5度视角，空间频率设为字母识别的最优频带（约3周/字母），以限制跨频率增益控制效应的复杂影响。刺激集包含四个小写字母：o、m、d、z。

为量化人类表现，研究人员训练了二十个通过架构搜索生成的自定义CNN，以及四个在ImageNet上预训练的网络：AlexNet、ResNet50、VGG19和CORnetS。由于CS和SCS操作缺乏解析的理想观察者模型，研究人员以CNN作为基准，计算相对效率（relative efficiency），即人类阈值与CNN阈值的比值。此外，通过减少刺激中提供给CNN的小波样本比例来模拟人类低效率，提取采样效率（sampling efficiency）。

三、主要技术方法

研究人员采用的主要技术方法包括：一、基于笛卡尔可分离log-Gabor滤波器组（Cartesian-separable log-Gabor filter bank）的图像分解与再合成算法，滤波器空间频率带宽1.5个八度、方向带宽30度，共8个优选方向、每个方向含正交相位对，总计16个滤波器；二、稀疏采样策略，在每个半波长处取权重值并保留全栈最活跃的1%权重；三、皮层扰乱（CS）通过对每个log-Gabor小波的位置施加高斯分布随机偏移实现；四、皮层下扰乱（SCS）通过将log-Gabor去卷积为各向同性亚单位与接线图（wiring diagram），对接线图施加高斯位置偏移后再与亚单位卷积重构扰乱后的log-Gabor；五、CNN模型训练与架构搜索，包括自定义网络和预训练网络的迁移学习；六、模板匹配（template matching，TM）模型作为白噪声条件下字母识别的理想观察者基准。研究招募了21名视力正常或矫正至正常的成人参与者，其中5人参与实验1（双眼观看），20人参与实验2（单眼测试，通过眼罩遮盖，优势眼通过洞卡测试确定）。

四、研究结果

实验1：感知扰乱幅度匹配

参与者能够对同类型扰乱的感知幅度进行接近真实关系（斜率为1、截距为0）的匹配，验证了其准确匹配感知扰乱幅度的能力。跨扰乱类型的匹配在对数-对数坐标上呈线性关系，但SCS的感知噪声程度随标称噪声水平增长比CS更快，在较高幅度下两种操作的感知“噪声程度”趋于相似。嵌套模型假设检验表明，完整模型优于简化模型（p<0.001），但偏差可能源于测试程序在超出所选范围幅度时的线性关系失效。

实验2：受噪声或扰乱影响的字母识别

参与者使用优势眼时对SCS的耐受性显著更高（t检验；t₁₉=2.18，p=0.042），而BN（t₁₉=-1.06，p=0.30）和CS（t₁₉=0.05，p=0.96）未发现优势眼优势。SCS操作对应双眼组合之前发生的扰乱类型，这一结果引人关注。

CNN模型的表现

在每种刺激条件下，表现最佳的自定义CNN均为在该条件下训练的模型，跨条件训练和测试导致性能下降（Mann-Whitney U检验，所有两两比较p<0.0001），表明CNN对分布外样本的泛化能力有限。在BN条件下，自定义CNN阈值与模板匹配模型阈值无显著差异（U=19，p=0.19），表明架构搜索和训练程序产生了接近BN条件下理想观察者表现的CNN。

人类表现与CNN模型的比较

相对效率（η）定义为人类阈值与CNN阈值的比值。BN条件下效率为51%，CS为13%（排除AlexNet和CORnetS作为离群值），SCS为9%。重复测量方差分析显示噪声条件的主效应显著（F_{(1.61, 27.32)}=879.68，p<0.001，Greenhouse-Geisser校正），事后两两比较显示BN与CS、BN与SCS、CS与SCS之间均存在显著差异（均p<0.001）。与最佳模型比较时，BN为29%，CS为10%，SCS为7%。结果表明，以将性能降至阈值水平所需的扰乱幅度衡量，人类在CS中的效率显著高于SCS。

将低效率建模为样本损失

通过减少刺激中保留的小波比例，研究人员发现CNN阈值随小波数量减少而单调下降。拟合四参数S形函数或线性模型后，提取采样效率（η_s），即CNN达到人类阈值所需保留的小波比例。重复测量方差分析显示噪声条件主效应显著（F_1.76,29.91=1135.78，p<0.001），事后比较显示BN与CS无显著差异（t₁₇=-2.11，p=0.15），而BN和CS均与SCS显著不同（BN vs. SCS：t₁₇=-50.89，p<0.001；CS vs. SCS：t₁₇=-40.61，p<0.001）。BN条件下CNN仅需保留4%的小波即可达到人类水平，CS略高，而SCS需要18%。这表明SCS字母的识别对小波样本数量的依赖性远高于CS。

五、讨论与结论

研究人员利用深度学习进展训练CNN模型替代传统噪声掩蔽研究中理想观察者的角色。在BN条件下自定义CNN达到与模板匹配相近的性能，验证了训练程序的优化性。BN条件下测得的效率（51%）显著高于Pelli等人（1995）在宽带噪声中测得的10%，研究人员推测这可能归因于带通刺激减少了跨通道抑制交互，以及本研究仅使用4个字母而非26个字母的辨别集。

关于SCS与CS两种效率指标的相反发现：相对效率指标显示人类在CS中更接近CNN表现（13% vs. 9%），而采样效率指标显示SCS需要保留更多样本（18% vs. 4%）。研究人员假设，CS刺激包含对应每个潜在字母身份的固定方向统计量，使V1易于进行冗余减少和稀疏编码；而SCS使刺激的方向能量变得嘈杂，皮层可能需要整合更多（被扰乱的）小波及其亚单位来去相关神经放电。这支持SCS和CS分别针对V1输入和输出阶段的观点。

关于内部扰乱是固定的还是功能性的问题：一种可能性是扰乱反映了解剖学上固定的、个体特异的投射模式，可通过线性系统理论方法逆向工程每个参与者的独特“滤波器组”；另一种可能性是扰乱是动态过程的功能性结果，V2扰乱与弱视猕猴的双眼抑制相关，表明扰乱可能具有功能性。在固定扭曲随视野位置变化的情况下，注视性眼动会使施加于刺激的扰乱操作逐时刻变化，可能部分补偿扰乱造成的功能缺陷。

关于弱视和外周视野研究的启示：研究人员近期将该方法应用于弱视，发现弱视眼和同视眼在识别大扰乱幅度字母时的效率无差异，但弱视眼产生了不同的分类错误模式，表明内部表征发生了转换。在外周视野中，信息在更大的空间窗口内“池化”，人类可能仅能获取每个池化区域内容的摘要统计量。未来利用模型驱动刺激合成等现代机器学习方法有助于阐明这些可能性。

研究结论：人类在CS中的相对效率高于SCS，表明人类更擅长处理方向冗余刺激而非方向噪声刺激；然而，以采样效率衡量时，SCS需要更多样本，表明SCS识别更依赖样本数量。这些差异反映了皮层简单细胞输入和输出阶段信息整合方式的区别，为理解视觉系统内部位置不确定性的阶段特异性机制提供了新见解。