卷积神经网络：生物学基础、隐藏局限性与未来方向

《Electronics》：Convolutional Neural Networks: Biological Foundations, Hidden Limitations, and Future Directions

　　

卷积神经网络（Convolutional Neural Networks，CNN）已变革了视觉识别领域，然而稳健的几何推理、可靠的分布外（out-of-distribution，OOD）泛化以及基于少量数据的识别能力在很大程度上仍未被解决。CNN 从其架构设计上汲取了哺乳动物视觉皮层的灵感，但就生物学向工程学的转化是选择性的，且在多处不精确，这些不精确性带来了已被充分记录的后果。本文考察了生物保真度成立之处及其失效之处，分析扎根于深度学习出现之前的形式化结果与近期关于 CNN 失效模式的实证发现。研究人员识别出三项可诊断的架构局限：第一，CNN 混淆了生物系统在外侧膝状体核（lateral geniculate nucleus，LGN）通过结构分离处理的视觉模态，将原始 RGB 像素送入单一未分化滤波器组，从首层起便纠缠了朝向、颜色与纹理信号；第二，CNN 在网络全深度重复执行空间子采样（subsampling）操作，远超该操作具有生物学依据的早期视觉皮层阶段，Barnard 与 Casasent 于 1990 年已形式化证明该操作在其应用的每一层均不可逆地丢弃位置信息，将其重复应用于对应 V4 及下颞叶皮层（inferotemporal cortex，IT）的区域会在无生物层级所执行的质的不同计算补偿的情况下放大此损失；第三，激发此设计的"池化即复杂细胞（complex cell）类比"反映了对复杂细胞计算功能的误读——时空能量模型（spatiotemporal energy model）将复杂细胞行为形式化为几何提取：检测局部边缘结构的存在与朝向，对不具有几何意义的亮度极性及亚波长相位等光度偶然因素进行抽象，池化是其可容忍的一阶近似，但作为跨网络全深度重复使用的通用不变性机制，它试图达成的是通过空间子采样获取物体级位置不变性，恰丢弃了能量模型所保留的几何信息。将池化视为可无限扩展实现的复杂细胞行为——而非止于 V3 的有自然生物学终点的首阶段近似——混淆了两类性质不同的操作，且关键地移除了将简单-复杂细胞（S-C）变换局限于早期视觉皮层的理据性判据：因池化被理解为通用不变性机制，该领域便无架构理由停止重复它。研究人员综述了胶囊网络（capsule networks）、群等变 CNN（group-equivariant CNNs）、基于偏微分方程（PDE-based）的网络及视觉 Transformer（Vision Transformers，ViT）各自如何解决上述局限中的一至两项而其余仍存留。研究人员提出更完备仿生架构应满足的六项必要条件（desiderata），并指出满足它们需将视觉皮层的解法视为各组件相互依存的完整方案包（coherent package），而非可独立选取的原则菜单。

论文解读：《Convolutional Neural Networks: Biological Foundations, Hidden Limitations, and Future Directions》（发表于《Electronics》）

研究背景与问题提出

卷积神经网络（Convolutional Neural Networks，CNN）虽在大规模视觉识别任务上取得突破，但在稳健几何推理、分布外（out-of-distribution，OOD）泛化及小样本识别等核心问题上仍存明显短板。CNN 架构启发自 Hubel 和 Wiesel 对哺乳动物视觉皮层的研究——局部感受野、权值共享与分层特征组合，但生物学向工程实现的转译是选择性且不精确的：跳过了外侧膝状体核（lateral geniculate nucleus，LGN）的模态分离、将具生物学依据的 S-C（简单细胞-复杂细胞，simple-complex cell）变换无限重复至深层、并以最大池化（max pooling）或平均池化（average pooling）类比复杂细胞的相不变性处理。这些架构偏差导致 CNN 从首层即混叠朝向、颜色与纹理信号，并在每层通过空间子采样不可逆丢失精确位置信息，最终使网络依赖局部纹理统计而非全局几何结构做判断，造成纹理偏置（texture bias）、OOD 脆弱性及对抗样本敏感性。现有改进架构（胶囊网络、群等变 CNN、基于偏微分方程 PDE-based 的 CNN、Vision Transformer）仅部分触及上述问题。本文旨在从形式化分析与神经科学实证出发，精确诊断 CNN 与生物视觉系统间的三条架构断层，并提出更完整仿生架构的必要约束。

主要关键技术方法

研究人员采用理论分析与文献综合法：（1）基于 Barnard 和 Casasent（1990）关于 Neocognitron 中平移不变性与空间子采样权衡的形式化定理，分析 CNN 中重复池化造成的累积几何信息损失；（2）以 Adelson 和 Bergen 的时空能量模型（spatiotemporal energy model）形式化复杂细胞为局部几何提取器（检测朝向边缘存在且对亚波长相位不变），对比池化通过空间邻域选值丢弃位置信息的机制，论证二者属不同范畴操作（category error）；（3）对比分析 Neocognitron、HMAX（采用 Gabor 滤波器模拟 V1 S1 层及仅两层 S-C 阶段）、Map Transformation Cascade（MTC）等 S-C 谱系模型与深度 CNN 的差异；（4）系统评述胶囊网络、群等变 CNN（Group-Equivariant CNNs，G-CNNs）、PDE-based G-CNNs 及 Vision Transformers（ViT）对上述三局限的覆盖情况，提出六条仿生架构必要条件（desiderata）。

研究结果（按原文小节归纳）

2. The Biological Blueprint: Hubel and Wiesel

研究人员梳理 Hubel-Wiesel 发现：简单细胞（simple cells）为具相位敏感性的朝向选择性 Gabor 型带通滤波器，建立特定位置的几何表征；复杂细胞（complex cells）通过正交相位（quadrature phase）简单细胞响应平方和（能量模型）实现局部（约一个波长内）位置容限和相不变性，但保持空间密度不降采样，且复杂细胞主要集中于 V1-V3；V4 及下颞叶皮层（inferotemporal cortex，IT）执行质不同的计算（复杂形状、物体部件）。视觉系统于 LGN 将大细胞通路（magnocellular pathway，运动/粗结构）与小细胞通路（parvocellular pathway，细纹理/颜色）分离，V1 内朝向选择细胞（interblob）与色觉处理细胞（cytochrome oxidase-rich blobs）亦分开。由此指出 CNN 输入原始 RGB 且无模态分离、在全深度重复 S-C 操作均背离生物蓝本。

3. The Modeling Lineage: Neocognitron, HMAX, and MTC

研究人员回顾：Neocognitron 引入交替 S 细胞（模板相关检测）与 C 细胞（空间子采样池化），Barnard-Casasent 定理证明每级池化打破平移协变性并不可逆丢弃位置信息，大池化窗牺牲判别力换近似平移不变性；HMAX 用生理校准 Gabor 滤波器（S1）及仅两层 S-C（S1→C1→S2→C2，S2 用径向基函数原型而非宽池化），止于 IT 近似建模且保留模态分离；MTC 用胜者全取（winner-take-all）子采样且无反向传播，深架构性能下降印证几何损失随深度有害。CNN 继承 S-C 但加反向传播掩盖了此深度天花板效应，且基准数据集（如 MNIST）预处理弱化不变性需求使 CNN 高分不反映真正几何理解。

4. What CNNs Inherited

研究人员确认 CNN 正确继承了局部感受野、权值共享与分层特征组合，浅层滤波器部分呈 Gabor 形近似简单细胞；但因跳过 LGN 亮度对比提取与模态分离，首层滤波器混有颜色与纹理探测器，污染几何信号——此为架构性（kind-level）偏差而非近似误差。深层持续重复卷-池越过 V3，在无线缆复杂细胞存在的区域继续销毁几何信息，与生物层级渐行渐远。

5. Complex Cells Extract Geometry Rather Than Object-Level Invariance

5.1 能量模型计算正交（正弦/余弦）简单细胞响应平方和得 E=G²+?²（与刺激相位偏移无关的常量），抽象掉非几何的光度/极性偶然因素，保留空间密度——此为局部几何提取而非广义位置不变性机制。

5.2 池化（含步长卷积 strided convolution）借邻域选值或线性聚合降采样获取物体级平移不变性，以丢弃"最大值在窗口内何处"等位置信息为代价；能量模型靠互补滤波器组合保留几何结构与空间分辨率。视池化为能量模型近似是将性质不同（kind-level）的两操作混淆——前者降维选择丢弃，后者二阶组合增信息。

5.3 仅在第一阶段（V1 近似区、小感受野、单池化）池化可作粗糙容忍但概念仍误；后续层无生物依据重复 S-C，且生物 V2/V3 转处理角/弧/纹理边界、V4/IT 转完全不同计算原则，不应再重复池化致几何损失累积。

5.4 能量模型要求输入为干净亮度对比上的 Gabor 正交对——需 LGN 模态分离前置，CNN 缺此前置致首层滤波器受颜色纹理污染，正交关系破坏，几何提取失效。三局限互为依存断点，视觉皮层以成套协同方式解决（LGN 分离→V1 Gabor 简单细胞→能量模型组合→高层质不同运算），CNN 拆散此包（coherent package）。

6. Where the Geometry Goes

研究人员阐述：每级池化按 Barnard-Casasent 定理不可逆损位信息并随深度叠加，CNN 靠反向传播寻统计捷径（纹理/共现）弥合训练集表现却掩真实几何贫乏——表现为纹理偏置（Geirhos et al. 证实 CNN 依纹理非形状分类，人相反）、OOD 脆弱及对抗样本敏感性（扰动不改几何但改纹理签名即误导网络）。池化阻碍从视网膜拓扑（retinotopic）到物体中心坐标框架（object-centered representation）的自然过渡，使网络须靠数据增广覆盖视点/尺度变化。深层卷基运算在几何信号已损后仅剩参效优势，替换无几何结构的扰动层在 MNIST/CIFAR-10/ImageNet 可比——佐证几何约束主要在早期有效。

7. What CNNs Get Right

研究人员承认 CNN 借生物启发（局部性、权值共享、分层）与大尺度反向传播训练获实质成功，ImageNet 类基准表现佳；局限显露于分布偏移、域迁移（如跨扫描仪医学影像、遥感方位不变检测）等需几何理解之场景，因协议特异纹理主导表示而解剖/物体几何被逐层弃置。

8. The Field's Responses, and Why They Remain Incomplete

研究人员评估：胶囊网络（Capsule Networks）以姿态向量与路由协议（routing-by-agreement）保留实例化参数（位置/朝向/尺度）解决池化丢弃位信息问题，但未解模态混叠与无限重复缺陷且难扩展；群等变 CNN（G-CNNs）通过群作用绑定滤波器旋转/反射等对称性改善早期几何但仍沿用池化致深度几何损、未触模态分离与池化概念误读；基于 PDE 的 G-CNN（PDE-based G-CNNs）以李群上哈密顿-雅可比型 PDE 求解替代子采样，通过组合达位置容限且保空间分辨率，最接近能量模型精神，但未解决模态分离且未大规模基准验证；Vision Transformer（ViT）弃卷-池改用补丁 token 与自注意力（self-attention）避 Barnard-Casasent 损失但丢局部几何归纳偏置需手动加位置嵌入且靠巨量数据/算力补偿——各方案仅覆盖部分 desiderata。

9. Desiderata for a More Complete Architecture

研究人员提出六条互依必要条件：D1 结构性（非学习得到）模态分解（亮度对比｜颜色｜运动）先于学习；D2 首阶段按能量模型精神做几何提取（依赖 D1 提供纯净亮度对比 Gabor 滤波器），高层用阶段适配（stage-appropriate）而非重复 S-C；D3 内在坐标框架由视网膜拓扑渐变为物体中心坐标（object-centered coordinates，依赖保几何信息）；D4 位置容忍类别表示靠结构化编码而非池化累积销毁；D5 信息论简约性——表征资源聚焦几何显著处（边/角/结，参照结构张量 structure tensor 特征值几何）；D6 分层整合用组合（combination）非选择丢弃（selection/discard），早期阶如能量模型不降采样，高层质不同操作。六者须联合满足方为视觉皮层完整方案的工程映射。

10. Conclusions（研究结论总结）

研究人员总结：CNN 合理继承了 Hubel-Wiesel 谱系的局部感受野、权值共享与分层组合并凭此获成功，但转译在三方面出错——(1) 略过 LGN 结构性模态分离致 RGB 首层混叠朝向/色/纹理；(2) 将仅具早期皮层生物依据的 S-C（简单-复杂细胞）变换连同空间子采样无限重复至深层，依 Barnard-Casasent 定理每层不可逆损几何位置信息且无高层质不同计算补偿；(3) 误将复杂细胞（形式化为能量模型之几何提取器，通过正交简单细胞响应组合获相不变性且不降采样）等同于靠空间子采样获物体级不变性之池化，此概念混淆移除将 S-C 限于 V3 之生物学判据致无限重复。反向传播借纹理统计捷径掩瑕疵使基准优但 OOD/几何推理弱。既有替代架构各补部分缺口未全套满足六 desiderata。尺度 alone 难解需几何归纳偏置之视觉难题，精确诊断 CNN 仿生不完全处是构建更完备架构之前提——视觉皮层已演化有效解法，厘清其实际组成而非假定内容方为更忠实实现之起点。