从感知机到卷积神经网络：空间深度学习实用教程

《Mathematics》：From Perceptrons to Convolutional Neural Networks: A Practical Tutorial on Spatial Deep Learning

　　

本教程带领读者进行一场从历史到技术的旅程，从简单的感知机（Perceptron，1958）走向主导空间数据处理（图像与视频）的现代卷积神经网络（Convolutional Neural Networks，CNNs）。研究人员从感知机的线性分类器出发，进而揭示其无法学习非线性模式（如异或（XOR）问题）的局限，这催生了多层感知机（Multi-Layer Perceptron，MLP）与反向传播（backpropagation）算法。接下来，研究人员讨论MLP在面对图像等结构化数据时的局限——参数爆炸、空间信息丢失与缺乏平移不变性（translation invariance），并将这些局限作为自然跳板引出CNN的核心思想：局部连接（local connectivity）、权值共享（weight sharing）与分层特征学习（hierarchical feature learning）。全文提供直观解释、数学表述与逐步数值示例（如小型网络完整前向与反向传播、手动二维卷积）。教程收尾详细梳理具影响力的CNN架构（LeNet-5、AlexNet、VGG、GoogLeNet、ResNet、DenseNet与EfficientNet），并讨论近期基于注意力（attention-based）的模型（如Vision Transformers与ConvNeXt），解释每种架构为何必要及其推进领域的方式。面向具备微积分与线性代数基础的学生与从业者，本教程将基础思想与前沿深度学习连接，聚焦空间数据，旨在让读者理解每项架构选择的动机而非仅看最终模型形态。

研究背景方面，早期神经网络以1958年Rosenblatt提出的感知机为起点，其作为单层线性分类器曾引发关注，但Minsky与Papert证明感知机无法解决异或（XOR）等非线性可分问题，导致第一次“AI寒冬”。为突破线性限制，研究人员引入多层感知机（MLP）与反向传播算法，借助非线性激活函数可逼近任意连续函数；然而将MLP直接用于图像时，因把二维像素展平为一维向量，带来参数爆炸、空间结构破坏与无平移不变性等缺陷。针对这些失败，研究人员提出卷积神经网络（CNN），把局部连接、权值共享、分层组合三项空间归纳偏置（inductive bias）嵌入架构，成为空间数据建模的主流范式。论文发表于《Mathematics》，以“失败驱动”叙事将每代架构与其前驱缺陷直接对应，填补了基础概念到现代视觉系统之间的教学空白。

关键技术方法上，研究人员采用概念推演与数值演算并重的方式：以感知机学习规则与MSE（Mean Squared Error）/BCE（Binary Cross-Entropy）损失演示单层不可分问题；用2输入-2隐藏-1输出MLP完整走通前向传播与反向传播链规则求导；将图像建模为张量，依卷积输出尺寸公式H_out=?(H+2P?F)/S+1?推导特征图尺度，手动计算二维互相关并引入步长（stride）与填充（padding）；以MNIST（28×28灰度）为样例网络贯穿卷积、ReLU、最大池化（max pooling）、全局平均池化（GAP）、展平与全连接（FC）；训练侧覆盖Dropout、Batch Normalization（BN）、权重衰减（L2）、数据增强及权值共享下的梯度累加规则。架构演进部分则以公开基准（ImageNet ILSVRC、MNIST）与已有文献参数为依据做横向对比。

研究结果依原文章节展开。第2节感知机部分，研究人员给出加权和对阈值激活的数学形式，将阈值吸收为偏置b，用阶跃函数说明决策边界为超平面，并以XOR四点代数矛盾证明其非线性不可分，引出AI寒冬与多层化需求。第3节MLP部分，研究人员论证堆叠线性层仍等价线性变换，须靠非线性激活打破；用手设权值让隐藏层分别模拟NAND与OR门，输出层AND门完成XOR；继而以tanh+sigmoid网络走通具体前向数值，再用MSE损失对输出层与隐藏层权值做链式法则反传，得出“负梯度指示增大权值以降低损失”的更新逻辑；最后指出MLP用于图像的四大弊病：参数随像素数线性爆增、无平移不变性、无分层鼓励、展平破坏邻域关系。第4节CNN基础部分，研究人员以一维就诊调度类比卷积重叠相加，推广至二维核滑动；明确局部连接+权值共享使参数量从全连接65,536×1000降至核参9+偏置；用3×3核、padding、stride公式算MNIST下28→28→14→7的通道演化（1→32→64）；ReLU部分强调正区间梯度恒为1以缓解消失梯度；池化部分比较max/average/GAP与步长卷积的下采样差异；感受野（receptive field）递推显示三层3×3卷积等效7×7视野；MNIST样例总参约421,642，反传时共享权值梯度为各空间位置上游梯度乘输入像素之和。第5节架构演进中，LeNet-5确立卷积+池化+FC模板；AlexNet以ReLU、GPU、重叠池化、LRN将ImageNet top-5错率从26.2%降至15.3%；VGG用统一3×3堆叠证等效5×5/7×7感受野且更省参，但138M参数集中于FC；GoogLeNet以1×1瓶颈（bottleneck）并行多尺度Inception将参降至5M并用GAP替代FC，辅分类器缓消失梯度；ResNet以残差块F(x)=H(x)?x加恒等捷径解决>30层退化问题，BN保障深层梯度流，GAP去FC膨胀；DenseNet每层收此前所有层拼接促特征复用；EfficientNet用复合系数φ统一缩深/宽/分辨率（d=α^φ, w=β^φ, r=γ^φ）；后续ViT把图像分块（patch）作token加位置编码走Transformer自注意力，Swin加移位窗口获线性复杂度，ConvNeXt借LayerNorm、GELU、7×7深度卷积现代化纯CNN；移动端以深度可分离卷积（depthwise separable convolution）将计算降至约1/(1/C+1/9)。第6节结论指出，架构演进本质是归纳偏置权衡：CNN强空间偏置样本高效，ViT弱偏置需JFT-300M级数据但灵活，ConvNeXt保留卷积偏置兼得Transformer设计红利。

讨论与结论翻译部分，研究人员总结：从感知机到CNN的历程由一连串失败与修补驱动——感知机败于XOR催生MLP与反向传播，MLP败于图像维度灾难催生CNN三支柱（局部连接、权值共享、分层组合），再经LeNet-5至EfficientNet及ViT/Swin/ConvNeXt的迭代。核心启示是架构归纳偏置至关重要：把空间局部性、平移不变性、层次组合嵌入网络，可在参效率、样本效率与最终精度上获得显著提升。CNN蓝图不仅主宰空间数据，也启发其他领域专用架构。未来工作将超出空间网格，转向序列数据（语音、文本、时序），以循环神经网络（RNN）及其门控变体LSTM、GRU承接，最终由自注意力Transformer完成从感知机到生成式AI的闭环，该延展将作为配套教程另行给出。