《Journal of Computational Neuroscience》：Hierarchical learning creates invariant schema within plastic neural networks
编辑推荐：
认知神经回路必须在持续学习所需的可塑性与维持称为“图式”（schema）的底层推理框架所需的稳定性之间取得平衡。回路学习规则如何形成并保护此类图式，使其在学习过程中不被持续覆盖，目前尚不清楚。在一项视觉边界检测任务中，研究人员展示了一种层次化学习算法创造了一个
认知神经回路必须在持续学习所需的可塑性与维持称为“图式”（schema）的底层推理框架所需的稳定性之间取得平衡。回路学习规则如何形成并保护此类图式，使其在学习过程中不被持续覆盖，目前尚不清楚。在一项视觉边界检测任务中，研究人员展示了一种层次化学习算法创造了一个不变性图式回路，其权重在稀疏的初始训练后保持固定，额外的数据仅用于精炼上游表征。相比之下，用于训练几乎所有当前人工神经网络（ANNs）的端到端反向传播（Backpropagation）算法会在整个训练过程中全面改变其权重。研究人员表明，层次化图式对回路计算做出了一个独立的机制性假设，该假设与在人类单神经元测量中观察到的实验时序一致。这些结果表明，层次化学习足以在原本可塑的神经网络中编码与生物学一致的持久认知模型。
在认知科学和计算神经科学领域，一个核心的开放性问题是如何使神经网络在保持可塑性以进行持续学习的同时，又能维护一个稳定的、作为推理框架的内在结构，即“图式”。认知神经回路必须在持续学习所需的可塑性与维持底层推理框架（称为图式）所需的稳定性之间取得平衡。然而，神经回路的学习规则如何形成并保护这种图式，使其在学习过程中不被新数据持续覆盖，仍然未知。这一问题对于理解大脑如何实现稳健的认知功能，以及构建更鲁棒、可解释的人工智能模型至关重要。
针对这一问题，研究人员在发表于《Journal of Computational Neuroscience》的这项研究中，利用视觉边界检测任务，系统比较了层次化学习（通过本质神经网络，ENNs实现）与端到端反向传播学习两种范式。研究旨在探究不同学习算法如何影响网络内部结构的形成与稳定性，特别是图式的产生与保护机制，并评估其与生物神经观测的一致性。这项研究的意义在于，它首次在计算模型中直接演示了层次化学习能够自发地产生并保护不变性图式，为理解生物神经系统的稳健学习机制提供了新的计算原理，并可能为解决人工神经网络中的灾难性遗忘问题提供新思路。
研究人员为开展此研究，主要采用了以下几个关键技术方法：首先，研究基于一个包含无边界（NB）、软边界（SB）和硬边界（HB）三类视频片段的视觉边界检测任务数据集，该数据集源自对人类患者的单神经元记录研究。其次，输入表征通过一个在ImageNet上预训练的卷积神经网络（VGG-16）提取视频帧的特征嵌入。核心的认知“顶层模型”采用具有两个隐藏层（每层3个中间神经元）的前馈神经网络架构。研究的关键在于对比两种训练算法：一是端到端的反向传播算法，二是层次化的本质神经网络（ENNs）训练框架。ENN的训练采用分层、基于支持向量机（SVM）的配对区分任务学习，而非全局梯度下降。最后，通过分析网络权重动态、注入参数噪声、特征消融、模型蒸馏（distilling）为可解释电路，以及将人工神经元活动模式与人类内侧颞叶（MTL）记录到的边界细胞（Boundary cells）和事件细胞（Event cells）的放电模式进行对比，来评估不同学习算法的特性。
研究结果部分通过多个实验揭示了层次化学习与端到端学习的根本差异。
在“层次化网络收敛于对进一步训练鲁棒的稳定图式”部分，研究发现，ENN在有限的训练数据下，其隐藏层权重（即图式）会迅速收敛并保持稳定。额外的训练数据仅用于优化输入层的权重（精炼上游表征），而核心的认知图式保持不变。相反，反向传播训练的网络在整个训练期间持续更新所有权重，包括下游的“认知”层，其权重分布对训练/测试分割和随机初始化高度敏感，呈现出连续变化的特性，未能形成稳定的内部结构。这表明层次化学习能自发产生并保护一个不变的计算核心。
在“层次化网络对参数噪声和特征扰动具有鲁棒性”部分，研究通过向网络权重注入高斯噪声和逐步消融输入特征来测试鲁棒性。ENN对连接其第一和第二隐藏层之间的权重噪声表现出极强的容忍度，即使噪声幅度与学习到的权重相当，其性能也能基本保持。其错误模式也更具一致性，主要集中在对特定类别（如软边界与硬边界的区分）的误判。同时，ENN对输入特征的重要性进行了整合，使其对特征丢失更具抵抗力。相比之下，反向传播网络的性能随噪声增加而急剧下降，且错误模式分散。这归因于ENN将逻辑整合到了受保护的图式中。
在“层次化图式可蒸馏为简洁可解释的电路”部分，得益于ENN稳定且离散的逻辑，研究人员成功将其蒸馏为一个仅使用50个关键特征和3个离散神经元的二进制逻辑电路。该电路不仅保持了与原网络相当的准确率，其结构还直接揭示了边界类细胞（类似边界细胞）位于事件类细胞（类似事件细胞）上游的因果关系，为实验中观察到的边界细胞先于事件细胞放电的时序延迟（约100毫秒）提供了一个机制性解释。
在“隐藏神经元的不同群体在层次化模型中按顺序分层分离”部分，通过分析人工神经元的放电模式，研究发现ENN的第一隐藏层神经元主要区分“无边界”与“有边界”（软或硬）输入，而第二隐藏层神经元则进一步区分“软边界”与“硬边界”，形成了与网络层级对应的、功能分离的神经元群体。这与从人类MTL记录中分离出的“早期”（边界细胞）和“晚期”（事件细胞）放电神经元群体在功能上一致。定量分析也表明，ENN不同层的神经元在平均放电空间中可以更清晰地区分开。相反，反向传播网络的各层神经元功能混杂，没有出现这种清晰的层级功能分离。
在讨论部分，研究人员总结了本研究的主要发现和意义。研究证实了层次化学习（ENN）能够在早期学习阶段就形成并固定一个不变的计算图式，后续学习仅优化输入到该固定图式的映射。这种“拓扑保护”特性源于ENN中子概念神经元对其上游微分神经元输出执行了类似数字“与”操作，即使上游表征连续变化，只要数据簇的拓扑关系不变，下游权重就保持固定。这为神经网络如何在保持整体可塑性的同时，保护核心认知逻辑提供了具体的计算机制。相比之下，端到端的反向传播学习会持续更新所有参数，无法形成受保护的图式，这可能解释了其容易发生灾难性遗忘以及缺乏稳健推理能力的原因。
更重要的是，只有层次化学习产生的网络表现出与生物观测一致的分层、分群的神经元活动模式，并自然地提出了一个连接主义解释：边界细胞作为事件细胞的上游检测器，减轻了事件细胞的计算负担，使其专注于区分边界类型，这合理解释了实验中观察到的放电时序。因此，研究结论表明，层次化学习是一种通用机制，足以在原本可塑的神经网络中编码与生物学一致的、持久的不变性认知图式，这为构建更鲁棒、可解释且与神经生物学一致的智能模型提供了新的方向。
