约束性赫布学习在结构限制下支持高效表征分配

《Frontiers in Computational Neuroscience》：Constrained Hebbian learning supports efficient representational allocation under structural constraints

　　

引言： 生物系统受解剖学和代谢的限制，突触维持消耗大量能量，空间限制则制约了连接性。这些约束偏好于将行为相关信息压缩为低冗余模式的神经编码。本研究探究了一种兴奋性竞争性赫布规则能否在解剖和代谢约束下实现突触资源分配，以及由此产生的表征是否比参考学习规则占据更有利的成本-性能区间。 方法： 表征成本通过基于变分信息瓶颈目标导出的互信息量进行量化。实验采用三个视听基准数据集（AVE、Kinetics-Sounds和VGGSound100），固定上游视听嵌入作为受控的高层级感觉处理区域。研究人员分离下游关联可塑性，并在匹配的稀疏性和架构约束下，将赫布学习与生物启发的局部目标传播（DDTP）和反向传播（BP）进行比较。 结果： 在主要的压缩比较中，赫布学习产生的任务-信息成本（CTI）低于稀疏BP和DDTP训练的网络，同时其CTI范围与浅层非负约束BP相当。赫布学习并非一致地提升分类性能，而是改变了任务相关信息与表征成本之间的权衡，在若干设定中以相当的功能性表现实现了更低的CTI。 讨论： 总体而言，结果表明存在明确的成本-性能权衡而非一致的精度提升，同时在所评估的约束下保持了功能性任务表现。对于给定水平的任务相关信息，保留了较少的关于输入的信息；任务性能虽保持功能性，但在某些数据集上可能略有下降。这些结果支持对赫布学习的一种计算神经科学解释：它是一种用于突触资源分配的局部机制，而非最大化视听分类精度的通用策略。

论文解读文章

一、研究背景与问题提出

生物神经系统受到严格的解剖学与代谢约束：维持功能性突触需消耗大量能量，而皮层回路中的连接密度和总突触数均受物理空间限制。神经元无法编码所有感觉细节，而必须优先提取与行为最相关的特征——这一“高效编码”原则要求将相同的行为相关信息压缩至更低维、更稀疏的活动模式中。然而，现有的人工神经网络（ANN）通常针对硬件吞吐量、数值精度等目标优化，忽视生物体面临的代谢与结构限制。尽管剪枝等方法可移除冗余参数，但它们依赖全局统计信息，往往忽略可塑性的局部性。因此，学界缺乏一种从局部、代谢受限的视角评估突触资源分配效率的框架。

为填补这一空白，研究人员引入基于变分信息瓶颈（Variational Information Bottleneck, VIB）的表征成本度量，并以任务-信息成本（Task-Information Cost, CTI）作为比较不同学习规则下表征紧凑性的代理指标。研究的核心问题是：一种仅依赖局部信息的兴奋性赫布规则，能否在结构约束下自动产生紧凑、任务相关的表征？其成本-性能权衡是否优于或相当于反向传播（Backpropagation, BP）和目标传播（Difference Target Propagation, DDTP）等参考规则？

二、主要研究方法

研究人员采用三项关键技术：

1. 1.
   赫布学习规则：基于Oja的神经主成分分析（PCA）规则，结合非负性约束和归一化操作。更新公式为 Δw_ij = η z_j(x_i - Σ_k z_k w_ik)，其中包含局部突触特异性增强和由细胞体统一计算的全局衰减项，从而实现活动依赖性竞争并产生稀疏、非负的权重矩阵。
2. 2.
   变分信息瓶颈（VIB）后验评估：在各网络完成确定性隐藏层训练后，冻结表征并附加随机潜变量层。VIB损失 L_VIB = (1/N)Σ E_z~q(z|h)[-log q(y_n|z)] + β E_h KL(q(z|h) ‖ r(z)) 被用于训练编码器和解码器，从而估计互信息 I(Z; H) 和 I(Z; Y)，进而计算CTI = I(Z; H)/I(Z; Y)。
3. 3.
   密集到稀疏的训练范式：所有网络先以全连接方式训练500个epoch，随后通过逐层幅度剪枝达到约90%的稀疏度，以模拟皮层早期过连接后经活动依赖性修剪的过程。实验使用三个视听基准数据集（AVE、Kinetics-Sounds、VGGSound100），固定VideoMAE和AudioMAE预训练嵌入作为上游特征，仅在下游多层感知机（MLP）中改变学习规则。

三、研究结果

3.1 赫布学习产生较低的任务-信息成本

在主要的压缩比较中，赫布学习网络的CTI显著低于稀疏BP和DDTP训练的网络，其CTI范围与浅层非负约束BP相当。这表明在相同的任务相关信息水平下，赫布网络保留了更少的输入依赖信息，即表征更为紧凑。

3.2 成本-性能权衡而非一致精度提升

赫布学习并未在所有数据集上一致提升分类精度，而是系统性地改变了任务相关信息与表征成本之间的权衡。在若干设定中，赫布网络以可比的功能性表现实现了更低的CTI，验证了其对资源分配效率的改善作用。

3.3 稀疏性下的效果保持

在强制施加约90%稀疏度后，赫布网络的CTI优势仍然存在，说明其紧凑表征并非单纯源于高稀疏度，而是由学习规则本身的竞争性动态所驱动。

3.4 双模态整合的影响

在双模态条件下，赫布网络同样表现出较低的CTI，表明跨模态关联学习也能受益于这种局部资源分配机制，进一步支持了其在多感觉整合场景中的适用性。

四、讨论与结论

研究人员指出，赫布学习并非旨在最大化分类精度，而是作为一种局部机制实现突触资源的高效分配。研究表明，存在明确的成本-性能权衡：对于给定水平的任务相关信息，赫布网络保留了更少的输入信息，任务性能虽保持功能性，但在某些数据集上略有下降。这一发现支持了对赫布可塑性的计算神经科学解释——它是皮层在代谢和结构约束下优化表征紧凑性的局部手段，而非通用的精度提升策略。研究还强调，VIB框架为定量比较不同学习规则的生物合理性提供了操作性工具，而CTI作为表征成本的代理指标，有助于弥合人工神经网络与生物神经系统之间的理论鸿沟。