皮层微环路是否优化了信息通量？——一项基于仿真的逆向工程研究

《Frontiers in Computational Neuroscience》：Are cortical microcircuits optimized for information flux?—A simulation-based reverse engineering study

　　

摘要专业翻译 引言： 在递归神经网络中，足够大的信息通量（information flux）——以连续网络状态之间的互信息（mutual information, MI）量化——已被提出作为丰富信息处理能力的标志。这引发了这样一个问题：生物神经网络（如皮层微环路）是否可能在结构上组织以增强信息通量。 方法： 为探究这一可能性，研究人员研究了皮层第5层结构的一个简化模型，其中密集且强连接的核心群体被嵌入一个更大的支持性网络中。 结果： 令人惊讶的是，研究人员发现嵌入网络对核心动力学产生了显著的通量增强效应。系统性逆向工程分析揭示，嵌入网络主要产生异质的负平均输入，将核心神经元移入更高通量的工作区间。将完整的时变嵌入信号替换为相应的恒定偏置保留了这一通量增强效应，表明在所测试条件下详细的信号动力学并非必需。研究人员进一步表明，通过对核心神经元施加优化的均匀或神经元特异性偏置，信息通量甚至可以超过生物嵌入情形下的水平，并且类似的高值可以从简单的局部自适应偏置规则中涌现。额外对照表明，自适应调节和独立调谐的抑制性靶向进一步改善了嵌入网络，而移除核心的特权强权重组织则消除了嵌入优势。 讨论： 这些结果表明，周围网络充当分布式调节器，防止强递归核心陷入饱和的低通量状态，而非信息通量的优化器。研究人员的发现既与生物神经环路的功能解释相关，也与人工递归系统（如储备池计算机（reservoir computers））的设计相关。

论文解读

一、研究背景与问题提出

生物神经系统必须在保持对外部输入响应性和内部变异性鲁棒性的同时，完成信息的保留、转换与传递。信息论提供了描述这些动力学互补方面的模型无关量：熵刻画可达状态的多样性，条件熵刻画给定当前状态条件下未来状态的不确定性，而互信息则量化状态或信号之间的统计依赖性。本文将连续网络状态之间的互信息定义为“信息通量”（information flux），用以捕捉网络内部的时间依赖性。然而，信息通量本身既不建立特定神经元之间的因果信息传递，也不保证计算任务上的性能表现。

脑网络在多个空间尺度上表现出非随机的、模块化的、层级化的和富含枢纽的组织结构。在网络科学中，嵌入稀疏外围环境中的密集互联核心或“富俱乐部”（rich club）被提出可支持局部特化与全局整合之间的平衡。在皮层微环路层面，强且非随机的突触连接同样在更弱连接的背景中形成结构化神经元群。这些观察提出了一个基本问题：核心-外围组织是否仅仅反映解剖异质性，还是也调节了核心的动力学状态。值得注意的是，皮层微环路本身是强递归的：神经活动通过局部和长程通路不断反馈，而非仅沿单一方向传播。

过去十年间，深度学习取得了显著进展，但大多数当代机器学习系统依赖以前馈为主的信息处理方式，而递归神经网络（recurrent neural networks, RNNs）包含反馈回路，可作为自主动力系统运行。RNNs具有通用函数逼近能力，可模拟任意动力系统，并能在长时间范围内累积和处理信息。大量工作已致力于RNN动力学的调节与稳定化，特别是在内在和外在噪声源的影响下。先前研究表明，递归动力学可由少量结构参数强烈塑造，包括权重分布宽度、连接密度和兴奋-抑制平衡。特别是，强正平衡将递归网络驱动到不动点区间，此时弱外部信号影响甚微，而足够强的外部扰动可将动力学从吸引子中释放并恢复递归信息通量。储备池计算领域的研究进一步表明，稀疏性、异质连接和其他生物启发的组织特征可改变记忆与任务性能。

除静态结构设计外，RNN的计算能力还可被动态调节。反直觉的是，向储备池中刻意注入外部噪声可能改善性能。在网络陷入不动点或低周期吸引子的区间中，适当调谐的随机扰动可重新启用动力学探索，这一机制可增加递归信息通量，尽管该动力学度量与任务特定计算之间的关系需另行评估。此前的数值实验使用了独立添加于每个神经元加权输入的正态分布白噪声。在生物情境中，这种白高斯噪声原则上可由大量统计独立神经元的峰电位序列之和近似。然而，有限嵌入电路产生的输入未必满足这些简化假设：它们可能具有神经元特异性的均值和方差、共享的瞬时协方差、时间相关性以及非高斯的高阶结构。因此，有必要在将动力学优势归因于“复杂”生物噪声之前，实验性地分离这些信号属性。周围电路也可能通过近似恒定的平均输入来调节强递归核心的工作点，而无需实现优化反馈回路。

事实上，皮层微环路特别是Song等人（2005）报道的第5层结构，展现出似乎非常适合这种调节功能的特点：它包含强互联的兴奋性神经元，嵌入在更广泛、更弱连接的兴奋性神经元和抑制性中间神经元群体中。本研究实现了这一第5层结构的简化版本，称为嵌入核心模型（Embedded Core Model, ECM），使用概率玻尔兹曼神经元。研究旨在回答五个具体问题：（1）嵌入是否在独立生成的网络中可重复地增强相对于相应孤立核心的信息通量？（2）哪些定向通路和嵌入输入的哪些统计分量产生了这种增强？（3）该效应是否反映对核心工作点的调节而非结构特异性优化？（4）后继状态熵和条件熵的变化如何组合决定互信息变化？（5）简化的基于三元组的指标是否跟踪10神经元核心的全状态互信息？这一设计区分了嵌入网络是否“增强”信息通量与更强的“优化”信息通量问题。

二、主要技术方法

研究人员构建了包含125个节点的递归神经网络模型，由10个兴奋性核心神经元、90个兴奋性外周神经元和25个抑制性中间神经元组成。核心神经元密集且强互联，外周神经元形成稀疏弱连接背景，中间神经元向两类兴奋性群体投射负权重。兴奋性连接密度固定为11.6%，突触权重从对数正态分布中抽取，其中30个最大权重被确定性分配给核心-核心边。网络动力学由同步更新的随机玻尔兹曼神经元控制，激活函数为逻辑斯蒂函数，有效温度t₀=5。研究采用25个独立网络实现的配对集成设计，以网络实现而非单个轨迹为统计单元。主要方法包括：抑制性权重和噪声扫描、定向损伤实验、嵌入信号替换与高斯对照、数值偏置优化（均匀偏置网格搜索和逐神经元进化搜索）、熵分解分析以及半解析全状态验证。嵌入信号替换条件包括完整嵌入、孤立核心、经验输入回放、逐神经元匹配均值、独立高斯（匹配μ_i, σ_i）和空间协方差匹配高斯（匹配μ, Σ）。

三、研究结果

嵌入可重复地增强核心信息通量。 在25个独立生成的网络实现中，完整嵌入网络的核心信息通量指标f显著高于孤立核心，表明嵌入效应具有跨网络实现的稳健性。

嵌入输入主要产生异质负均值。 对嵌入输入信号的统计分析表明，核心神经元接收的嵌入输入以异质的负平均输入为主导，这些负偏置将核心神经元移入更高通量的工作区间。

恒定偏置足以保留嵌入效应。 将完整的时变嵌入信号替换为相应的恒定偏置后，通量增强效应得以保留，表明详细的信号动力学在测试条件下并非必需。经验输入回放和两种高斯对照条件也支持这一结论。

优化偏置可进一步增加信息通量。 通过数值优化均匀偏置和逐神经元偏置，信息通量可超过生物嵌入情形下的水平。此外，简单的局部自适应偏置规则也能产生类似的高通量值。

熵分解揭示通量变化的机制。 通过互信息恒等式I(X;Y)=H(Y)?H(Y|X)的分解分析，研究人员区分了状态多样性变化与不可预测性变化对互信息变化的相对贡献。

自适应调节和独立抑制性靶向进一步改善嵌入网络。 额外对照实验表明，自适应调节和独立调谐的抑制性靶向可进一步提升嵌入网络的性能，而移除核心的特权强权重组织则消除了嵌入优势。

三元组指标与全状态互信息一致。 半解析全状态验证确认，基于三元组的信息通量指标能够跟踪10神经元核心的全状态互信息，并可靠反映参数诱导的变化。

四、讨论与结论

研究结果表明，嵌入网络的核心作用并非作为信息通量的优化器，而是作为分布式调节器，防止强递归核心陷入饱和的低通量状态。嵌入网络通过产生异质的负平均输入来调节核心神经元的工作点，使其远离饱和区间，从而维持较高的时间统计依赖性。这一发现对生物神经环路的功能解释具有重要意义：皮层微环路中的核心-外围组织可能主要服务于动力学状态的调节而非信息处理的最优化。同时，该发现对人工递归系统如储备池计算机的设计具有启示意义，表明外围网络可通过简单的偏置调节机制增强核心的信息处理能力，而无需复杂的反馈优化回路。研究还区分了“增强”信息通量与“优化”信息通量这两个不同层次的问题，为后续研究提供了清晰的概念框架。