北京大学生科院最新文章：前馈神经网络信道容量研究

研究利用信息论手段,将这一结论定量化,系统地探索了前馈神经网络作为信息通道的容量，发现这一模型可以作为受控信息通道的神经环路模型。

　　

北京大学生命科学学院陶乐天课题组近期在Entropy杂志特刊，Information Theory in Neuroscience，上发表了题为“Mutual Information and Information Gating in Synfire Chains”的论文。该课题组此前的工作发现通过增加门控电流,脉冲门控同步放电链有着比原始的同步放电链更为强大的信息传输能力,这次的工作利用信息论手段,将这一结论定量化,系统地探索了前馈神经网络作为信息通道的容量，发现这一模型可以作为受控信息通道的神经环路模型。

为了更好的表征环境中的连续信息，神经系统的许多部分都有对连续变量的定量编码（graded coding），从初级感觉系统的声音响度编码，高级感觉系统中对面孔特征的编码（faces patches in inferior temporal cortex），到决策系统中对奖赏不确定度（primate anterodorsal septum region）、累积证据强弱（rat posterior parietal cortex）的编码，等等。在连续编码的情况下，一个问题是信息在神经网络中传递时信息量的变化。60年前，香农信息论中的互信息(mutual information)是衡量两个随机变量之间影响程度大小,即两个变量间信息传递量的自然度量。本文利用这一度量去考察，被编码在神经元群体放电率上的变量,在前馈网络中传递时,具体传输的信息量。

图a)-c)为三种不同的传输模式下，输入不同电流幅值，随着网络层数(横轴)增加，输出幅值的变化；d) 为对应的输入层与每层输出之间的互信息

该研究在对神经网络的高维动力系统做了一系列解析简化后，探索了不同参数下网络的信道容量变化。在这一工作中,利用互信息度量,研究者发现了前馈环路里的三种传输模式:信息丢失(degenerate/unitary),二元传输(binary),定量传输(graded transfer)。而且，通过改变门控电流的强度和方差，就可以在不同模式间进行切换，因而产生了一个可控的信息通道。

图2上图为固定门控电流幅值与层间连接强度，随着门控电流方差变化与传输层数增加，传输信息量的变化；下图为固定连接强度，改变门控电流幅值与方差，经过50层传递后的传输信息量

定量传输模式可以最大化传输信息量,很好的保存了连续变量中的信息，方便进行线性变换。与之相对,二元传输类似数字信号，方便进行二元逻辑运算，传输更加稳健，不易混淆，在决策系统中类似于做判断的读出层(readout)。而且通过门控电流可以控制两种模式之间的切换。从而，这一神经环路作为一种基本组件，从理论上，丰富了我们对神经网络计算能力的认识。

北京大学生科院12级本科生肖卓成（现美国亚利桑那大学应用数学系研究生）与元培物理方向13级本科生王彬旭为本文共同第一作者，加州大学戴维斯分校数学系教授Andrew T. Sornborger与陶乐天研究员为共同通讯作者。此项工作得到了国家自然科学基金委、认知神经科学与学习国家重点实验室开放课题基金、北京市科学技术委员会、以及美国国立卫生研究院CRCNS项目的支持。

原文标题：

Mutual Information and Information Gating in Synfire Chains