编辑推荐:
高效编码假说(efficient coding hypothesis)提出神经元被优化以最大化关于环境的信息,为感觉与系统神经科学提供了指导性理论框架。近年来,被称为贝叶斯大脑假说(Bayesian brain hypothesis)的理论聚焦于大脑整合感觉信
高效编码假说(efficient coding hypothesis)提出神经元被优化以最大化关于环境的信息,为感觉与系统神经科学提供了指导性理论框架。近年来,被称为贝叶斯大脑假说(Bayesian brain hypothesis)的理论聚焦于大脑整合感觉信息与先验信息以执行贝叶斯推断(Bayesian inference)的能力。尽管上述两种假说之间联系的若干片段已出现在既往工作中,但将最优性准则视为后验分布(posterior distribution)的任意泛函(functional)——从而在单一框架内容纳基于信息的目标及其他目标——的一般性表述在很大程度上仍是隐含的。本研究中,研究人员将该表述显式化,发展了高效编码的贝叶斯理论,以四个基本要素定义贝叶斯高效编码(Bayesian efficient code, BEC):(1)刺激先验分布(stimulus prior distribution);(2)编码模型(encoding model);(3)容量约束(capacity constraint),即神经资源限制;(4)损失泛函(loss functional),量化各种后验分布的可取性或不可取性。经典高效编码作为损失泛函为后验熵(posterior entropy)的特例出现,导致最大化互信息(mutual information)的编码,但替代损失泛函给出的解与信息最大化编码显著不同。在该框架内,研究人员引入协熵(covtropy),即定义于后验分布之上、由单一指数参数化的一族新型损失,并借此表明:在低噪声情形下经典高效编码最优的感觉输入去相关(decorrelation),对于惩罚大误差的目标可能是不利的。随后研究人员重新分析了Laughlin关于丽蝇大单极细胞(large monopolar cell, LMC)对比度编码的开创性数据,发现所测得的响应非线性可由p = 1/2的重建误差(reconstruction error)最小化比由信息最大化更好地解释,颠覆了四十年的解释。因此,贝叶斯高效编码扩展了不同目标下最优编码的家族,并为理解感觉系统的设计原则提供了更一般的框架。
理论神经科学的核心目标之一是理解早期感觉通路中神经元的功能组织及其支配原则,即为何感觉神经元放大某些信号而滤除其他信号,以及何种一般原则能解释进化所选择的感觉环境信号提取方案。七十余年前由Attneave与Barlow提出的高效编码假说借助Shannon信息理论构建规范最优神经编码理论,而贝叶斯大脑假说则聚焦大脑执行贝叶斯推断的能力,可追溯至Helmholtz关于最优知觉推断的思想。既有大量文献试图修改或扩展原始高效编码假说,亦有众多研究在贝叶斯推断背景下考察最优编码,但将损失视为后验分布任意泛函、从而在单一形式体系中同时容纳信息论与非信息论最优性准则的一般性表述仍基本停留在隐含状态。本研究将该表述显式化,发展连接上述两种假说的一般性高效编码贝叶斯理论。研究背景方面,经典高效编码在无噪声情形下预测单神经元应非线性变换刺激以充分利用动态范围、神经群体应去相关其输入,Atick与Redlich将其扩展至噪声响应,表明信息最大化预测低信噪比下的低通感受野与高信噪比下的带通或"白化"(whitening)感受野;贝叶斯大脑假说则以刺激先验分布P(x)与编码分布P(y|x)按Bayes规则组合形成后验分布。研究人员提出的贝叶斯高效编码由四要素构成:刺激先验P(x)、参数化的编码模型、参数容量约束以及损失泛函,贝叶斯高效编码即是在容量约束下使期望损失最小的模型参数。当损失泛函取后验熵时,经典Barlow高效编码成为其特例,因为最小化平均后验熵等价于最大化互信息;但从一般编码视角看,最小化熵或最大化信息并无特权。为说明损失函数的作用,研究人员给出两个简单示例:二维高斯连续编码示例中,三种编码器分别在不同损失函数(后验熵、总标准差、总方差)下最优,表明最优性取决于损失函数;离散多项选择考试示例中,第一编码器互信息为1 bit而第二编码器仅0.96 bit,但后者在"正确百分比"损失下明显更优(80%对50%),说明信息论学习对 True/False 考试最优但对多项选择考试可能显著次优。在线性感受野应用中,研究人员考虑刺激经线性权重矩阵W编码为群体响应并受加性高斯噪声污染、施加功率约束的模型,引入由单一指数p参数化的协熵损失,它插值于infomax编码(p→0)、均方误差编码(p = 2)与极小极大编码(p→∞)之间且具有旋转不变性;推导表明infomax编码实现响应完美白化,而协熵最优编码在p = 2且噪声协方差正比于刺激协方差时完美保持刺激相关性,p > 2时响应相关性增强,且随p增大后验协方差趋于白化,即便在高信噪比情形下协熵最优感受野的白化程度也随p增大而减弱。在非线性响应函数应用中,无噪声情形下经典理论预测信息最大化非线性正比于刺激累积分布函数(CDF)而产生均匀响应分布,Laughlin的丽蝇LMC实验长期被视为该理论的首个实验验证;研究人员以p-"范数"重建误差族重新分析同一数据集,发现p = 1/2的非线性给出最低均方根误差(RMSE),较infomax从0.051降至0.015,降低约70%,且预测的响应边缘分布在中间响应水平出现峰值,与实测LMC响应分布一致,而infomax预测平坦分布。在线性-非线性-Poisson(LNP)尖峰响应应用中,研究人员分析丽蝇H1神经元对白高斯噪声驱动水平运动的响应,以高斯过程-泊松回归估计经验非线性,发现在标准高斯先验下p = 5.75最接近实测曲线但仍高估大正刺激投影处的放电,改用重尾Student-t先验后p = 8.5匹配更佳且两种先验拟合几乎相同,对应响应分布既非均匀亦非泊松。关键技术方法方面(不超过250字):研究人员构建了以先验、编码模型、容量约束与损失泛函四要素为核心的贝叶斯高效编码理论框架,针对线性高斯模型在共同对角化条件下推导最优线性编码矩阵的解析解,并提出参数化协熵损失族;对无噪声非线性编码推导对数逻辑斯蒂先验下最优非线性的闭式解(正则化不完全贝塔函数CDF变换)并与数值量化优化互相验证;重新数字化提取Laughlin 1981年丽蝇LMC对比度响应数据(Weber对比度,刺激CDF以三参数Naka-Rushton函数拟合)及H1神经元白噪声实验数据,采用高斯过程-泊松回归估计经验非线性并以拟合增益与基线后的形状比较准则评估各损失下最优编码。研究结果方面:第一,贝叶斯高效编码框架的建立表明经典高效编码是损失泛函取后验熵时的特例,替代损失泛函产生显著不同的最优编码,从而扩展了不同目标下最优编码的家族。第二,二维高斯与多项选择示例表明不同损失函数导致不同最优编码器,熵仅对后验体积(标准差乘积)敏感,而总标准差与总方差损失分别对应最小化绝对误差与均方误差的最优解码器,且信息论学习对多项选择考试可显著次优。第三,线性感受野分析表明infomax编码白化响应并使后验协方差正比于信号与噪声协方差之积,而协熵最优编码的响应相关性随p增大而增强、后验随p增大趋于白化,在高信噪比下协熵编码仍保留更多低频信息,且感受野形状随功率约束收紧对p越大越敏感。第四,LMC数据重新分析表明实测响应非线性更好地由p = 1/2重建误差最小化而非信息最大化解释,RMSE降低约70%,预测响应边缘分布在中间水平出现峰值,与数据一致;Schaffner等的任务级规范性论证独立支持p = 1/2指数。第五,H1神经元LNP分析表明实测非线性更好由有限p编码而非infomax匹配,所选指数依赖刺激先验与曲线比较准则,重尾先验使大刺激投影更常见而较大p使大重建误差代价更高,共同将编码资源移向尾部,提示H1可能适应于大误差具有不成比例行为代价的罕见突变光流事件。讨论部分总结:研究人员将Barlow高效编码假说与贝叶斯大脑假说综合为贝叶斯高效编码理论,其中高效神经编码对应在神经响应容量约束下产生刺激最优后验的编码模型,后验最优性由损失函数决定且损失选择对最优编码有重大影响;经典理论是后验熵损失的特例,但对后验形状或解码误差大小敏感的损失而言信息最大化编码可能低效。两个典型问题——高维刺激的线性感受野群体编码与低维刺激的单神经元非线性编码——的分析表明经典白化解对其他损失可次优、甚至在高信噪比下最优编码可增加神经元间相关性,而LMC非线性更符合最小化平均解码误差平方根的贝叶斯高效编码。与既往工作相比,Barlow原始理论考虑无噪声编码,Atick与Redlich表明白化仅在高信噪比下最优,而本研究表明对其他损失白化在高信噪比下亦可次优;Barlow的冗余定义与Brenner等的冗余与协同概念无关。研究还讨论了Shannon信息理论的相关性,指出信息论量未必与生物系统信息处理相关,BEC与率失真理论的联系,以及BEC在实验数据上的应用(识别与神经生理数据一致的损失函数、推断先验、检验约束)及其局限与未来方向(计算约束、后验表征、时间作用、潜变量、变换依赖性)。研究结论译文:研究人员将Barlow高效编码假说与贝叶斯大脑假说综合为贝叶斯高效神经编码理论;该理论中高效神经编码对应于在神经响应容量约束下产生刺激最优后验的编码模型,后验最优性由损失函数L决定,损失函数的选择可对最优编码产生重大影响;Barlow原始理论对应于损失函数为后验Shannon熵、即最大化刺激与响应间互信息的编码的特例,但此类编码对于对后验形状或不同解码误差大小敏感的损失函数可能低效;为说明该框架,研究人员推导了两个经典神经编码问题的贝叶斯高效编码,即高维刺激的线性感受野群体编码与低维刺激的非线性响应单神经元编码,前者表明经典高效编码偏好的白化解对其他损失可次优、甚至在高信噪比情形下最优编码可增加神经元间相关性,后者重新审视Laughlin的经典结果并表明丽蝇LMC神经元的非线性响应函数更符合最小化解码误差平均平方根的贝叶斯高效编码而非最大化互信息的编码;对LNP编码模型下丽蝇H1神经元尖峰响应的补充分析表明实测非线性由有限p编码较infomax更好匹配,但所选指数依赖刺激先验与曲线比较准则,因此H1结果为现象学拟合而非神经损失函数的生态学解释;尽管这些示例高度简化,其展示了该一般性高效编码表述的能力,并给出与既往发现相反、令人惊讶且非直观的结果。