《Frontiers in Computational Neuroscience》：Design principles for cost functions in optimal sensory coding
编辑推荐：
对感觉变量神经编码的研究根植于一个长期确立的原则：神经编码的组织方式旨在最大化关于感觉刺激的信息量。该原则已成功解释了神经活动的诸多特征，表明从第一性原理出发决定感觉神经编码的代价函数中，刺激编码误差是一个关键组成部分。然而，近期研究表明，神经代价函数可能包含
对感觉变量神经编码的研究根植于一个长期确立的原则：神经编码的组织方式旨在最大化关于感觉刺激的信息量。该原则已成功解释了神经活动的诸多特征，表明从第一性原理出发决定感觉神经编码的代价函数中，刺激编码误差是一个关键组成部分。然而，近期研究表明，神经代价函数可能包含反映生物硬件成本或限制的其他项。其中一个关键要素是神经活动的代谢成本（metabolic cost）。将代谢成本纳入代价函数可产生具有锋电位触发适应（spike-triggered adaptation）特征的优化放电模型。神经代价函数的另一个可能组成部分是信息向下游的可靠传输（reliable downstream transmission）。神经元具有较短的时间整合常数，除非神经元输入具有相关性，否则信息难以被可靠传输。这表明，考虑下游读出约束的代价函数会促进具有冗余诱导相关性（redundancy-inducing correlations）的编码。研究人员回顾并讨论了相关证据，表明大脑中的神经编码具有与以下预测一致的特征：当代价函数包含超出编码误差的附加项时所预期的特征。适应电流（adaptation currents）确实以代谢高效编码所预测的时间尺度存在于生物神经元中，且神经群体编码具有支持下游信息传输的信息减损相关性（information-reducing correlations）。最后，研究人员讨论了对于充分确立神经代价函数不同贡献至关重要的未来方向。
引言
理解生物智能的一个核心问题在于确定感觉信息如何通过神经元及神经群体的活动被编码、处理和传输的基本原则。早期开创性工作提出，感觉信息处理应依据神经信号携带的信息量及其有限信号容量所施加的约束来分析。神经计算的规范性理论（normative theories）假设感觉系统的组织方式旨在最大化关于外部刺激的信息，或最小化刺激重建、预测或动态表征中的误差。这些理论为从其所支持的计算角度理解神经活动提供了强有力的框架，尤其为观察到的神经活动特征（如响应非线性、对刺激统计的适应以及早期感觉系统中的冗余降低）提供了令人信服的解释。
神经编码的最优性取决于用以定义它的标准。这些标准通过一个需被最小化以实现最优性的代价函数（cost function）加以形式化。传统上考虑的代价函数聚焦于精确编码输入刺激，并以均方根误差（root mean squared error）或神经表征信号与目标感觉信号之间互信息（mutual information）的负值作为操作化指标。然而，代价函数除感觉编码项外可能还包含其他组成部分。神经活动在代谢上是昂贵的，锋电位（spike）和突触传递对生物体构成显著成本。因此，神经代价函数可能还包含惩罚高活动水平的代谢成本项。在代价函数中加入代谢约束可显著改变哪些感觉表征是最优的，相较于仅基于编码精确度的代价而言。此外，存在于一个神经群体中的信息并不一定完全可为下游回路所用。下游神经元通过具有短整合窗口和非线性输入-输出函数的生物物理机制读出信息，这些机制在处理相关群体活动时更为有效。因此，代价函数还可能包含下游读出约束（downstream-readout constraints），并倾向于与仅针对刺激编码优化的编码不同的神经编码，例如具有冗余相关性的编码。
本文回顾了表明生物神经群体的代价函数可能包含超出最优感觉编码的约束的研究。研究人员聚焦于近期工作中探讨的约束，即代谢成本和下游读出，并讨论支持该观点的实验观察。研究人员同时探讨了这些约束如何被应用于单神经元水平定义的代价函数（可能解释单神经元的实验特性）或群体水平定义的代价函数（可能揭示神经元间不同类型关系对最优计算的影响，并实现最优网络的设计）。
基于感觉编码的高效编码及对刺激统计的适应
高效编码（efficient coding）的一个早期表述是以下假说：神经元和神经系统优化一个最大化其所编码的关于外部刺激的信息的代价函数。研究最优感觉信息神经编码的一个核心结果是，感觉编码必须适应感觉刺激的统计特性。由于神经响应范围有限，高效编码应优先将其范围分配给频繁出现或具有高行为相关性的刺激值，这意味着最优感觉响应应反映生物体所遭遇刺激统计的关键方面。
因此，优化感觉编码的神经元和网络也必须最优地适应刺激统计的变化。实验和理论工作已提供证据表明，感觉外周和感觉皮层的神经元会根据感觉刺激分布的变化调整其响应。Fairhall等人（2001）表明，果蝇感觉系统中的单个神经元（H1）通过重新缩放其输入-输出函数来适应刺激方差的变化。当刺激方差增加时，输入-输出函数变得更平缓并覆盖更广的刺激值范围；当刺激方差减小时，则变得更陡峭并将敏感度集中于更窄的刺激范围。Mlynarski和Hermundstad（2021）扩展了该工作，从信息论角度研究了神经群体响应对刺激统计变化的最优适应。他们推导出群体编码，在精确编码当前输入刺激的需求与检测并适应刺激统计突变的需求之间实现最优权衡。这些最优群体编码的特性与真实皮层群体在适应过程中观察到的响应特性高度相似。
上述研究共同展示了基于感觉编码的代价函数在从第一性原理理解神经元和群体对感觉刺激的响应方面的强大解释力。
编码误差与代谢成本之间的权衡
由于神经活动在代谢上昂贵，神经计算可能受到代谢支出（metabolic expenditure）的约束。因此，若干研究将代谢成本纳入单神经元或群体代价函数。在单神经元层面，Wang等人（2016）解析推导了在代谢约束下优化信息传输的单调调谐曲线（monotonic tuning curves），发现代谢约束强烈塑造感觉调谐曲线。当不包含代谢约束时，信息最优的调谐曲线遵循直方图均衡化原则（histogram equalization principle），使得神经响应水平在可用动态范围内均匀分布。而加入代谢约束后，响应偏向于更低的发放率。
其他模型将代谢约束引入神经群体层面。这些研究不是关注神经群体在刺激统计变化时如何最小化编码误差，而是探讨在固定刺激分布下，神经群体如何在感觉编码和代谢约束双重条件下优化其参数。设计此类高效递归网络（efficient recurrent networks）的问题首先在发放率模型（rate models）中得到解决，随后扩展至放电神经元模型（spiking-neuron models），即高效编码放电模型（models of efficient coding with spikes）。本文聚焦于高效编码放电模型，因其更具生物学合理性。
这些模型考虑了整个递归神经网络（recurrent neural network）如何最小化时间依赖刺激信号的群体水平编码误差与群体水平放电代谢成本之和。编码误差惩罚对目标信号的不精确表征，而代谢成本惩罚近期的放电活动。因此，最小化该效率代价函数倾向于以少量锋电位实现精确的信号表征。每次锋电位的发生均以瞬时损失的下调为条件，每次锋电位的时间因此被精确设定以减少损失。更一般地，精细的锋电位时间（spike timing）允许在相同数量的锋电位下处理更多信息，并可能相对于不利用该特性的实现降低能量成本。
高效编码代价函数可通过递归连接的泄漏积分-发放神经元（leaky integrate-and-fire neurons）网络实现。由代价函数推导出的结构化递归连接塑造了刺激驱动状态和自发性状态下的网络活动。高效放电模型再现了经验观察到的单神经元变异水平，并产生对神经元损失、神经元内源性噪声、突触延迟及群体活动扰动具有鲁棒性的神经表征。此外，局部学习规则可通过在误差反馈信号存在时维持兴奋性和抑制性突触电流之间的时间依赖平衡，来逼近由效率代价函数的解析推导所规定的最优突触连接。
生物网络的一个关键特性是Dale定律（Dale's law）：一个神经元在所有输出突触上使用相同的神经递质。与使用不区分神经元类型的代价函数时的情况不同，为兴奋性（E）和抑制性（I）神经元分别指定代价函数可得到遵从Dale定律的E-I高效放电网络。从设计上，高效E-I放电网络始终保持发放率和表征误差有界。在此类E-I高效网络中，优化平均编码误差与代谢成本之间权衡的参数对应于与初级感觉皮层测量结果匹配的生物学现实参数集。这些结果表明，在编码精确度与代谢成本之间权衡的E-I特异性代价函数能够捕捉感觉皮层网络的关键特性，并突显了细胞类型特异性代价函数的重要性。
在一系列研究中，研究人员及合作者考察了在编码低维时变信号（即由少量独立特征组成的信号）的网络中纳入代谢成本的效果。在此类网络中，代谢成本向发放阈值添加一个常数项，从而降低锋电位概率。当单神经元读出与群体读出具有不同时间常数时，同一代价函数还规定了神经元内在电流（neuron-intrinsic currents）。在额外约束条件下，这些电流可产生慢速或快速的锋电位触发适应。锋电位触发适应在锋电位后瞬时超极化膜电位并降低随后的兴奋性，其幅度随代谢成本在代价函数中的相对权重增加而增大。因此，代谢成本不仅抑制发放，还改变效率代价函数所选定的锋电位时间。这些结果表明，在生物神经元中广泛观察到的后超极化电流（after hyperpolarization currents）可能被理解为优化感觉编码同时控制其代谢成本的结果。
研究人员探究了在感觉编码成本中加入代谢成本是否会影响优化后的网络参数及由此产生的神经响应特征。首先推导了优化同时包含编码误差和代谢成本的代价函数的网络特性。为阐释代谢成本的具体贡献，接着比较了仅针对编码误差优化与针对编码误差和代谢成本之和优化的网络（在保持其他条件完全相同的条件下），并联合优化了四个参数：膜时间常数（membrane time constant）、噪声强度（noise intensity）、E与I神经元数量之比，以及平均I-I与E-I连接强度之比。优化后，两种模型均以相似的精确度追踪时间依赖目标信号。然而，它们收敛到不同的参数区间。与优化编码误差和代谢成本的网络相比，仅优化编码误差的网络具有更低的噪声和更弱的抑制，而E-I神经元数量比在两种代价函数之间无系统性差异。优化参数上的差异转化为网络活动的差异。仅优化编码误差的网络具有略高的发放率和显著更低的试次间变异。特别是，包含代谢成本的网络的Fano因子（Fano Factor，即跨试次锋电位计数的方差与均值之比）接近1，而仅优化编码误差的网络的Fano因子接近0.5。这些差异与更低的噪声强度和更弱的抑制一致。因此，优化代谢成本不仅降低发放，还塑造响应变异性。由于感觉皮层神经元的试次间变异性接近泊松过程（Poisson process），纳入代谢成本使高效放电网络的活动更符合生物学实际。
此外，仅包含编码误差优化的代价函数规定了促进时间性E-I平衡（temporal E-I balance）的结构化递归连接，时间性E-I平衡即维持每个神经元在每个时刻的E和I突触输入的紧密平衡的能力。纳入代谢约束增强了时间性E-I平衡，并强制执行抑制主导状态（inhibition-dominated regime），在该状态下I突触输入强于E输入。因此，纳入代谢成本产生的神经动力学与感觉皮层的两项经验观察一致：突触兴奋和抑制在时间上协调，且抑制通常占主导。
信息编码与信息传输之间的权衡
神经编码优化信息编码的观念同样渗透到神经群体编码的研究中。许多研究考察了群体活动的哪些特征能增强神经群体中编码的信息量，其假设是神经群体编码最大化同一群体内的信息编码。例如，若干研究探讨了群体编码信息如何依赖于神经表征的稀疏性（sparseness，直观上为任意时刻活跃神经元的比例），发现极低的稀疏值可最大化单锋电位信息量，该指标结合了编码质量和代谢成本。
神经活动中受到广泛关注的一个特征——就其信息编码贡献而言——是神经元间的相关性（correlations）。建模研究考察了神经元间相关性的强度和结构如何影响群体响应所携带的关于感觉刺激的信息量。不同神经元活动间的相关性可增加、减少或不改变群体携带的信息量，其效果取决于若干因素，主要因素是噪声相关性（noise correlations）和信号相关性（signal correlations）的相对符号。噪声相关性量化了在固定刺激下神经元活动之间的相关性。信号相关性量化了跨不同刺激的试次平均活动之间的相关性。当信号相关性和噪声相关性符号相同时，噪声相关性减少信息；当二者符号相反时，噪声相关性增加信息。在大多数关于感觉皮层或决策相关脑区的实验研究中，噪声相关性被发现会减少信息。这一点通过比较从真实同时记录的神经群体响应（包含噪声相关性）解码出的信息与从伪群体响应（通过跨试次随机打乱不同神经元对同一刺激的响应以消除噪声相关性获得）解码出的信息得到证实。打乱响应中的信息通常高于真实响应中的信息。
这些结果表明，一个仅为群体层面编码而优化的神经编码不应包含限制信息的相关性。然而，此类相关性普遍存在于皮层数据中。这是否意味着神经群体编码并非最优设计？抑或意味着它们是在包含编码以外项的代价函数下被最优设计的？回答此问题的线索来自一系列在知觉决策期间对小鼠皮层的记录，这些记录报告称相关性虽然限制信息，但在小鼠做出正确知觉判断的试次中比做出错误判断的试次中更强。
解释这些结果的一种可能性是，产生选择所需的下游信息读出受到相关性的促进。研究人员在一项近期研究中通过构建基于同一试次神经活动信息的小鼠单试次选择统计模型对此进行了证明。研究发现，当神经元响应具有更强相关性时，根据解码神经活动推断的最可能刺激做出选择的概率更高。这意味着，若响应具有一定程度的相关性，则神经元活动中编码的信息可被更有效地用于下游决策。研究人员还利用突触信号通过神经元膜传播的生物物理模型对此进行了研究。由于膜整合时间常数（membrane integration time constants）较短，若相关性将锋电位在时间上更紧密地聚集，则活动可被更好地传播。对该模型的解析研究表明，中等强度的相关性可使通过神经元膜传输的信息量最大化。最大化传输信息量的相关性值大致与皮层神经元中观察到的数值范围相当。
这些结果表明，神经编码并非被优化以局部编码信息，而是权衡编码信息的需求和传输信息的需求。如何最优地权衡这些需求可能取决于脑区的主要功能：一项研究表明，感觉区域的群体编码具有较弱的相关性，以更侧重感觉编码；而决策区域的群体具有更强的相关性，以更侧重下游传输。
讨论
基于感觉编码的神经代价函数在解释感觉神经元的响应特性方面已被证明是成功的。本文回顾了添加额外生物学合理约束如何可能改变这些结果。添加代谢支出约束可设计出生物学合理的E-I网络，再现感觉皮层的额外单神经元和网络水平特性。添加下游可读性约束则可产生允许冗余相关性促进信息向下游区域传输的群体编码，但可能以降低编码信息为代价。
未来的第一个方向是理解如何联合优化编码精确度、向下游读出的传输及代谢成本。多层放电网络提供了一个自然的研究场景，因为它们允许同时约束某一层信息编码及其跨层传输的代价函数。此类模型可成为投射通路中神经编码组织的实证研究的重要理论对等物。研究人员假设，将信息传输纳入代价函数将产生具有更高神经元间相关性强度的网络。
第二个方向是探讨如何高效地实现更丰富的计算。皮层神经元通常以非线性方式组合不同的传入特征。例如，初级体感神经元非线性地组合来自不同类型皮肤受体的信息。如何在高效编码模型中捕捉复杂的特征交互（如相互放大和抑制的交互）仍不清楚。其他重要的计算包括线性动态信号变换（如将瞬态输入转换为衰减振荡）和非线性变换（如生成持续吸引子状态）。
第三个方向是理解高效编码与低秩递归网络（low-rank recurrent networks）之间的关系，特别是那些产生用于解决认知任务的目标输出的网络。优化感觉和代谢代价函数的递归连接具有由编码刺激维度决定的低秩结构。考察代谢成本如何改变最优连接秩（例如通过保留强烈影响编码性能的刚性维度，同时抑制编码收益较小的耗能维度以在退化解之间进行选择）将是值得关注的方向。
