将低维感官动态嵌入循环网络：对神经表征几何结构的影响

《Journal of Computational Neuroscience》：Embedding of low-dimensional sensory dynamics in recurrent networks: Implications for the geometry of neural representation

　　

摘要

感觉皮层中的神经元群体活动呈现在低维流形上，但为何会出现这样的流形以及其几何结构由什么决定，目前尚不清楚。我们通过将皮层神经元群体建模为受低维、规律性感觉动态驱动的循环电路来探讨这一感觉表征问题（例如圆周上的运动、头部方向、环面上的多频音调）。借助专门用于这种准周期性的广义同步理论和延迟嵌入理论工具，我们发现，收缩型循环网络通常会形成能够体现感觉动态的平滑内部流形。其对维度的要求并不高，仅取决于有效感觉流形的固有维度\(\varvec{d}\)，而与外部世界的复杂性无关：通常一个隐藏维度\(\varvec{N>2d}\)就足够了（例如圆周情况下为\(\varvec{N\ge 3}\)，双频环面情况下为\(\varvec{N\ge 5}\)；这些数值与惠特尼和塔肯斯的嵌入定理结果相符）。随后我们证明了一个预测-分离结果，该结果将表征几何结构与预测性能直接联系起来，且无需知道收缩速率的具体数值：如果电路能够以较小误差预测未来的感觉输入，那么具有不同未来状态的神经元状态在神经状态空间中就必须被区分开，其区分精度由预测误差决定。由此产生的受限尺度嵌入自然会形成类别边界、不同刺激的等价性以及辨别阈值。通过使用类似头部方向信号和多频信号驱动的经过训练的\(\varvec{\tanh }\)循环网络进行的数值实验，我们发现了具有预期拓扑结构的环形和环面形隐藏流形；在接近\(\varvec{2d+1}\)阈值时，状态区分的效果提升最为显著。虽然训练通常会使网络超出理论所保证的精确嵌入的严格收缩范围，但与广义同步理论和流形恢复相一致的收敛现象依然存在，这表明我们的条件是充分的，但并非必要条件。总体而言，这些结果从动力系统嵌入理论的角度，为解释为何循环电路中会出现低维感觉流形以及预测如何限制其分辨率提供了机制性说明，同时也与关于皮层神经元群体动态的实证研究结果相一致。