作为线性系统预测控制器的脉冲神经元

《PLOS Computational Biology》：Spiking neurons as predictive controllers of linear systems

　　

摘要神经元通过稀疏且极短的电脉冲（即脉冲）与下游系统进行通信。利用这些事件，它们控制多种目标，如神经肌肉单元、神经分泌系统以及连接回路中的其他神经元。这催生了将脉冲神经元视为控制器的观点，其中脉冲就是控制信号。直接将瞬时事件用作控制输入（也称为“脉冲控制”）具有挑战性，因为它难以扩展到较大网络，且可解析性低。因此，当前的脉冲控制通常依赖于对脉冲信号进行滤波以近似模拟控制。这最终意味着脉冲神经网络（SNNs）必须输出连续的控制信号，从而需要对下游系统持续输入能量。在此，研究人员规避了对基于速率表示的需求，提出了一种可扩展的方法，用于实现具有稀疏神经活动的任务特定脉冲控制。为此，研究人员同时从控制理论和神经科学中汲取灵感，定义了一个脉冲规则：仅当脉冲能使动态系统更接近目标时才发放脉冲。基于这一原则，研究人员推导出脉冲神经网络（SNN）所需的连接，并证明其能够成功控制线性系统。研究表明，对于物理受限的系统，需要预测控制，且控制信号最终会利用下游系统的被动动态来达到目标。最后，研究人员证明该范式可扩展到高维系统以及仿生运动控制任务。重要的是，在所有情况下，研究人员都保持了网络连接、网络动态和控制目标的闭合形式数学推导。这项工作增进了对脉冲神经网络（SNNs）作为仿生控制器的理解，为真实神经元如何施加控制提供了见解，并推动了在神经形态硬件设计中的应用。
作者总结动作电位（即脉冲）是允许脊椎动物大脑中的神经元控制身体运动、内部状态以及与世界交互的关键事件。控制理论为将过程调节至期望状态提供了正式框架，但传统上它与神经网络的研究是分离的。这项工作严格阐述了如何在控制理论的框架内构建脉冲神经网络实现。从神经科学的角度来看，研究人员的工作发展和扩展了现有将脉冲神经网络（SNNs）视为调节自身内部动态的仿生控制器的观点。研究人员将这一原则推广到利用脉冲显式控制任何下游线性系统。从控制理论的角度来看，研究人员解决了直接将瞬时事件用作控制输入的问题，该问题在解析上具有挑战性且难以扩展。研究人员保持了网络连接、网络动态和控制目标的闭合形式数学推导，从而获得了一个模型，该模型对于神经科学中的假设检验以及神经形态系统的应用都具有价值。

**论文解读：脉冲神经元作为线性系统的预测控制器**

**研究背景**

在脊椎动物神经系统中，动作电位（即脉冲）是神经元间通信的通用原则之一。皮层神经元的脉冲行为赋予了其高效且稳健的计算特性，为实现皮层的复杂自适应功能提供了基础。在单神经元层面，脉冲事件极为短暂且稀疏，通过突触通信能够影响下游区域神经元的动态。这种神经元不仅传递信息，还能改变行为的特性，奠定了将神经元视为控制器、脉冲视为控制信号的基础。在运动控制研究中可以找到脉冲驱动控制的明确例子，例如动物通过脉冲产生来定向头部、控制眼球或肢体运动。这种控制视角能为神经计算提供重要见解，同时也对神经形态应用（其中脉冲网络用于控制下游被控对象）日益相关。

尽管脉冲网络的控制理论与应用近期取得了一些进展，但仍不清楚如何生成每个脉冲以成功控制被控对象的动态。传统上，控制理论依赖于最优控制方法，如线性二次型调节器（LQR），该方法通过连续调整控制输入来驱动系统达到目标状态，同时最小化代价函数。尽管有效，但这种连续控制范式难以与脉冲神经网络（SNNs）的离散本质相协调。弥合这一差距的尝试包括使用滤波脉冲方法，这些研究通过速率编码或滤波脉冲序列近似LQR信号，从而将经典最优控制原则应用于SNNs。然而，在这些滤波脉冲方法中，脉冲作为网络对系统状态的表示，但并未主动计算控制信号，控制信号本质上仍是连续的。这使得难以追踪每个单一脉冲对受控系统轨迹的影响。文献中其他基于脉冲的控制方法则侧重于基于单个神经元的控制器，或实现瞬时控制的形式。这些脉冲控制方法已被广泛研究，但主要关注控制理论视角，有时甚至绕过了网络的需求。直到最近，一些工作才开始将这一框架与理论神经科学概念相结合，以明确地将控制脉冲解释为神经元的动作电位。不过，网络架构是强加的，而非从控制目标中推导出来的。因此，将生物启发的SNNs与（反馈）控制相结合仍是一个待深入探索的领域。

**研究内容与结论**

该研究探讨了脉冲事件如何影响线性系统的动态，直接使用脉冲作为控制信号。研究人员从控制理论的角度考虑这个问题，通过正式推导神经元应如何发放脉冲来控制一个线性动态系统（如图1所示）。这等同于生成控制输入，以成功驱动下游被控对象的动态，最小化与系统状态相关的某个损失。在推导该问题的解时（见材料与方法），无需引入额外假设，就得到了如图1A所示的反馈控制场景。该工作将这种瞬时脉冲控制嵌入理论神经科学的约束中。受脉冲编码网络（SCNs）神经科学理论的启发，研究人员从控制理论原则出发，推导出一个具有稀疏活动和低秩连接的递归整合-发放（IF）神经元网络。通过直接将脉冲作为控制信号（图1D），该模型确保每个神经元对系统轨迹的贡献是明确的。在每个脉冲事件之间，系统在开环状态下按自身动态演化，当产生控制信号时，系统切换至闭环控制（脉冲作为控制输入）。该解决方案自然利用了被控对象的内在动态，而非随时间连续输入信号。这种方法有助于理解神经回路如何高效执行控制任务，同时保留生物网络的关键特征。

该研究结果表明：第一，基于贪婪脉冲规则（仅当脉冲能改善控制损失时才发放），可以推导出所需的网络结构和动态来控制下游系统。第二，对于物理受限的系统（如弹簧-质量-阻尼器系统，SMD），反应性控制（仅考虑脉冲即时效果）会失效，而预测性控制（考虑脉冲后未来时间窗口f内的效果）则能成功控制。第三，该控制范式可以扩展到高维系统（如耦合振荡器系统）和仿生运动控制任务（如点臂到达任务）。第四，在所有案例中，网络连接、网络动态和控制目标均保持了闭合形式的数学推导。该工作增进了对作为仿生控制器的SNNs的理解，为真实神经元如何施加控制提供了见解，并推动了在神经形态硬件设计中的应用。

论文发表在《PLOS Computational Biology》。

**主要关键技术与方法**

研究人员主要采用了以下关键技术方法：（1）基于损失比较的贪婪脉冲规则推导：通过对比有/无神经元i脉冲时的控制损失，推导出神经元的电压和阈值表达式，从而建立脉冲条件。（2）闭合形式的数学推导：从该脉冲规则出发，无需额外假设，直接推导出递归整合-发放（IF）神经元网络的动态方程，其中包含前向权重（编码目标和系统状态）和低秩递归连接。（3）预测控制机制：在损失函数中引入未来时间窗口f，使神经元基于对未来系统状态的预测来决定脉冲，从而实现对物理受限系统的有效控制。（4）异步发放策略：在示例中强制实施异步发放（每时间步仅允许一个神经元发放），并结合基于神经元过去活动的自适应阈值机制，以维持活动稀疏性。（5）高维扩展与鲁棒性测试：将算法应用于耦合振荡器系统（M=10个质量块，N=500个神经元）和点臂到达任务（通过简化的肌纤维单元模型），并通过随机沉默神经元测试系统鲁棒性。注意，样本队列来源未提及，所有模拟均基于Python实现的数值仿真。

**研究结果**

**制定控制问题**

**通用控制设置**：研究定义了一个K维线性动态系统，通过N维脉冲控制信号进行控制。脉冲信号建模为狄拉克δ函数，作为控制输入。对比了经典连续LQR控制、滤波脉冲控制以及该研究提出的脉冲控制范式。

**基于脉冲的控制**：研究人员定义了损失函数，衡量系统状态与目标状态之间的距离，并加入脉冲成本项。受脉冲编码网络（SCN）理论启发，要求脉冲仅在改善此控制损失时才发放。通过比较有/无脉冲时的损失，推导出神经元的电压（V）和阈值（T）表达式，其中电压编码了系统当前和未来状态的信息，阈值则与脉冲成本相关。从这一简单规则出发，无需预先假设，即得到了一个递归网络（公式6），具有低秩连接结构。

**反应性与预测性脉冲控制**：反应性控制仅考虑脉冲的即时效果，预测性控制则考虑未来f秒内的预期效果。通过示例展示了两种策略在相位空间中的不同行为：反应性控制倾向于直接向目标“踢”系统状态，而预测性控制则会利用系统的内在动态。

**应用于物理系统：弹簧-质量-阻尼器（SMD）**

**反应性控制**：在物理无约束系统中，反应性控制可成功追踪目标（通过连续直接向目标位置发放脉冲，相当于“瞬移”质量块）。但在物理约束系统中（控制信号仅影响速度），反应性控制失败，因为速度的变化不会立即影响位置，导致脉冲无法即时减小损失，网络保持静默。

**预测性控制**：在物理约束的SMD系统中，预测性控制成功通过调整速度并利用系统的内在动力学（振荡和阻尼）来追踪变化的目标位置。脉冲决策基于未来f秒后的预测状态，引入了预期成分，使控制策略更加稳健。

**控制器作为递归脉冲神经网络**

**示例活动**：展示了4个神经元控制SMD的示例活动，包括脉冲时序、电压轨迹和误差曲线。电压轨迹编码了预测误差（未来状态与目标的距离）。在模拟中引入电压噪声后，由于脉冲规则的局部性，网络对噪声诱发的脉冲具有鲁棒性，控制性能未受影响。

**变化元参数**

**神经元数量（N）**：神经元数量影响控制鲁棒性和活动管理。简单系统可用2个神经元，复杂系统需更大网络（如N=500）。

**脉冲强度（B）**：B矩阵将脉冲映射到系统，其值会影响控制精度和范围。

**全局阈值缩放（λ）**：λ影响脉冲成本和阈值，进而影响脉冲数量和追踪精度。较低λ导致更多脉冲和更小误差，较高λ则可能导致欠控制。

**预测窗口（f）**：f的大小至关重要。适当的f可预测效果，避免不必要脉冲；过小的f可能无法充分利用系统动态，过大的f则可能导致基于远未来状态的过度调节。

**控制状态**：通过组合不同的λ和f，识别出四种控制状态：高效控制、欠控制、过控制和低效控制。高效控制以较少的脉冲精确追踪目标；欠控制无法准确达到目标；过控制导致位置在目标附近震荡；低效控制脉冲过多但精度相当。

**比较控制方法**

**比较控制方法**：将预测脉冲控制与连续LQR和滤波脉冲控制进行比较。LQR产生平滑的最优控制信号；滤波脉冲控制近似LQR信号，需要大量脉冲；脉冲控制则直接以稀疏脉冲驱动系统，速度变化呈阶梯状，误差轮廓不同。脉冲控制不追踪最优解，但能以更少的脉冲达到可比的追踪精度。滤波脉冲控制的滤波元件在网络内部，而脉冲控制的滤波元件在被控对象中（B矩阵映射）。

**控制耦合振荡器**

**控制耦合振荡器**：将算法扩展到10个耦合的SMD系统，使用N=500个神经元随机分配B矩阵。网络成功协调脉冲，使所有质量块达到各自的目标位置。脉冲活动稀疏且分布均匀。随机沉默部分神经元后，活动重新分配给剩余神经元，控制性能不受影响，展示了鲁棒性。

**臂到达任务模拟**

**臂到达任务模拟**：通过控制8个简化的肌纤维单元（SMD）来驱动二维空间中的点臂。控制目标仅基于臂的位置，不约束单元状态。网络成功生成稀疏脉冲，使肌纤维单元产生必要的振荡，驱动点臂追踪不同的弯曲轨迹。在臂受到速度扰动后，网络能重新调整轨迹并追踪目标。

**总结与讨论**

**提出的脉冲控制框架**：该研究提出了一个利用脉冲直接“踢”动下游系统动态的框架，利用系统内在动态达到目标。对于物理受限系统，发展了预测算法。脉冲规则完全局部化，无需网络级目标或显式学习即可达到目标。从该规则出发，无需预先假设即得到了一个递归IF神经元网络。该框架可扩展到高维系统并对神经元丢失具有鲁棒性。

**假设与约束**：
* **贪婪脉冲规则**：每个时间步神经元独立地试图减小与目标的距离，不保证控制器的整体最优性。
* **控制方案特征**：控制问题是无限时域的，参数f仅指定损失评估的固定预测窗口，不涉及未来控制动作的优化。基于已有稳定性分析，该脉冲控制方案在实际上是稳定的。
* **用例简单性**：选择了简单的线性、二维系统，便于展示原理，但框架可扩展到任何线性系统。

**脉冲控制思考**：
* **与先前基于脉冲的控制模型的关系**：脉冲编码网络（SCN）相关工作与本研究有共同基础，但SCN主要控制自身读出的动态（内部状态），而本研究将其推广到控制任何下游线性系统。
* **未来展望**：在神经科学中，该范式可用于建模下游肌肉执行器的控制。未来可扩展到身体定向模型、更详细的肢体模型，并用于研究网络内现象如癫痫的建模。引入非线性系统的扩展、参数学习和适应性将是重要方向。

**研究结论**

从本质上讲，该研究推导出，基于一个简单的、完全局部的贪婪脉冲规则（仅当脉冲改善控制损失时发放），可以构建一个递归整合-发放神经元网络，该网络能够以闭合形式数学描述其连接、动态和目标，并成功控制任何下游线性动态系统。该工作强调了每个脉冲事件在计算中的作用，并展示了如何利用预测机制实现对物理受限系统的有效控制。该模型为神经科学中的假设检验和神经形态系统应用提供了有价值的工具。