
-
生物通官微
陪你抓住生命科技
跳动的脉搏
驯服混沌的温和之道:循环神经网络中的预测对齐学习规则
【字体: 大 中 小 】 时间:2025年07月25日 来源:Nature Communications 14.7
编辑推荐:
本研究针对循环神经网络(RNN)在初始混沌状态下难以学习目标模式的难题,提出"预测对齐"新框架。通过使循环预测与混沌活动对齐,该生物可塑性规则能有效抑制混沌,成功训练网络生成复杂模式(包括Lorenz吸引子、延时匹配任务和电影片段),为理解大脑如何通过预测指导学习提供新见解。
大脑如何从看似混乱的神经活动中产生精确的行为模式?这个困扰神经科学界的问题在循环神经网络研究中找到了新的突破口。传统FORCE学习规则虽能训练混沌网络产生相干模式,但其依赖非局部可塑性规则和快速突触变化,与生物神经系统的工作机制存在明显差距。正是这个矛盾促使Toshitake Asabuki和Claudia Clopath团队开展这项创新研究。
在最新发表于《Nature Communications》的论文中,研究人员提出名为"预测对齐"的革命性学习框架。不同于直接最小化输出误差的传统方法,该框架通过巧妙对齐循环预测与混沌活动,以生物合理的可塑性规则驯服网络混沌,实现了多类复杂模式的生成。这项研究不仅为理解神经可塑性提供新视角,更为开发新型类脑算法开辟道路。
研究采用三大关键技术:(1)构建包含固定连接G与可塑连接M的双通路循环网络模型;(2)设计结合输出误差最小化与混沌对齐的新型损失函数;(3)在率模型和LIF尖峰神经网络中验证算法有效性。实验数据来自数值仿真,包含不同复杂度的人工信号和自然视频序列。
【Recurrent neural network】
研究团队设计了两类连接组成的循环网络:产生初始混沌的固定强连接G,和通过预测对齐规则训练的可塑弱连接M。网络输出通过线性读出权重wTr实现,这种架构既保留混沌系统丰富的动态基函数,又为可塑性调控提供可能。
【Toy examples of learning with the predictive alignment rule】
通过正弦波、阶跃信号等基础模式训练,网络成功将混沌活动转化为相干模式。多读出头实验显示,单个网络可同时学习五个不同目标模式,且能根据控制输入切换输出功能。特征谱分析揭示训练后网络出现主导特征值对,这是动态重组的关键标志。
【Recurrent prediction aligns to the chaotic dynamics】
机制研究表明,正则化参数α调控着混沌抑制效率。当α=1时,可塑连接M与固定连接G驱动的活动呈现显著相关性,网络李雅普诺夫指数更负,表明更有效的混沌控制。这种动态对齐是算法成功的核心。
【Learning performance around the edge of chaos】
与FORCE学习相似,预测对齐在"混沌边缘"(g≈1.2)表现最优。此时网络在表示多样性(特征值熵Hλ)与有效维度(参与比√PR)间达到最佳平衡,为学习提供丰富而稳定的动态基函数。
【Learning low-dimensional chaotic attractor: the Lorenz attractor】
网络成功学习了非周期性的三维Lorenz吸引子动态。即使关闭可塑性,输出仍能短暂跟踪目标,随后进入类似但不同的混沌轨迹,表明网络掌握了吸引子的流形结构。帐篷图分析证实了这种动态重构的精确性。
【Learning generalized representations】
通过两阶段训练策略,网络先学习多频正弦波作为基础表示,随后固定循环连接仅训练新读出头,成功生成未见过的复合模式。这证明预测对齐可构建通用动态表示,类似储备池计算但更具生物合理性。
【Learning Ready-Set-Go task】
在需要时间记忆的"准备-设置-执行"任务中,网络学会根据输入脉冲间隔产生相应延迟响应。主成分分析显示延迟信息编码在低维流形中,网络能内插但无法外推训练范围外的延迟,反映其掌握了任务的内在时空结构。
【Learning with spiking recurrent network】
算法在包含1000个LIF神经元的脉冲网络中同样有效,性能与FORCE和e-prop相当。在包含兴奋-抑制群体的扩展模型中,预测对齐规则仍保持稳定,证明其适用于更生物真实的网络架构。
【Learning and replay of high-dimensional movie data】
最令人印象深刻的是,仅含800个单元的循环网络成功学习并回放了22,080像素的视频序列。读出头权重误差随训练单调下降,表明网络动态能高效编码高维时空模式。
这项研究突破了混沌神经网络训练的生物学限制,提出预测对齐这一全新学习范式。通过将输出预测与内在混沌动态对齐,该框架实现了三个关键创新:(1)仅需局部可塑性规则;(2)不依赖输出钳位;(3)支持多时间尺度学习。特别值得注意的是,算法在混沌边缘状态表现最佳,这与大脑皮层观察到的"临界状态"理论高度吻合。
从理论角度看,预测对齐为理解神经预测编码提供了新视角——大脑可能通过类似机制将自下而上的感觉输入与自上而下的预测信号对齐。从应用角度看,该框架为开发新型类脑算法开辟道路,特别是在需要快速适应动态环境的场景中,如神经假肢控制或动态视觉处理。
研究也存在若干待解问题:如何在严格遵循Dale法则的双群体网络中实现预测对齐?奖励信号如何与预测机制协同工作?这些问题的探索将进一步推动我们对生物学习机制的理解。总体而言,这项研究在神经科学与人工智能的交叉领域树立了新标杆,为未来研究指明了方向。
生物通微信公众号
知名企业招聘