耦合强度是阈值幂律储备池中的尺度参数且不影响训练精度

《Chaos, Solitons & Fractals》:The coupling strength is a scale parameter in threshold power-law reservoirs and does not influence training accuracy

【字体: 大 中 小 】 时间:2026年05月19日 来源:Chaos, Solitons & Fractals 5.6

编辑推荐:

  在储备池计算(Reservoir Computing)中,作为储备池的初始未训练递归神经网络(RNN)的耦合强度是一个重要的超参数,可为实现准确训练而进行调节。一种常见的启发式方法是将此参数设置在“混沌边缘”(edge of chaos)附近,即未训练储备池处

  
在储备池计算(Reservoir Computing)中,作为储备池的初始未训练递归神经网络(RNN)的耦合强度是一个重要的超参数,可为实现准确训练而进行调节。一种常见的启发式方法是将此参数设置在“混沌边缘”(edge of chaos)附近,即未训练储备池处于向混沌动力学过渡的临界点附近,且混沌可被“驯服”。在此,研究人员研究了在阈值幂律(threshold power-law)递归神经网络中应如何变化整体连接强度,此类网络中 firing rate(放电率)在当前低于某个阈值时为0,高于该阈值时为电流的幂函数。此前已有研究表明,这些网络即使在极小的耦合强度下也会表现出混沌解,这可能意味着混沌根本无法被驯服。研究人员表明,对于使用阈值幂律转移函数构建的储备池,如果该储备池能在初始储备池耦合强度的某一个单一正值下进行训练,则对于所有正的耦合强度,都存在具有相同精度的网络,这意味着混沌动力学总是可以被驯服或永远无法被驯服。这直接源于以下事实:阈值幂律 RNN 的耦合强度充当尺度参数,不会定性地影响系统的动力学,而仅按比例缩放所有系统解的幅值。这与转移函数的幂次无关,Rectified Linear Unit(ReLU)网络除外。这与采用 sigmoidal(S型)放电率的常规 RNN/储备池形成对比,在后者中,初始储备池中的递归耦合强度决定了训练期间不同任务的性能,并且还明确影响网络动力学。
论文解读:耦合强度是阈值幂律储备池中的尺度参数且不影响训练精度
研究背景与问题提出
递归神经网络(Recurrent Neural Network, RNN)是理解大脑运作的有力工具。当这些网络未经训练且随机耦合时,它们能为神经活动中的传播、不同亚群对整体网络动力学的影响、神经元群体中出现的不同时间尺度、连接导致同步的能力以及神经电路作为少数关键参数函数可能经历的转变或分岔等提供宝贵见解。除了分析未训练 RNN 中的涌现动力学外,最近还出现了训练 RNN 以模拟真实神经电路行为的平行方法。这些 RNN 通常使用储备池计算(Reservoir Computing)进行训练,其中初始未训练的 RNN 被设置在“混沌边缘”(edge of chaos)参数区域,即网络动力学处于自持放电率波动(混沌)开始的临界点附近。
最近,考虑了非S型放电率的生物可信阈值幂律(threshold power-law)RNN 被开发出来。这些网络已针对不同幂次进行研究,包括模拟通常来自 Hodgkin-Class I 神经元的放电率的平方根放电率、模拟视觉皮层细胞反应的超线性放电率,以及稳态下具有 spike-frequency adaptation(尖峰频率适应)的神经元出现的线性整流单元(Rectified Linear Unit, ReLU)放电率。此前的工作表明,对于大型阈值幂律 RNN,这些网络的混沌动力学可以在任何非零耦合强度下立即出现。鉴于常规储备池的混沌边缘启发式方法,以及阈值幂律 RNN 中混沌动力学的立即 onset(开始),自然而然产生了阈值幂律 RNN 是否可通过储备池计算进行训练的问题。此外,如果可以训练,应如何根据耦合强度超参数对它们进行初始化。
研究人员开展的研究与结论
研究人员通过分析和数值模拟表明,阈值幂律 RNN 的操作不同于经典的S型对应物,但仍可作为储备池在多种任务上进行训练。首先,研究人员发现耦合强度在分析上对所有非 ReLU 阈值幂律 RNN 的潜在训练精度没有影响。这是因为这些网络中的耦合强度是尺度参数,且网络转移函数是尺度不变的。耦合强度除了缩放不同解的幅值及其吸引域外,不会定性改变储备池的动力学,这也解释了先前关于混沌解快速出现的报告。研究人员通过分析和数值表明,如果网络能以某种测试精度对任何非 ReLU 阈值幂律放电率在单个 g 值下进行训练,则对于任何其他 g 值,都存在具有相同精度的训练储备池。此外,研究人员通过数值证明阈值幂律储备池(幂次小于1)确实可以学习目标动力学系统,如振荡器和低维混沌动力学,以及非自治监督器。
重要意义
该研究表明,对于非 ReLU 的阈值幂律 RNN 储备池,耦合强度 g 作为一个尺度参数,不会定性影响系统动力学,仅缩放解的幅度。因此,如果一个网络能在某一正耦合强度下训练达到特定精度,则在任何其他正耦合强度下都存在达到相同精度的网络。这意味着在这类网络中,混沌动力学要么总是可被驯服,要么永远无法被驯服,与耦合强度大小无关。这与采用 S型(sigmoidal)放电率的常规 RNN/储备池形成鲜明对比,在后者的初始储备池中,递归耦合强度决定了训练期间不同任务的性能,并明确影响网络动力学。该论文发表在《Chaos, Solitons & Fractals》期刊。
主要关键技术方法
研究人员采用了理论推导与数值模拟相结合的方法。理论方面,通过分析阈值幂律 RNN 的动力学方程,证明了耦合强度 g 在这些网络中作为尺度参数的性质,并利用函数的尺度不变性进行推导。数值方面,使用 FORCE(First Order Reduced and Controlled Error)训练算法对混沌 RNN 进行训练,以验证不同耦合强度下的训练精度和动力学行为;构建了不同幂次(k>0,如 k=1/2, k=1, k>1)的阈值幂律转移函数 f(z) 的 RNN 模型,其中编码器矩阵元素从[-1,1]均匀随机分布抽取,解码器通过训练学习;通过对振荡器、低维混沌动力学及非自治监督器等目标系统进行模拟,评估储备池的学习能力。
研究结果
Results(结果)
研究人员考虑了由方程 dzi/dt = -zi+ g Σj=1Nωijf(zj), i=1,2,...,N 给出的阈值幂律 RNN,其中转移函数 f(z) = zk(z>0) 且 0 (z≤0),k>0。研究发现,对于非 ReLU(k≠1)的阈值幂律 RNN,耦合强度 g 是尺度参数。分析表明,若系统在某个 g* 下可训练并达到某精度,则任意 g>0 下均存在相同精度的训练网络。数值模拟进一步证实,阈值幂律储备池(k<1)能够学习振荡器、低维混沌动力学及非自治监督器等目标系统,验证了理论推导的结论。
Discussion(讨论)
通过分析推导和数值模拟,研究人员表明阈值幂律储备池(无论训练与否)的操作不同于其 S型对应物。特别是,这些网络的整体耦合强度不会定性影响系统动力学(g=0 除外),耦合强度仅向上或向下缩放解的幅值,不会导致任何新的系统动力学。阈值幂律 RNN 中的缩放不变性甚至适用于放电率具有不应期的网络。这一特性简化了此类储备池的超参数调优,因为耦合强度的选择不再影响训练精度,与常规 S型 RNN 储备池需调节至混沌边缘的做法截然不同。
研究结论部分总结
研究表明,在阈值幂律 RNN 储备池中,耦合强度 g 作为尺度参数,对非 ReLU 网络(k≠1)的训练精度无影响。若网络能在某一正 g 下训练达到特定精度,则所有正 g 下均存在相同精度的训练网络,混沌动力学要么总可被驯服要么总不可被驯服。这与 S型 RNN 储备池形成对比,后者的耦合强度明确影响动力学与训练性能。该结论经理论分析与数值模拟(包括 FORCE 训练多种目标系统)证实,简化了阈值幂律储备池的设计与初始化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号