非线性波系统中的近平衡态传播训练

《PRX IntelligenceNEW》：Near-Equilibrium Propagation Training in Nonlinear Wave Systems

　　反向传播学习算法，作为现代人工智能的核心工具，在物理神经网络中的实现向来以困难著称。平衡传播（EP）作为一种替代方案，具有相当的学习效率，并展现出原位训练的强大潜力。我们将EP学习拓展至离散和连续复值波动系统。与先前的EP实现方案不同，我们的方法适用于弱耗散区域，并且能够方便地应用于各种物理场景，甚至包括那些缺乏明确定义节点的系统，其中可训练的内部节点连接可以被可训练的局域势所替代。我们在由广义Gross-Pitaevskii动力学支配的驱动-耗散激子-极化激元凝聚体中测试了该方法。针对标准基准任务（包括简单逻辑任务和手写数字识别）的数值研究表明，该方法能够稳定收敛，从而为系统控制仅局限于局域参数的物理系统提供了一条原位学习的实用途径。I. 引言利用物理基底进行神经形态学习，通过利用原生动力学进行训练和推理，有望在吞吐量和能效方面实现数量级的提升 [1–6]。光学和固态平台提供了可重构的耦合和快速读出能力，然而端到端的原位训练仍然具有挑战性，因为反向传播假设存在显式计算图和精确伴随动力学，这些假设在存在隐藏耦合、延迟和耗散的模拟硬件中十分脆弱 [1,7]。驱动-耗散波动系统（包括光子神经网络）因其吞吐量和可扩展性而尤其具有吸引力 [5–9]。虽然计算机仿真训练对小规模器件有效，但在更大系统中，模型与实验之间的失配促使我们寻求高效的原位替代方案 [10–15]。然而，非线性复值动力学将振幅和相位与增益和损耗耦合在一起，增加了精确梯度估计的复杂性。平衡传播（EP）是一种基于能量的两阶段算法，它通过自由状态和微扰稳态之间的差异来局域估计梯度 [16]。系统首先在输入作用下弛豫，随后在微弱的依赖于输出的微扰作用下弛豫；它们之间的稳态差异产生局域更新规则。EP与循环反向传播等价 [17,18]，并在大规模数字基准测试上实现了高精度 [18–20]。它已被推广至卷积网络、脉冲网络、振子网络、热力学网络和量子网络，以及拉格朗日学习和不可知学习框架 [19,21–32]。EP已在机械 [33]、电阻 [34,35] 和忆阻器 [36] 网络中进行了实验验证，并在D-Wave量子电路 [37] 和光学相干伊辛机 [38,39] 中得到了部分实验实现。在这里，我们引入近平衡传播（NEP），它是EP向驱动-耗散复波系统（图1）的推广。我们的方法在多个方面扩展了先前的结果：（1）在弱泵浦和弱耗散的近平衡区域工作；（2）适用于振荡和波动系统，超越了基于能量弛豫的传统EP；（3）能够训练局域参数而非节点间权重，从而覆盖更广泛的物理系统类别；（4）同时适应离散和连续复值场。其中一些方面此前已被部分探索过。文献[40]考虑了将EP推广到无明确定义能量函数的实值矢量场动力学。文献[23–25]研究了利用EP训练振荡系统，但这些模型假设能量梯度下降而非哈密顿动力学，从而导致弛豫而非振荡行为。文献[41]在复网络中将EP推广至全纯泛函，但这些泛函并不对应于像能量或哈密顿量这样的实值物理量。文献[42]认识到连续波动系统与神经网络之间的类比，但未提供原位训练方法，而是依赖于离散化数字模型中的反向传播。图1. NEP在连续波动系统（浅蓝色）中的实现方案，包含输入驱动、输出与微扰力（绿色弹簧）以及可训练势参数（红色）。为了测试该框架，我们对激子-极化激元凝聚体中的NEP学习进行了建模，该平台结合了光和物质 [43–45]。极化激元神经网络已在多种架构中被研究 [46–53]，近期的研究强调了其在推理任务中的能效优势 [6,54]。我们在XOR和MNIST任务上演示了稳定的NEP训练，从自由-微扰对比中推导出局域更新规则，并利用驱动-耗散Gross-Pitaevskii方程（GPE）建模了一个现实可行的实现方案，包括泵浦几何结构和输出微扰。数值结果确认了收敛性并表明了实验可行性。II. 复值系统中的近平衡传播我们定义了驱动-耗散系统的NEP学习协议。一个振荡或波动系统由依赖于时间的复场描述，该场定义在空间域上，根据物理实现可以是连续的或离散的。对于每个输入样本，训练过程通过两步程序进行。在第一步，即自由演化阶段，系统遵循如下方程： （1）其中，是可训练参数向量，例如局域势、节点间耦合或输入权重。与传统EP不同，方程（1）不必源自具有能量泛函的变分原理。我们假设经过足够长时间的演化后，系统达到一个振荡稳态，其中表示频率，这意味着。我们假设锁定到共振驱动，且与和无关。转换到旋转坐标系，可得： （2）其中，在稳态下，方程（2）中的最后一个等式成立。在第二步，即微扰阶段，系统受到相对于目标的扰动。目标是调整以最小化代价函数，该函数量化输出与目标之间的差异。为此，我们添加一个与代价梯度成正比的驱动项： （3）其中，是一个小的实参数，是Wirtinger导数。微扰项包含一个虚数因子，导数是对共轭变量求导的。这产生了一个简单的原位梯度下降规则。我们假设系统弛豫到一个新的、微扰的稳态，满足。对于复场系统，输出可能同时依赖于振幅和相位；在这里，我们专注于振幅。例如，连续情形下的均方误差（MSE）代价函数为： （4）其中，是输出区域。通过方程（3），这一选择导致如下演化方程： （5）其中，是Heaviside阶跃函数，当时为1，否则为0。另一个例子是分类交叉熵（CCE）代价函数，适用于多类任务，在离散情形下定义为： （6）其中，是softmax函数，求和遍历所有对应于输出类别的输出节点。此时，微扰演化变为： （7）因此，微扰项取决于所选的代价函数，并且被限制在区域内。参数更新可以按样本、批次或轮次进行。它们沿最陡梯度方向最小化代价函数： （8）其中，是内积，在连续情形下为，在离散情形下为。两种情形的推导见附录A，而附录B提供了与文献[40]结果的详细比较。NEP训练推广了文献[40]，并适用于任何复波动方程，只要的导数满足近平衡条件： （9）在这里，平衡的定义比先前的EP工作 [16,23,24] 更为宽泛，指的是方程（2）的稳定不动点。当存在哈密顿泛函使得（其中为泊松括号）时，方程（9）作为Clairaut定理的推论自然满足。如下所示，即使该条件未完全满足，训练仍能成功收敛。在推理阶段，微扰被关闭，输出直接从输出区域中的稳态振幅读取，系统由输入驱动，如同自由阶段一样。III. 在激子-极化激元系统中的实现激子-极化激元系统因其强非线性、超快动力学和高能效，是光神经网络的理想平台 [6,47,48,54]。NEP装置如图2所示，由容纳极化激元的腔体样品、用于输入泵浦和输出微扰的共振激光束，以及形成势场的非共振激光组成。可训练参数包括软件输入权重和由空间光调制器（SLM）控制的物理势场分布。图2. 具有两个输入和一个输出的极化激元系统示例。两个局域激光束（黄色）编码输入。通过SLM施加空间调制的可训练势场（红色）。选定区域（绿色）标记了发生光学微扰和读出的输出区域。输入和输出光束共享相同的频率。为了说明，我们将通用NEP框架应用于由广义连续GPE描述的驱动-耗散极化激元，该GPE包含耗散、复势、共振泵浦和非线性函数——无论是密度响应还是饱和响应。在旋转坐标系下，极化激元波函数演化如下： （10）其中，，包含复输入权重，对应于输入，以及归一化高斯包络，其宽度为，中心在。复势和泵浦权重构成可训练参数。尽管项、和破坏了哈密顿动力学，但我们将在下文证明，当和与其他项相比很小时（近平衡区域），NEP仍然是准确的。拉普拉斯项具有宇称对称性，满足方程（9）中的两个条件。在微扰演化阶段，根据所选的代价函数，微扰被引入到输出区域，如方程（4）所定义。在实验上，这对应于在区域施加一个共振泵浦，其振幅与误差成正比，并相对于输出区域中稳态的相位有一个相移。稳态满足。为了确定两个训练参数——势和泵浦权重——的更新规则，我们采用NEP规则 [方程（8）]。利用关于实势的导数可得： （11）类似地，对于实泵浦权重，有： （12）因此，势和泵浦权重的更新都依赖于在自由和驱动阶段获得的局域稳态场。参数控制微扰强度，必须足够小以保证在处导数估计的准确性，同时又要足够大以引起波函数可测量的变化。IV. 数值结果在模拟中，我们使用GPE的离散版本，并在有限空间网格上实现两阶段NEP算法。在无量纲单位下，离散GPE为： （13）采用Dirichlet边界条件，这在实验上可通过陡峭的非共振势垒实现，尽管该框架与边界选择无关。演化方程使用四阶Runge-Kutta（RK4）格式进行积分。作为原理验证，我们训练了一个一维（1D）极化激元网络来实现二输入XOR函数。模拟采用九节点网格，包含两个输入节点和一个输出节点。图3显示了系统几何结构和优化结果。输入样本对应于四个二进制组合，并编码为泵浦振幅，其中是实输入权重，是位于位置的输入。目标模式要求对于（01, 10）有高振幅（），否则有低振幅（）。代价函数是每个输入下输出强度与目标强度之间的均方误差。图3. 训练一个九节点1D网络以实现二输入XOR任务。输入对称地施加在节点2和6上，输出在节点4处读取。（a）同时训练势和泵浦权重。（b）训练损失，（c）每个输入下的稳态场振幅，（e）训练后的势，以及（d）泵浦权重。最终输出：对于输入（00, 01, 10, 11）分别为。如图3（b）所示，在微扰参数下，经过约十个epoch后收敛。势和泵浦权重均根据方程（11）和（12）进行训练，学习率分别为。GPE参数为，非线性饱和响应为。图3的其他面板显示了训练后系统中的稳态振幅、势和输入权重。附录B表明，优化效果与输入/输出节点位置无关，并且可以同时训练和，或仅训练而保持固定。该方法对随机势扰动（例如实验样品中的结构不均匀性）具有鲁棒性——通过在固定的微小随机波动下进行训练验证，未影响收敛性。为了展示NEP算法训练多类分类任务的能力，我们训练了一个二维（2D）离散极化激元网络来分类MNIST手写数字数据集（每个数字1000个样本）（见图4）。模拟在网格上进行，输入区域对应整个网络区域，十个每个单元接收相同输入的副本。输入模式通过对MNIST图像进行缩放和归一化生成。输出区域由十个中心节点组成，每个节点代表一个类别。输出模式是独热编码的，要求每个输出节点对正确的数字呈现高强度（），对其他数字呈现低强度（），代价函数由方程（6）给出。在微扰参数、学习率、共振泵浦振幅归一化为1、GPE参数以及密度响应非线性的条件下，经过约20个训练epoch，测试准确率达到。值得注意的是，图4所示的泵浦权重形成了类似手写数字的图案，人眼可以辨认。图4展示了训练一个二维网络来分类手写MNIST数字。十个单元中的每个单元都接收一个缩放后的输入图像。输出区域包含十个对应于数字0–9的中心节点。(a) 数据流，包括缩放、复制、带有泵浦权重的光学注入、非共振势，以及最终的极化激元强度。这些单元被一个阻挡势（暗红色）分隔开。(b) 带有最终测试集准确率的混淆矩阵。(c)和(d)：训练和测试的准确率与损失。改变非线性度后发现，对于中等值，即平均非线性-损失比，性能最优，这对应于最低的最终损失和最高的验证准确率（见图5）。较大的值往往会破坏学习的稳定性。仅训练势而不优化泵浦权重会降低性能，但证实了优化可以通过纯光学而非电子学方式进行更新（附录C）。一个基准的全连接线性网络，没有隐藏神经元，十个输出，通过反向传播训练，在相同的MNIST测试子集上达到准确率。之前的研究报告称，具有局部连接的振荡网络在MNIST上表现不佳[24]。我们将性能的提升归因于非平衡波动力学，它克服了节点耦合的局域性。图5展示了图4设置中最后50个epoch中的10个epoch的平均测试集准确率，作为平均非线性-损失比的函数。橙色虚线显示了三次多项式拟合，而蓝色虚线标记了在同一输入上通过反向传播训练的全连接线性网络的准确率。附录C展示了XOR和MNIST任务的额外模拟结果，证明了NEP对受限参数训练和网络结构变化的鲁棒性。V. 实验展望与总结 NEP协议可以用当前的极化激元系统进行实验实现。对于MNIST任务（每个数字1000个样本）的数值模拟，在约20个epoch后收敛，这需要每个样本两次稳态测量，每次使用RK4步长，。在物理单位中，对于典型的[43,55]，整个训练过程在以内完成，比基于GPU的数值积分（NVIDIA GeForce RTX 2080 Ti，11 GB）快近6个数量级。因此，NEP在概念上和实际应用上都具有显著优势。对于基于GaAs的微腔[56]，典型线宽和相互作用常数[56]，图4模拟中使用的数值参数对应于激子密度。训练后的参数对应于耦合能量、光学诱导势和谐振泵浦振幅，这些都在实验可及范围内。我们提出了NEP方案，它将非线性波系统转变为一个通过稳态对比度训练的机器学习设备。与之前的方法不同，我们的算法在接近平衡状态下运行，训练局部参数而不是节点间权重，并适用于离散和连续系统。该协议使用标准光学工具（SLM和基于相机的读出），对中等不均匀性具有鲁棒性，并自然地支持将弱耦合单元拼接起来以处理大规模任务。总之，这些特性使NEP成为一个现实的实验室实现框架，能够在实验可及的极化激元硬件上实现原位、超快、节能的训练。附加说明。最近，Scurria等人报道了一种在实值状态空间中表述的非平衡稳态的EP方案[57]，而我们的NEP针对具有复场的驱动耗散极化激元网络，并通过Wirtinger导数实现微扰。