耗散动力学系统中的均衡传播算法扩展:实现智能材料的动态信号学习与分类

《Advanced Intelligent Systems》:Equilibrium Propagation for Dissipative Dynamics

【字体: 大 中 小 】 时间:2026年04月19日 来源:Advanced Intelligent Systems 6.1

编辑推荐:

  为应对物理系统中梯度计算的难题,研究人员扩展了均衡传播算法,将其应用于线性耗散动力系统。他们推导了适用于周期边界条件和静态初始条件的局部学习规则,并在弹簧网络和RLC电路中成功验证了该方法。该工作为实现可进行动态计算、具有频响特性的智能材料提供了理论基础,并为神经形态计算、嵌入式智能传感器等领域开辟了新途径。

  
在材料科学和计算科学交叉的前沿领域,科学家们一直梦想着能让普通材料“活”起来,赋予它们类似机器的复杂功能,无需在微观尺度上进行精心设计。这种“物理学习”的核心在于如何巧妙地利用物理定律本身来计算目标函数的梯度,从而让系统自主学习。对比学习和均衡传播等方法为在物理系统中进行精确梯度计算提供了可能。然而,现有研究大多聚焦于准静态系统,例如电阻网络、流网络和弹性网络。将这些方法推广到更具普遍性的动力学体系,尤其是存在能量耗散(如机械系统中的摩擦、电路中的电阻)的系统,一直是一个巨大挑战。因为耗散系统的动态轨迹通常并不使能量函数取极值,这使得基于能量的优化方法难以直接应用。攻克这一难题,将为我们打开通往新型智能材料的大门,这些材料能够处理动态信号,实现依赖于时间历程的计算,甚至可以作为被动传感器和频率相关的滤波器,应用前景广阔。
本研究主要运用了以下几种关键技术方法:一是均衡传播算法框架,通过引入“微扰”并测量系统状态变化来精确计算梯度。二是针对线性、可逆的耗散动力学系统(如遵循阻尼牛顿力学的弹簧网络和电阻-电感-电容电路)构建了一个“有效作用量”,其极值对应系统的真实动力学轨迹,从而为应用均衡传播奠定了基础。该研究分析了在周期边界条件和静态初始条件两种物理场景下的适用性。三是使用了基于弹簧网络和RLC网络的仿真实验平台,其中弹簧网络的训练任务涉及调整阻尼系数或弹簧常数,RLC网络的训练则使用了音频MNIST数据集中“零”和“一”的语音片段进行分类任务验证。
1. 引言
传统的物理学习方法主要局限于准静态系统。将均衡推广到动力学体系具有挑战性,因为轨迹通常不使能量函数取极值。已有工作提出拉格朗日系统可以利用最小作用量原理进行训练,但耗散系统的通用学习框架尚未建立。动力学学习为系统带来新的可能性,例如实现频率相关的滤波、能量跨频率转换等功能。本研究考虑线性、可逆系统,在线性近似下证明了动力学使一个有效作用量取极值,从而使得在周期边界条件或静态初始条件下应用均衡传播成为可能。
2. 背景
均衡传播是一种利用物理定律计算目标函数梯度的方法。其有效性条件是系统状态使某个能量函数(不一定是真实物理能量)取极值。该方法通过添加一个微扰项来“推动”系统朝期望状态移动,然后通过比较微扰前后系统状态的变化来计算梯度。研究中使用了中心有限差分形式的均衡传播以提高精度。
3. 模型
研究开发了一种算法,将均衡传播应用于线性极限下工作的、可逆的动力学系统。首先关注由牛顿方程和阻尼共同描述的弹簧网络,其动力学在线性近似下可由包含质量、阻尼和刚度(Hessian)矩阵的微分方程描述。随后将模型推广,证明RLC网络(电阻-电感-电容电路)可以类似地处理,其中电压、电容、电导和电感分别类比于位移、质量、阻尼和弹簧常数。
4. 算法
4.1 耗散系统的有效作用量
为了应用均衡传播,需要一个“能量”函数,其极值对应系统的动力学轨迹。对于耗散系统,研究引入了一个有效作用量。在周期边界条件或静态初始条件下,对该作用量求变分可以得到系统的运动方程。这个有效作用量依赖于时间反演的轨迹,其被积函数在时间上是非局域的。
4.2 微扰力
定义了衡量系统实际状态与期望状态之间差距的目标函数。通过将目标函数作为微扰项引入总有效作用量,并求极值,可以得到“被微扰”的动力学方程。该方程包含与时间反演操作相关的项。为简化实现,研究中用自由(未微扰)轨迹近似替代了依赖于时间反演的解,这在微扰系数β较小时是合理的近似。学习流程包括:记录自由轨迹、计算所需微扰力、记录被微扰轨迹、使用均衡传播公式计算梯度、最后用梯度下降法更新参数。
4.3 特定系统的更新规则
给出了弹簧网络和RLC网络中计算梯度所需的具体公式。对于弹簧网络,当可调参数是阻尼系数或弹簧常数时,梯度计算涉及对节点位移及其时间导数的积分。对于RLC网络,当可调参数是电导(电阻的倒数)时,梯度计算涉及对节点电压及其时间导数的积分。
5. 仿真
5.1 周期边界条件下的弹簧网络
研究在包含50个节点的无序弹簧网络上测试算法。目标是训练网络,使得一个随机选定的目标节点能以特定振幅和相位(例如与驱动源相差π/2)运动。通过调节阻尼系数或弹簧常数进行训练,并使用均衡传播计算梯度。作为对比,也使用了反向传播(BackProp)计算精确梯度。结果表明,在小振幅(线性区域)下,均衡传播的表现与反向传播相当。随着驱动振幅增大,非线性效应增强,均衡传播的性能逐渐下降,因为它本质上是为线性系统设计的算法。误差分解显示,均衡传播能有效降低误差中的线性部分,但对非线性部分的优化效果较弱。
5.2 静态初始条件下的RLC网络
研究展示了50节点RLC网络可以通过调节电导来学习对时序信号进行分类。使用音频MNIST数据集中“零”和“一”的语音片段作为输入信号,从静止状态开始激励网络。通过比较两个目标电感上积累的信号能量来预测输入类别,使用softmax函数和交叉熵损失函数定义目标。训练后,网络在测试集上达到了89.3%的准确率。这表明简单的线性RLC网络能够有效地对声音信号进行分类。研究还指出,在周期边界条件下训练相同任务,准确率可达92.8%,与一个基于离散傅里叶变换能量的线性分类器性能(95.3%)接近,表明这类动力学系统在处理音频信号方面具有天然优势。
结论与讨论
本研究成功将均衡传播扩展至线性、可逆的耗散动力系统,适用于周期稳态或静态初始条件。关键创新在于引入了有效作用量的概念,为耗散系统的梯度学习提供了理论框架。在动力学体系中应用均衡传播带来了新挑战,例如更新规则需要对轨迹及其时间反演进行积分,增加了对计算和存储资源的需求。然而,通过专注于单频训练或开发近似更新规则,可能实现高效物理实现。静态初始条件特别适合传感器应用,因为推理过程可以从单个信号包络出发,且系统会自然弛豫回静止状态。
仿真实验验证了方法的可行性。弹簧网络训练表明,在线性范围内均衡传播能精确计算梯度,非线性效应会随振幅增大而削弱其性能,但影响是微扰式的。RLC网络的语音分类实验则证明,线性动力系统能够处理复杂的时序计算任务,其性能接近频域线性分类器。这暗示有限维阻尼谐振子系统可能天然适合处理音频信号,因为语音本身也产生于声带的振动动力学和声道结构的共振。
这项工作为动力学体系中的自学习系统打开了大门。利用动力学可以实现准静态系统无法实现的响应,如频率依赖响应、任意相位响应以及对输入时序敏感的响应。这些原理可能推动神经形态计算、嵌入式无源/有源智能传感器以及具有奇特时变响应材料的新发展。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号