ReLU Hopfield神经网络不等式约束优化问题的模拟电路实现

《Frontiers in Neuroscience》：Study on analog circuit implementation of ReLU Hopfield Neural Network for inequality-constrained optimization problems

　　

尽管人工智能（AI）的高性能有望应用于各类技术领域，但其高能耗仍是实现社会可持续部署待解的问题。模拟实现的神经网络凭借高速收敛与低能耗，是有前景的替代计算器件。研究人员将电路实现的ReLU Hopfield神经网络（ReLU-HNN）应用于带不等式约束的数学问题。在确认系统动力学与搜索算法对应关系后，研究人员实现了电路，并观测到收敛的神经元电路输出与理论结果及仿真吻合良好。所提模拟电路获得的客观函数值相对最优值的相对误差在1.1%以内。

研究背景方面，当前主流冯·诺依曼架构计算机因频繁数据搬运带来巨大能耗，存内计算虽缓解该问题，但AI训练权重反复刷新仍致功耗不可持续。模拟电路依托电学定律连续演化，较数字时钟离散计算更快，虽精度受限，但与数字协同可分配负载、降低能耗。Hopfield神经网络（HNN）自1982年提出即将互连神经元动力学映射为能量优化，近期Chen等以ReLU替代Sigmoid得到ReLU-HNN，元件数减少49%且保留丰富动力学。不等式约束优化（如资源分配、产线协调）需求广泛，但ReLU-HNN在此类问题上的模拟电路实现尚属空白，故研究人员开展本研究。论文发表于《Frontiers in Neuroscience》。

关键技术方法上，研究人员采用L₂范数罚函数法将单不等式约束转化为惩罚项嵌入目标函数，使约束违反量经ReLU形式反馈为偏置电流；构建对称无自连权重保证能量函数可微；以理想二极管电路实现ReLU与反向ReLU，负权转为正电阻；用求和运放加理想二极管搭建不等式约束电路；通过基尔霍夫电流定律推导RC积分动力学方程，并在LTspice作瞬态仿真及印刷电路板实物实验，电容取47 nF与2.2 nF两档以变时间常数。

研究结果部分，2 Materials and methods中，2.1 Physical computation devices给出系统动力学等价于梯度下降（式1）；2.2 Hardware implementation明确电路方程（式2、式3）及V_i∝x_i、1/R_ij∝Q_ij、I_i∝c_i、k∝κ的映射；2.3 Inequality-constrained optimization problem设3非负变量二次型min f(x)=1/2 x^?Qx+c^?x，s.t. x₁+x₂+x₃≤0.5，x_i≥0，Q对角1/10000非对角1，c=(-1,-1/2,-1/4)^?，罚系数κ=22.09，代数解得x^*≈(0.545,0,0)。3 Results中，3.1 Simulation在LTspice瞬态2 ms得v₁=0.522 V、v₂=v₃=0、约束电路0.478 V；3.2 Experiment用PCB（47 nF）采样1250次得v₁=0.523±4.61×10^-5 V、v₂=0.001、v₃=-0.002、res1=0.488 V，换2.2 nF采样1249次得v₁=0.521±8.36×10^-5 V、res1=0.485 V，约束电路现振荡但变量收敛。4 Discussion中，4.1 Optimization performance指出实验值相对罚形式理论f=-0.523误差1.1%，x₁误差4.4%，误差源于元件5%容差与约束电路电流倒灌；4.2 Further extensions and limitations说明可变电阻或数字电位计可换题，规模瓶颈在O(n²)互连数与温漂。

结论部分翻译：探索ReLU Hopfield神经网络的应用极具价值，因其低能耗计算特性。相较于数字计算器件，含ReLU-HNN在内的模拟计算器件循电学定律以更低能耗完成计算。本文研究人员通过模拟电路实现的ReLU-HNN成功求解二次规划问题，并确认该实现网络在较高时间常数条件下亦可计算。