在线学习极限学习机结合低复杂度预测性可塑性规则及现场可编程门阵列实现

《Neurocomputing》：Online learning extreme learning machine with low-complexity predictive plasticity rule and FPGA implementation

　　

本研究报道了一种简化的、受生物学启发的预测性局部学习规则，该规则消除了常规神经网络中全局反向传播以及神经形态计算中膜积分的需求。权重更新仅在预测误差出现时触发，并使用稀疏的、二进制驱动的向量加法执行。研究人员将该规则集成到极限学习机(ELM)中，替代了传统的计算密集型矩阵求逆。相较于标准ELM，所提方法在隐藏层节点数为N时，将训练复杂度从O(N3)降低至O(N)（误分类时），同时在多个不同训练与测试数据集上的平均精度相当。研究人员在强噪声与类别不平衡条件下的多个开源及自采数据集上验证了性能，并展示了现场可编程门阵列(FPGA)实现，与已有研究相比，在计算与存储需求上显著降低，吞吐量更高。该设计在低成本的边缘设备上实现高能效在线学习具有较强潜力。

研究背景与动机

现代机器学习系统在非平稳数据分布、动态环境与实时约束下依赖在线学习。以深度学习方法为代表的梯度优化与全局误差反向传播（backpropagation）虽在批量学习中有效，却因迭代更新与灾难性遗忘而不适应实时在线适配。神经形态计算以事件驱动并行硬件模拟脑神经活动，代表性局部学习规则如脉冲时间依赖可塑性（STDP）与预测性学习规则（PLR）依时序相关或预测误差赋权，但STDP/PLR需持续更新膜电位与资格迹，且面向时序脉冲序列；而极限学习机（ELM）虽以随机固定隐层、闭式最小二乘（LS）解输出权实现快速训练，却在在线场景下受伪矩阵求逆O(N³)成本制约。现有在线ELM变体仍递归更新矩阵逆或协方差，保留浮点乘法开销；生物启发规则则引入时序状态开销。两类成本从未被同时去除。为此，研究人员提出简化预测性可塑性规则驱动的ELM（SPLR-ELM），在《Neurocomputing》报道该工作，以局部胜者通吃（WTA）预测更新取代全局LS解，消除资格迹、膜积分与反向传播，仅用二进制向量加减完成权更，并在FPGA上验证其面向边缘设备的能效与吞吐优势。

主要关键技术方法

研究人员采用以下方法开展研究：构建SPLR-ELM架构，隐层以Heaviside阶跃将归一化实值输入投影为单时刻二进制脉冲，输出层以线性读out取WTA类标；以WTA间隔损失（margin loss）替代平方误差，误分类时对正确/错误输出神经元权值做±学习率的整数加减并更新至有界截断区间；以命题1给出感知机式误分次数上界证明收敛。软件端在MNIST、Fashion-MNIST及自采ST VL53L8CH SPAD阵列手势集（25×25，11类，5100训练/1100测试帧，含泊松散粒噪声）上做FP32与Q8.8定点仿真，含高斯噪声与类别倾斜变体；硬件端在Xilinx ZCU104 UltraScale+ MPSoC用Verilog实现，隐层神经元内嵌LFSR伪随机数发生器（PRNG）于运行时再生输入-隐层权，避刷BRAM，权更逻辑无乘法器，仅比较器与加减法。

研究结果

1. 2.
   理论：ELM闭式解与SPLR推导。研究人员指出标准ELM输出权由H^TH伪逆求得，在线变体仍含O(N³)初始求逆；原PLR依漏积分膜电位与资格迹e_t做ω←ω+η·e_t·x_t更新，每时序步每突触需两数据相关乘法。SPLR改为离散误驱动：隐层输出h=1[a·w_in+b≥θ]，输出y_c=w_c^Th，损失?=max(0, y_pred?y_gt+1)，误分时??/?w_c,j=±1，故Δw_c,j=?ηh_j，h_j∈{0,1}使更新退化为门控加减。命题1证得可分数据下权更次数≤R²/γ²，γ为随机特征间隔。
2. 3.
   精度评估：在MNIST/Fashion-MNIST各取5000训1000测，SPLR-FP32达~86%/~77%，FXP16近无损；加σ=0.05高斯噪与类别从100%降至50%倾斜时曲线紧跟干净版；自采Gesture集训至~99%训精、测~85%。CIFAR-10裸像素下测精60.22%（FP32），研究人员指明瓶颈在随机投影无空间结构而非更新规则。SPLR比保留资格迹的监导PLR基线精度更高，因静态帧无时序可挖、迹只增方差。WTA止更致边界间隔小，训练-测试差大于ELM/OS-ELM，权截断不补间隔，但固定阈值替每样本中位数无精度损。
3. 4.
   硬件实现：ZCU104上784-1700-10配置，224 MHz下训53.5k FPS、推90k FPS、28.87k FPS/W；LUT 205k/ DFF 158k/ DSP 1700（仅隐层MAC用）/ BRAM 10，单样本最差时钟数N_in+N_h+N_h+N_o+pipeline，误分才进WU段。与Virtex-7 STDP（317 FPS推、196.89 FPS/W）及ZC706 R-STDP ELM（22.5训）比，吞吐高约两数量级。N-MNIST累帧后测~82%，FXP16贴FP32。
   4.2 可变处理延迟：训时单样周期在无误更与最坏误更间有界浮动，最差率仍高于边缘传感速率，浅FIFO吸收突发，无背压掉帧。
4. 5.
   消融：隐层数N_h增精度单调升，Gesture在2048后收益减；学习率η在10^?3~10^?1影响微，Gesture峰值η=10^?2；截断界C≥8后贴无截断；定点≥12位（Q8.8）与FP32不可分，8位Gesture崩至低值。默认N_h=1700, η=10^?2, C=16, 16位平衡精度与资源。

讨论与结论翻译

研究人员讨论指出，SPLR-ELM面向能耗与延迟受限边缘分类，牺牲了部分表示容量换取无乘法器局部更新；其训练-测试间隙源于WTA无显式间隔与等幅误更不抑噪，权截断非间隔正则，范数衰减会引乘法故不取。该规则仅适分类，回归需连续误差δ引入乘法破坏加减-only属性。FPGA实现以全并行隐层实例化换吞吐，时分复用（TDM）可降资源。结论为：SPLR-ELM首次将ELM与简化PLR统一于高效在线框架，以O(N)误分驱动加减更新剔除矩阵求逆与时序状态双成本，在强噪与不平衡数据维持可比精度，ZCU104上较既有突触可塑性硬件提约百倍吞吐与百倍FPS/W，为低成本边缘设备在线学习提供可部署路径。