面向稠密循环神经网络的认证低秩实时循环学习（SK-RTRL）

《Neurocomputing》：Certified low-rank real-time recurrent learning for dense recurrent neural networks

　　

为解决稠密循环网络中实时循环学习代价高昂且现有近似缺乏误差控制的问题，研究人员提出了一种确定性低秩实时循环学习（Sketched low-rank Real-Time Recurrent Learning, SK-RTRL）方法。该方法采用确定性低秩草图恢复SnAp-1所丢弃的离对角（off-diagonal）信用；一个标量递推以不增加渐近代价的方式在线界定梯度偏差；单一秩旋钮可实现从SnAp-1到精确实时循环学习（Real-Time Recurrent Learning, RTRL）的连续插值；截断过程记录已丢弃质量，因此秩可在线调整而不破坏该上界；实验显示梯度保真度增益一致，任务级增益则因任务而异，甚至可能出现损失。

**研究背景与问题**：在数据持续到达的流式场景中，学习规则必须在每个时间步仅依据当前预测误差更新权重，既不能存储历史，也不能执行跨时间的反向传播。离线循环网络训练常用的随时间反向传播（backpropagation through time, BPTT）需要缓存全部激活历史并将更新推迟到序列或截断窗口结束，以内存换取长期信用。实时循环学习（Real-Time Recurrent Learning, RTRL）是原则上的替代方案，它前向递推影响力矩阵，使每个时间步都能获得精确梯度，但稠密n单元网络的代价为O(n⁴)时间与O(n³)内存，极大限制了规模。现有三类近似——随机无偏估计（UORO、KF-RTRL）、确定性稀疏规则（SnAp、e-prop、RFLO）和精确构造方法（LRU、RTU）——分别存在方差大、丢弃离对角信用且无误差度量、以及限制递归结构等问题。因此，缺少一种可调、确定性且误差受控的中间方案，这正是本研究的出发点。

**研究内容与结论**：研究人员提出了SK-RTRL，它维护精确的SnAp-1块对角迹，并对其丢弃的离对角残差进行确定性秩-r流式低秩草图近似。每个时间步通过传播右因子、追加新的离对角项、执行正交化SVD截断，并将丢弃质量记录到标量递推中，从而得到任意时间步的梯度偏差上界（定理1）。该证书是首个针对RTRL近似的梯度偏差保证。方法同样扩展到GRU和LSTM门控单元。实验表明，SK-RTRL在梯度保真度上一致超越所有近似基线，但任务级误差提升并不一致，且证书在未裁剪时往往信息性不足。

**关键技术方法**：研究使用的主要方法包括：基于SVD的确定性低秩截断压缩离对角影响力残差；通过谱范数递归（引理1）推导逐时梯度偏差界（定理1）；将截断丢弃质量作为在线秩调整的依据；以及针对门控单元推导精确因子化附加项（命题1）。实验采用9个监督任务（4个诊断任务、3个混沌系统、2个真实序列）和10个评估种子，每对任务/估计器独立调学习率，并与UORO、KF-RTRL、SnAp-1、RFLO、截断BPTT等比较；另外还包括在线强化学习T-maze案例研究和GRU/LSTM验证。真实数据来自SILSO太阳黑子数和Santa Fe激光记录。

**研究结果**：
- **梯度保真度与秩旋钮**：在全部9个任务上，SK-RTRL的梯度余弦在所有配对比较中优于近似基线（Cliff's delta=1），并随秩增加单调改善，秩达到Q时精确复现RTRL。
- **结构而非秩驱动增益**：将SVD截断替换为相同秩的随机投影后，梯度余弦增益消失，说明确定性捕捉主导残差子空间是关键。
- **残差是否低秩**：在9个任务、4种宽度、6个训练阶段上测量，低秩性质任务相关：rotation、θ、Lorenz强低秩，copy、adding、Sunspot非低秩。
- **证书**：fp32实现中定理1在数百万步内零违反，但未裁剪时方向可证部分为零；谱裁剪后信息性恢复，但代价因任务而异。
- **证书安全自适应秩**：控制器可在线调整秩且不破坏上界，但在rotation上过供应约8倍，收缩分支很少触发。
- **在线混沌与真实时间序列预测**：预测误差与调好参数的截断BPTT相比无一致优势（2胜2负5无差别），但梯度保真度优势始终存在。
- **扩展：内存与成本**：在宽度512时，峰值内存为0.4GB对4.2GB（约10倍下降），但每步墙钟时间仍慢于精确RTRL。
- **在线强化学习案例研究**：前向梯度保真度可迁移到控制任务，但专用对角架构RTU在所有走廊上最强。
- **门控单元**：在GRU/LSTM上恢复了同单元梯度，但证书信息性差，低秩前提转移不均匀。

**讨论与结论**：讨论指出，RTRL近似可视为基于模型的信用分配，证书衡量了抽象误差；草图仅在离对角残差重要且可压缩时有用；梯度保真度与任务误差的脱节可由Adam的逐坐标缩放、任务中短期依赖占主导以及NMSE度量预测器本身来解释。稳定性上，信息性而非有效性是主要约束，谱裁剪提供了实际解决方案。结论部分可翻译为：SK-RTRL以单一秩旋钮实现了从SnAp-1到精确RTRL的连续插值，并首次为RTRL近似提供了确定性任意时间梯度偏差证书；在压缩域内，该证书紧密跟随理论预测的几何因子；它逐时成立并在所有有限fp32步骤上被验证，但仅在由累积速率决定的复位锚定视界内信息丰富，谱裁剪以任务依赖的精度代价扩展该视界。因此，该方法将稠密循环网络的在线梯度估计从无控近似转变为误差在线报告的受控权衡。