可学习的有序分数递归网络：在非平稳序列中结构化地识别记忆特性

《Neural Networks》：Learnable-Order Fractional Recurrent Networks: Structured Identification of Memory in Non-Stationary Sequences

　　摘要
非平稳序列可能会表现出变化的有效记忆。我们研究了可学习阶数分数递归网络（LOFT-RNN），这是一种递归模块，其中类型I Caputo导数的阶数αt ∈ (0, 1)是根据演化状态和输入生成的。隐藏轨迹遵循0CDtα(t)h(t) = fθ(h(t), x(t))，其中α(t) = αmin + (αmax ? αmin)σ(g?(h(t), x(t)))。理论范围是有意限制的。我们给出了：(i) 在有限维分数状态实现及其解映射均匀连续依赖的条件下，一个表示类逼近命题；(ii) 对于精确权重L1公式的一个均匀一致估计，以及一个针对阶数网格的单独插值误差项；(iii) 在耗散性条件下，一个有限输入有限状态的估计，只有对于恒定阶数才使用Mittag–Leffler细化；(iv) 在凸替代损失和明确检测假设下，一个辅助的一维重置OGD跟踪器的遗憾结果。辅助跟踪器不与端到端神经门训练等同。我们还阐述了t=0时的边界假设，解释了选择Caputo导数的原因，并展示了未截断的历史卷积的成本为O(N2d)对于长度为N的轨迹。存档的集合实验涵盖了限定复制任务、制度切换ARFIMA序列、Bonn EEG段落分类和S&P 500波动性预测。由于提供的存档中缺少种子级输出、分割清单、可执行代码和一些请求的基线，因此对实证比较仅进行了描述性报告，没有做出统计显著性或最佳状态的声明。

引言
标准递归模型有一个单一的“记忆调节器”。在LSTM中，这个调节器是遗忘门谱；在结构化状态空间模型中，它是A的特征值位置；在普通的RNN中，它位于递归矩阵的最大奇异值中。调节器在训练期间设置，之后固定不变——当序列是平稳的时候这还好，当序列不是平稳的时候就不合适了。癫痫发作前的EEG记录、股票市场内的日波动序列以及振荡阶段的气候代理都有与信号本身相同时间尺度演变的记忆。一个在训练时固定其记忆范围的模型只能用 brute capacity 来掩盖这一点。
表示非局部记忆的自然数学工具是分数微积分。对于标量线性松弛方程0CDtαz = ?λz，响应是Mittag–Leffler型而不是指数型的，并且具有与t?α成比例的幂律尾部（Metzler, Klafter, 2000, Podlubny, 1999）；一般的非线性分数网络并不自动具有等于t?α的自相关性。分数和变阶递归神经动力学早于这项工作（Almatroud等人，2023年；Hioual, Ouannas, Oussaeif, Grassi, Batiha, Momani, 2022年；Huang, Park, Wu, Mo, 2020年），最近的神经分数微分方程模型也可以从隐藏特征中学习阶数（Cui等人，2025年）。因此，这里的贡献更为狭义：一种特定的递归序列构造，它将状态/输入条件下的阶数门与L1历史更新结合起来，并将结果的阶数迹线作为诊断工具暴露出来。
我们让有限阶数成为当前状态和输入的函数，并询问这种显式的记忆参数是否对非平稳序列建模有用。我们不声称学习到的阶数是一个唯一可识别的物理参数，也不声称条件理论结果自动适用于未经训练的网络。我们的贡献包括：
• 架构。我们介绍了一个递归模块（第3节），其分数阶数由一个小门产生，因此模型可以沿着轨迹改变其记忆范围，而不是为整个数据集选择一个固定的常数阶数。
• 表示类逼近。命题1只为已经知道具有有限维变阶Caputo实现的运算符给出了参数逼近结果，这些运算符具有状态/输入阶数映射和均匀连续的解映射。
• 数值分析。命题2将精确权重L1一致性与阶数网格插值和非线性求解器残差区分开来。我们撤回了不受支持的无条件全局O(Δt)声明。
• 稳定性。定理3在可强制的耗散性条件下给出了有限输入有限状态的估计。熟悉的Mittag–Leffler瞬态只在恒定阶数的推论中给出。
• 辅助阶数跟踪。定理5指定了一个凸的一维重置OGD跟踪器及其检测器。它是一个理想化的辅助算法，并不保证非凸端到端训练g?。

本文的组织结构如下。相关工作出现在第2节中。模型和离散化方案在第3节和第4节中。范围有限的分析结果在第5节中，详细信息在附录A中。第6节记录了可以从提供的存档中恢复的实验协议，第7节报告了集合结果，第8节介绍了财务案例研究。第9节总结了局限性。

相关工作
分数和变阶神经模型。分数微分方程广泛用于模拟非局部和幂律记忆（Beran, 1994年；Metzler, Klafter, 2000年；Podlubny, 1999年；West, 2014年）。学习工作包括分数物理信息神经网络（Pang等人，2019年）、具有可训练向量场的神经分数微分方程（Kang等人，2025年；Cui等人，2025年）以及分数神经动力学的稳定性分析（LOFT-RNN模型）。
我们在有限的时间范围[0, T]内工作，观测值为xn = x(tn)在tn = nΔt, n = 0, 1, ?, N。隐藏状态h(t) ∈ Rd满足，对于t ∈ (0, T)，0CDtα(t)h(t) = fθ(h(t), x(t))，h(0) = h0，其中0CDtα(·)表示类型I变阶Caputo导数（在评估时阶数是固定的），0CDtα(·)u(t) = 1Γ(1?α(t))∫0t(t?s)?α(t)u′(s)ds, t ∈ (0, T]，α(t)是门控阶数α(t) = αmin + (αmax ? αmin)σ(g?(h(t), x(t)))，0 < αmin ≤ αmax < 1。
剪辑范围[αmin, αmax]是一个小而有用的保护措施——没有它梯度

均匀网格变阶L1方案与阶数网格插值
用变阶离散化(1)需要小心。这里使用的时间网格是均匀的；下文的“网格”指的是α中的辅助插值网格，而不是分级时间网格。在步骤n+1时，实现的门使用(hn, xn+1)，因此在形成历史权重之前就可以得到阶数。

完整历史变阶L1更新。写hn ≈ h(tn)和αn = α(tn)。tn+1处的Caputo导数通过0CDtαn+1h(tn+1) ≈ 1Γ(2?αn+1)Δtαn+1∑k=0n bn,k(αn+1)(hk+1?hk)来近似，其中bn,k(α) = (n?k+1)1?α?(n?k)

理论分析
以下结果有意比原始提交中的结果更为狭义。它们将参数逼近与适定性分开，将局部求积一致性与全局求解器稳定性分开，将变阶有界性与恒定阶数衰减分开，以及将辅助凸跟踪器与非凸神经门分开。

实验设置
任务。提供的存档报告了四个任务，但它不包括数据加载代码、分割清单或种子级输出。因此，我们仅记录可以从源代码中恢复的协议，并明确指出歧义。
(T1) 限定复制。存档的描述指定了一个8符号字母表上的10符号目标、一个填充间隔、一个唯一的分隔符，以及对十个后分隔符输出的评分。一个示意性的前缀是[a3, a1, a7, …, a2, filler, delim, readoutslots] ? [a3, a1, a7, …, a2]。

合成任务
表3再现了限定复制任务的存档平均准确率。在N=2048时，报告的LOFT-RNN平均准确率为82.4%，而S4为74.1%，Frac-RNN(α*)为61.9%，LSTM为42.0%：分别相差8.3、20.5和40.4个百分点。之前的“14点”和“4-8点”陈述在计算上是错误的。由于生成器、学习曲线、匹配的调整和精确的种子分散性不同，因此LSTM的巨大差距并不被视为优越性的证据。

案例研究：S&P 500实现的波动性
存档的手稿将LOFT-RNN应用于S&P 500实现方差的提前一天预测。实现的波动性通常具有长记忆结构，这激励了与HAR-RV和分数波动性模型的比较（Baillie, Bollerslev, Mikkelsen, 1996年；Corsi, 2009年）。然而，5分钟的源序列和处理代码没有包含在提供的包中，因此下面的结果无法从每日公开价格中独立复现。

存档设置
每日实现方差
讨论和局限性
LOFT-RNN在网络控制下放置了一个明确的分数阶数。存档的集合表格在四个选定的任务上报告了有利的平均值，但幅度因度量和比较对象而异，而且底层种子级证据不可用。因此，我们撤回了之前的“好7-19%”的总结，并不做任何统计或最佳状态的声明。唯一支持的开销比率大约在表7中的单N=512配置下为1.4；确切的完整历史复杂性

资金
没有资金支持。

CRediT作者贡献声明
Grienggrai Rajchakit：撰写——原始草稿，验证，方法论，调查，概念化。
M. Mubeen Tajudeen：撰写——原始草稿，资源，方法论，调查，数据管理。
K Asmiya Banu：验证，形式分析，概念化。
Chee Peng Lim：撰写——审阅与编辑，可视化，监督。
Nasser-Eddine Tatar：资源，形式分析，数据管理。
Tingwen Huang：撰写——审阅与编辑，验证，监督。

利益冲突声明
作者声明他们没有已知的可能影响本文报告工作的竞争性财务利益或个人关系。

致谢
作者没有收到这项工作的特定资金支持。他们感谢匿名审稿人的建设性评论，这些评论改善了论文的表述。