DIR-Net：一个用于高效时间序列预测的解耦隐式路由网络

《Knowledge-Based Systems》：DIR-Net: A disentangled implicit routing network for effective time series forecasting

　　

引言

时间序列预测在许多实际应用中都发挥着重要作用，包括能源管理[1]、金融交易[2]、交通规划[3]和气候监测[4]。可靠的预测有助于做出明智的决策，优化资源分配，并降低运营风险。深度学习的快速发展使得神经架构能够通过直接捕捉非线性和长期的时间依赖性显著提高预测准确性。尽管取得了这些进展，但在保持计算效率的同时实现高预测性能仍然具有挑战性，尤其是在处理实践中常见的异构时间结构时，如平滑的长期趋势与快速变化的季节性变化共存的情况。

现有的时间序列预测深度学习模型大致可以分为三类，每类都存在固有的架构局限性。循环神经网络（RNNs）[5]，包括LSTM[6]和GRU[7]，通过隐藏状态传播来表示序列依赖性。然而，它们的并行性有限，且对不同时间模式的处理方式单一，这限制了它们在长期趋势和短期季节性建模方面的能力。基于Transformer的架构[8]，如Informer[9]、Autoformer[10]和FEDformer[11]，通过复杂的自注意力机制[12]来捕捉全局上下文。然而，这些架构通常具有较高的计算成本（通常为$\mathcal{O}\left(L^2\right)$或接近二次方），并且缺乏明确的机制来分离异构时间信号。最近，包括TCN[14]、TimesNet[15]和DLinear[16]在内的卷积[13]和线性架构显示出了更高的效率。然而，基于卷积的模型在捕捉真正的全局依赖性方面仍然存在困难[17]，而基于分解的方法通常依赖于固定的融合策略，这会不加区分地结合趋势和季节性成分，从而无法适应输入特定的时间特征。总体而言，这些局限性凸显了 urgently需要一种能够在支持异构时间特征动态、上下文感知整合的同时进行专业化模式提取的预测架构。

为了解决这些问题，我们提出了Disentangled Implicit Routing Network (DIR-Net)，这是一种新颖的预测框架，旨在明确分离异构时间模式并自适应地将特征路由到专门的处理路径中。DIR-Net的核心组件是Disentangled Temporal Encoder (DTE)，它通过两个专用的并行分支处理趋势和季节性信息。第一个分支使用Disentangled Temporal Attention Module (DTAM)，该模块结合了RoPE增强的Tensor Product Attention (RoPE-TPA)和Memory-Augmented LSTM (MLSTM)，从而能够稳健地建模平滑的全局趋势动态和长期依赖性。第二个分支利用Dilated Causal Convolution (DCC)高效提取与高频季节性变化相关的多尺度局部结构。

为了进一步克服僵化和预定义的融合策略的局限性，我们引入了Adaptive Feature Gate Mechanism (AFGM)，该机制可以学习输入依赖的路由权重。这种机制使得全局趋势和局部季节性表示的灵活动态整合成为可能，为自适应特征组合提供了强大的隐式路由策略。通过显式分离和隐式自适应特征路由的协同作用，DIR-Net在保持强大的计算效率的同时，增强了了对异构时间行为的专业化处理。

本工作的主要贡献总结如下：

• 1.
  我们提出了DIR-Net，一种用于时间序列预测中有效建模异构时间模式的新颖双路径架构。
• 2.
  我们引入了Disentangled Temporal Encoder (DTE)，它由结合了RoPE-TPA和MLSTM的DTAM分支用于全局趋势建模，以及用于高效提取局部季节性特征的DCC分支组成。
• 3.
  我们将Rotary Position Embeddings (RoPE)集成到Tensor Product Attention中，从而得到了一个具有已证明的线性复杂度的位置感知注意力机制$\mathcal{O}L$。从mLSTM改进而来的所提出的MLSTM通过全注意力计算增强了短期信息的保留能力，而引入的m状态缓解了mLSTM门控中观察到的指数级增长问题。
• 4.
  我们设计了Adaptive Feature Gate Mechanism (AFGM)，以动态学习输入依赖的路由权重，为时间特征整合提供了灵活的替代方案，替代了僵化的固定融合策略。

如图1所示，与七个最先进的基线相比，DIR-Net在九个基准数据集中实现了最低的参数数量和最低的FLOPs，同时取得了最佳的平均MSE。这些结果表明，DIR-Net在提供强预测性能的同时，还具有卓越的计算效率。

本文的其余部分组织如下：第2节回顾相关工作，第3节描述所提出的框架，第4节展示实验结果，第5节通过讨论实际意义和未来研究方向来总结本研究。

小节片段

基于Transformer的方法

Transformer架构[8]通过完全可并行的自注意力机制从根本上重塑了序列建模，实现了丰富的全局依赖性学习。此后，多种变体专注于提高效率和表示能力[18]。Informer[9]采用ProbSparse注意力将复杂度降低到$\mathcal{O}Llog<mi\; is="true">L</mi>$，而Autoformer[10]引入了基于FFT的自相关机制[19]来建模周期性。

然而，一个持续的局限性是

方法论

DIR-Net经过精心设计，通过实施显式分离和自适应特征路由的集成策略来解决时间动态的固有异质性。这涉及分离时间成分，通过专用的、专业化的路径对其进行建模，并动态融合它们的表示以进行最终预测。如图2所示，所提出的架构包括四个主要的、协同工作的组件：(1)基于EMA的分解模块用于

数据集

我们在来自不同领域的九个广泛使用的基准数据集上评估了DIR-Net的性能和效率，这些数据集包括能源、气象、交通和生态系统等。这些数据集带来了各种挑战，如不同的时间分辨率、高维性和固有的非平稳性。这些数据集的特点在表1中进行了总结。ETTm1和ETTm2数据集包含在15分钟间隔测量的七个变压器负载变量

结论

本文提出了DIR-Net，这是一个轻量级但表达力强的时间序列预测框架，它以卓越的计算效率实现了最先进的准确率。DIR-Net的核心是Disentangled Temporal Encoder (DTE)，它将趋势和季节性建模分离到专门的路径中，并通过Adaptive Feature Gate Mechanism (AFGM)路由信息。这种设计使模型能够有效地捕捉异构时间模式，同时保持架构的

CRediT作者贡献声明

Jiaxue Yang：撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理。Yutong Wang：撰写——原始草稿、可视化、验证、软件、方法论、调查、数据整理。Zhongfeng Kang：撰写——审稿与编辑、可视化、监督、资源管理、项目协调、方法论、调查、资金获取、形式分析、概念化。Shaoyi Zong：撰写——原始草稿，

利益冲突声明

作者声明他们没有已知的会影响本文所述工作的财务利益或个人关系。

致谢

本工作部分得到了中国甘肃省自然科学基金（项目编号26JRRA228）和兰州大学人才科学基金（项目编号561120212）的支持。

Jiaxue Yang|Yutong Wang|Zhongfeng Kang|Shaoyi Zong|Shantian Yang|Lihui Deng|Zichen Song