TC-MoE：面向时间序列预测的时序一致混合专家模型

《Big Data Research》：TC-MoE: Temporal-Coherent Mixture-of-Experts for Time Series Forecasting

　　

•架构创新：我们提出了因果窗口专家亲和度，通过评估状态轨迹而非瞬时观测来进行路由决策，在保证对真实模式变化敏感性的同时，实现了可证明的路由方差降低。•理论基础：我们通过双时间尺度分析为一致性正则化偏差动力学建立了严格的收敛性保证，证明系统收敛于时间平滑性与均衡利用之间的帕累托最优权衡。•层次化建模：我们提出预测分解方法，将长时域预测分解为条件精化序列，实现渐进式不确定性降低和多尺度专家专业化。•综合验证：我们在多样化基准测试上进行了广泛的实证评估，包含详细的消融实验、专家专业化分析和超参数敏感性实验，并对所提机制进行了严格的理论分析。

## 引言

时间序列预测是能源管理 [1]、金融市场 [2]、医疗监测 [3] 和气候预测 [4] 等各领域的基础性任务。尽管已有数十年的研究积累，但由于时间序列数据的非平稳性、复杂依赖关系和异质性模式，构建稳健的预测模型仍然具有挑战性。

深度学习领域的最新进展推动了显著的研究突破。基于Transformer的架构 [5] 展现了捕捉长程依赖的能力 [6], [7], [8]，而基础模型 [9], [10], [11] 利用大规模预训练实现零样本泛化。混合专家模型（MoE）架构 [12], [13] 作为一种有前景的方法应运而生，通过动态路由到专业化子网络来高效扩展模型容量。近期工作已将MoE应用于时间序列预测 [14]，在标准基准上取得了具有竞争力的结果。

然而，标准MoE架构在应用于时序数据时存在根本性的不匹配。传统路由机制隐含地将每个时间步独立对待，基于独立同分布假设——这与时间序列固有的时序依赖性直接矛盾。如图1所示，这种不匹配表现为三个关键缺陷：(1) 分布漂移下的路由不稳定性：逐点路由无法区分瞬态噪声和真实的模式变化，导致专家激活不稳定，阻碍了稳定的专业化。(2) 时间无感知的负载均衡：基于批次统计量的离散偏差更新在路由分布中产生不连续性，无法跟踪平滑的时序演化 [15]。(3) 独立的多步长建模：将不同预测步长视为不相关的任务忽略了层次结构，而长期预测本应利用短期预测 [16]。

为克服这些局限，我们提出了TC-MoE（时序一致性混合专家），引入了三项协同创新。第一，因果窗口专家亲和度通过因果卷积引入历史上下文，评估状态轨迹而非瞬时观测。这种轨迹感知的路由实现了与窗口大小成正比的方差降低（命题4.3.2），在噪声下稳定专家激活的同时保持对真实模式变化的敏感性。第二，一致性正则化偏差动力学用连续的双时间尺度梯度流替代离散的负载均衡更新，自适应地平衡时间平滑性与负载分布，实现对演化数据分布的平滑跟踪。第三，层次化预测分解将长时域预测分解为条件精化链，每个阶段利用前一阶段的预测来逐步降低不确定性。这些创新的详细数学公式见第4节。

在六个基准数据集上的实验结果表明TC-MoE达到了最先进的预测性能。在零样本设置下，TC-MoE相比Time-MoE基础模型实现了4.2%的平均MSE降低；在全样本训练下，相比DLinear等有监督基线模型提升了22%。因果窗口路由机制的专家激活模式方差比逐点路由低3.2倍，仅增加8%的计算开销。消融实验证实，时序一致性机制的协同集成相比原生MoE架构贡献了8.5%的性能提升。此外，我们的分析揭示了跨数据集、频带和预测步长的涌现专家专业化模式，表明时序一致性路由无需显式监督即可有效发现结构性规律。

本文的主要贡献有四方面：(1) 架构创新：我们提出因果窗口专家亲和度，评估状态轨迹而非瞬时观测，在保证对真实模式变化敏感性的同时实现路由决策的方差降低。(2) 理论基础：我们通过双时间尺度分析为一致性正则化偏差动力学建立了严格的收敛性保证，证明系统收敛于时间平滑性与均衡利用之间的帕累托最优权衡。(3) 层次化建模：我们提出预测分解方法，将长时域预测分解为条件精化序列，实现渐进式不确定性降低和多尺度专家专业化。(4) 综合验证：我们在多样化基准测试上进行了广泛的实证评估，包含详细的消融实验、专家专业化分析和超参数敏感性实验，并对所提机制进行了严格的理论分析。

本文其余部分组织如下。第2节综述基础模型、混合专家架构和高级时序建模技术的相关工作。第3节形式化时间序列预测问题并介绍标准混合专家架构。第4节详细阐述TC-MoE框架的架构设计和理论分析。第5节报告实验结果、消融实验以及对路由行为和专家专业化的深入分析。第6节总结全文，讨论局限性及未来研究方向。

## 相关工作（节选）

本节综述了三条共同启发TC-MoE的研究路线：时间序列基础模型、混合专家架构和高级时序建模技术。

## 问题定义（节选）

考虑一个单变量时间序列 $\mathbf{x} = \{x_1, x_2, \ldots, x_T\}$，其中 $x_t \in \mathbb{R}$ 表示时间步 $t$ 的观测值。预测任务的目标是在给定历史观测 $\mathbf{x}_{1:T}$ 的情况下，预测未来预测步长 $H$ 内的未来值 $\hat{\mathbf{x}}_{T+1:T+H} = \{\hat{x}_{T+1}, \ldots, \hat{x}_{T+H}\}$。模型学习一个由参数 $\theta$ 参数化的映射函数 $f_\theta: \mathbb{R}^T \rightarrow \mathbb{R}^H$，以最小化预期预测误差：

$$\mathbb{E}_{(\mathbf{x}_{1:T}, \mathbf{x}_{T+1:T+H}) \sim \mathcal{D}}[\mathcal{L}(f_\theta(\mathbf{x}_{1:T}), \mathbf{x}_{T+1:T+H})]$$

其中 $\mathcal{D}$ 表示数据分布，$\mathcal{L}$ 是适当的损失函数。对于多变量时间...

## 方法论（节选）

本节介绍时序一致性混合专家（TC-MoE）框架，这是一种针对时间序列预测的原理化方法，旨在解决传统MoE架构中瞬时路由机制与时序数据演化之间的根本性不匹配问题。该框架集成了三个协同组件：用于轨迹感知路由的因果窗口专家亲和度、用于稳定负载均衡的一致性正则化偏差动力学，以及层次化预测分解。

## 实验（节选）

本节对TC-MoE在标准时间序列预测基准上进行全面的实证评估。我们将TC-MoE与最先进的基线模型进行对比，包括近期基础模型和专用预测架构，以展示时序一致性路由机制的有效性。消融实验验证了每个架构组件的贡献，详细分析揭示了路由行为和专家专业化模式。

## 结论（节选）

本文提出了TC-MoE，一种时序一致性混合专家框架，解决了传统MoE架构应用于时间序列预测时的根本性局限。通过认识到瞬时路由机制与时序数据演化之间的不匹配，TC-MoE集成了三项协同创新：用于轨迹感知路由的因果窗口专家亲和度、用于稳定负载均衡的一致性正则化偏差动力学，以及层次化预测...

## 未引用参考文献

[44], [45], [46], [47], [48], [49], [50], [51], [52], [53], [54], [55], [56], [57], [58], [59], [60], [61], [62], [63], [64], [65], [66], [67], [68], [69], [70], [71], [72], [73], [74], [75], [76], [77], [78], [79]

## 声明

**作者贡献**：Jia Tang负责数据管理、形式化分析、方法论、验证、撰写初稿及撰写审阅与编辑。Wei Chen负责概念构思、数据整理、撰写审阅与编辑。Ning Wang负责数据整理和撰写审阅与编辑。Yaohuan Luo负责数据整理和撰写审阅与编辑。Cen Xiao负责撰写审阅。

**利益冲突**：作者声明不存在利益冲突。

**CRediT作者贡献声明**：Jia Tang：撰写审阅与编辑、撰写初稿、可视化、验证、方法论、数据整理、概念构思。Wei Chen：撰写审阅与编辑、数据整理、概念构思。Ning Wang：撰写审阅与编辑、数据整理。Yaohuan Luo：撰写审阅与编辑、数据整理。Cen Xiao：撰写审阅与编辑。

**利益冲突声明**：我们希望提交标题为"TC-MoE: 用于时间序列预测的时序一致性混合专家模型"的稿件，期望在"Big Data Research"期刊上发表。本稿件不存在利益冲突，所有作者均批准该稿件发表。我们谨代表所有合作者声明，本文所描述的工作为原创研究，此前未曾发表，也未被提交至其他期刊。

**Jia Tang | Wei Chen | Ning Wang | Yaohuan Luo | Cen Xiao**