基于注意力启发的门控机制与稀疏专家混合模型：GateTS在单变量时间序列预测中的高效实现

《Neurocomputing》：GateTS: Versatile and efficient forecasting via attention-inspired routed mixture-of-experts

　　

时间序列预测在金融、能源、医疗和物流等多个领域具有关键作用。基于历史数据对未来数值的准确预测能够支持明智的决策与战略规划。ARIMA和指数平滑等传统预测模型在捕捉时间序列数据中固有的复杂模式和依赖关系方面往往存在困难，尤其是在处理长期预测或数据可用性有限的情况下。深度学习的进展引入了Transformer和注意力机制等模型，这些模型在处理序列数据方面展现出潜力，擅长捕捉长距离依赖关系，并已被应用于时间序列预测任务。然而，此类模型通常需要大量数据，且主要面向多变量时间序列设计，这限制了其在单变量数据集或数据稀缺场景下的有效性。 专家混合（Mixture-of-Experts, MoE）架构最初为大规模语言模型开发，为应对上述挑战提供了一种有吸引力的方案。MoE架构包含两个主要组成部分：专家（experts），即经过训练以处理输入空间不同方面的专门子模型；以及门控（或路由）机制，负责为每个输入选择最相关的专家。门控网络的决策决定了计算路径和专家的专业化程度。通过组合多个专门模型（专家）并针对给定输入动态选择最相关的模型，MoE架构能够捕捉多样化的模式，并在不显著增加计算复杂度的前提下提升模型容量。这通过包含额外辅助损失（auxiliary loss）的专门训练流程实现，该损失有助于促进信息在专家间的均衡分布。然而，这种方法可能引入权衡，潜在地降低预测精度。 基于上述见解，研究人员提出了一种模型架构：具有注意力启发门控机制的MoE时间序列预测模型。该模型将专家混合的条件容量优势与专为时序数据设计的路由器相结合。经典的单层门控虽然简洁，但倾向于仅激活一小部分专家，除非借助辅助负载均衡损失进行引导；若无此类正则化，大多数专家将处于休眠状态，使网络无法实现其全部容量，并损失预测精度。相比之下，所提出的注意力启发门控通过相同的端到端预测损失学习在专家间分布信息，根据输入序列动态重新加权各专家的贡献。这种自适应路由使模型能够捕捉多样化的时间模式和尺度，尤其适用于单变量序列以及数据稀缺、传统方法难以处理的场景。 本文中，研究人员开发了一种名为GateTS的新型时间序列预测模型。GateTS的新颖之处在于一种新的门控机制，该机制使得MoE架构能够用于时间序列预测。GateTS证明了当配备所提出的专门门控机制时，时间序列预测可以通过专家混合架构有效实现，该机制改进了经典MoE。主要改进源于通过更有效地利用专家来增强标准MoE路由。传统MoE门控无法将时间模式恰当地路由至相应专家，而所提出的机制实现了专家在不同预测机制间的专业化，使得模型能够在短期和长期预测中均保持最先进的性能，且无需在推理期间承担完全激活专家网络的计算负担。 总体而言，主要科学贡献包括：引入了一种注意力启发的门控机制，替代稀疏MoE中的标准单层softmax路由器，能够在无需任何辅助负载均衡损失的情况下实现稳定训练，同时保持均衡的专家利用率；提出了GateTS，一种专为单变量时间序列预测设计的稀疏MoE架构，同时处理短期和长期预测（包括间歇性信号），并以显著更少的参数和低于PatchTST和LSTM基线的推理成本实现领先的预测精度。

面向高效时间序列预测的GateTS模型：基于注意力启发路由的稀疏专家混合架构解读

一、研究背景与问题提出

时间序列预测在金融、能源、医疗和物流等多个领域具有核心地位。传统预测模型如ARIMA和指数平滑在处理复杂模式和长程依赖时存在明显局限，尤其在长期预测或数据稀缺场景下表现不佳。深度学习模型如Transformer及其注意力机制在捕捉长距离依赖方面展现出潜力，但这类模型通常需要大量数据，且主要面向多变量时间序列设计，在单变量数据集或数据匮乏场景下效果受限。

专家混合（Mixture-of-Experts, MoE）架构最初为大规模语言模型开发，通过组合多个专门子模型（专家）并动态选择最相关的专家，能够在不大幅增加计算复杂度的前提下提升模型容量。然而，经典MoE门控机制存在一个关键问题：单层softmax路由器倾向于只激活一小部分专家，导致大多数专家处于休眠状态，网络无法实现全部容量。为解决这一问题，传统方法引入辅助负载均衡损失（auxiliary load-balancing loss），但这可能引入权衡并降低预测精度。

此外，现有Transformer类模型主要针对长周期多变量预测任务优化，单步超前单变量预测场景相对未被充分探索。复杂的架构组件在预测视界缩短至单点、输入为单一序列时可能过度参数化，导致过拟合。因此，开发一种高效且通用的架构，能够同时准确捕捉短期和长期时间依赖关系，成为本研究的核心目标。

二、研究内容与核心结论

研究人员提出了一种名为GateTS的稀疏MoE时间序列预测模型，其核心创新在于一种注意力启发的门控机制。该机制将专家选择重新定义为输入派生键（keys）与可学习专家查询（queries）之间的Kronecker积，使路由器能够精确地将容量分配到所需位置，从而消除了对辅助负载均衡损失和繁琐温度调度的需求。模型在推理时仅激活一小部分专家子集，却能达到或超越规模大得多的基线模型的精度。实验表明，GateTS使用的活跃参数比PatchTST少三倍，却在风电、Saugeen河流量和太阳黑子数据集上取得了最佳的整体误差分数。相对于经典单层MoE门控，所提出的门控机制在所有指标上平均取得了更低的值。这些增益仅通过单一的端到端均方误差（Mean Squared Error, MSE）目标实现，表明无需额外的正则化项或复杂的超参数调优即可涌现出复杂的路由行为。

研究结果表明，依赖传统softmax门控机制的标准MoE模型对于时间序列预测而言是次优的，因为路由器倾向于在推理期间激活过多专家，损害预测精度和计算效率。条件计算与精心设计的门控相结合，能够弥合轻量级循环模型与重型谱域Transformer之间的性能差距，为数据受限的预测问题提供了实用且可扩展的解决方案。

三、关键技术方法

研究人员采用了以下主要技术方法构建GateTS模型：

1. 1.
   稀疏MoE架构：模型接受输入序列，经线性投影和可学习位置嵌入后，通过一个浅层解码器预块（Prepare Block）进行多头自注意力、dropout和层归一化处理。路由器为每个时间步生成专家logits，通过Top-k操作保留最大的k个logits，形成精确k稀疏的路由分布。每个活跃专家包含自注意力子层、层归一化、dropout和前馈模块，输出通过门控概率加权求和，最终由线性头映射至目标预测维度。
2. 2.
   注意力启发门控机制：将每个token表示通过线性投影生成键（keys），与可学习的专家查询矩阵（expert queries）进行Kronecker外积，捕捉查询和键之间的二阶交互特征，再投影至专家空间并缩放，最后通过softmax归一化得到专家路由概率。
3. 3.
   端到端训练策略：整个网络仅使用单一MSE损失进行端到端训练，不使用任何辅助熵或负载均衡损失。
4. 4.
   数据集：研究使用了四个公开数据集——太阳黑子数据集（1818-2020年，73924个数据点）、Saugeen河流量数据集（1915-1979年，23741个观测值）、风电功率序列（AEMO公开数据门户，从4秒聚合至10分钟）和太阳能功率数据集（AEMO来源，从4秒聚合至10分钟）。

四、研究结果

长期预测结果：在64步上下文窗口预测后续48步的设置下，使用MAE、RMSE、SMAPE和MASE四项指标评估。GateTS在所有评估的预测器中取得了最佳的整体精度。在Wind和Saugeen数据集上，相对于最强基线（PatchTST和LSTM），MAE分别降低约4%和8-9%。与经典门控MoE变体的优势尤为明显：MOEclassic的MASE超过1（比朴素预测更差），而GateTS保持远低于该阈值。在Sunspot数据集上，GateTS与PatchTST并列最优，但活跃参数仅为PatchTST的三分之一左右。

短期预测结果：在上下文24个时间单位、预测视界4个时间单位的设置下，Wind序列上经典LSTM取得最低误差，但在MoE家族中GateTS仍明显优于其他变体，MAE和RMSE比次优的MOEhmm低约5%。在Saugeen数据集上，GateTS取得最强绝对性能，比另外两种MoE变体提升12-15%，比PatchTST提升约2%。在Sunspot序列上，所有五种架构性能接近，差异小于1%，置信区间重叠。

间歇性预测结果：针对太阳能功率数据集中频繁零值和偶发非零观测的间歇性特征，使用MAE、RMSE和MASE指标（SMAPE因大量零值而不适用）。GateTS在MAE上比经典门控MoE提升15%，在MASE上提升13%。图3显示每个专家对已专门化处理时间序列的特定部分。

路由多样性分析：通过分析不同MoE变体的路由多样性发现，经典路由倾向于崩溃到少量专家对，在较难场景下容量利用不足。辅助负载均衡可以强制多样性，但诱导的路由机制与预测质量不一致。GateTS表现出任务自适应的多样性，根据视界和数据集复杂度调整路由多样性，既避免崩溃（过少专家对）也避免过度分散（接近全部专家对），这种路由复杂度与任务机制的对齐解释了GateTS无需辅助负载均衡损失即可取得强精度的原因。

消融分析：将Kronecker交互替换为点积门控在所有数据集和设置中持续降低性能，表明二阶交互项是有效路由的重要贡献者。辅助损失在本研究中未产生一致增益，在部分情况下甚至降低GateTS性能，表明GateTS已学习到足够均衡和输入自适应的路由，无需额外正则化。

五、讨论与结论

讨论部分指出，GateTS在短期、长期和间歇性预测设置中均取得竞争性或更优的预测精度，同时使用比PatchTST和其他Transformer基线少得多的参数。专家多样性可作为MoE路由最有益场景的代理指标——即数据表现出需要条件计算的时间异质性时。研究局限包括仅聚焦单变量预测，多变量场景的扩展留待未来工作；在Wind短期预测中LSTM表现更优，表明在信号足够平滑时专家路由的收益递减。

未来方向包括：将GateTS扩展至多变量时间序列预测；将Kronecker路由器验证于语言模型领域以简化MoE训练流程；研究自适应稀疏性（根据输入复杂度变化活跃专家数量）以进一步降低推理成本。

研究结论表明，依赖传统softmax门控机制的标准MoE模型对于时间序列预测是次优的，因为路由器倾向于在推理期间激活过多专家，损害预测精度和计算效率。条件计算与精心设计的门控相结合，能够弥合轻量级循环模型与重型谱域Transformer之间的性能差距，为数据受限的预测问题提供了实用且可扩展的解决方案。