面向长时程多变量时间序列预测的自适应频带混合专家模型

《Computers and Electrical Engineering》：Adaptive frequency-band mixture of experts for long-horizon multivariate time-series forecasting

　　

摘要长时距多变量时间序列预测旨在根据历史观测数据对多个相关变量进行长时距的预测。该任务极具挑战性，因为非平稳序列可能包含趋势、周期和干扰等重叠分量，其频谱分布会在不同输入窗口之间发生变化。现有的频域模型能够揭示周期性信息，但当主导周期、干扰以及变量间关系在不同样本之间发生变化时，固定滤波器、预定义频带划分或全局共享的频带边界可能会低估预测分量的价值。我们提出了自适应频带混合专家模型（ABF-MoE），这是一种基于样本自适应频谱带构建和专家路由的频域混合专家模型。ABF-MoE 从每个输入的频谱中学习频带宽度，形成可微的软掩码，使用频带特定的残差专家对生成的复数频谱进行精炼，并通过基于能量的可学习门控机制对其进行融合。精炼后的历史数据随后被传递至频域残差预测模块，该模块迭代地移除历史回溯预测并累积未来预测。在六个标准公开长时距预测基准上的实验表明，ABF-MoE 与近期的频域、混合专家以及通用预测基线模型相比具有竞争力。这些结果支持了在非平稳和多周期的多变量预测中采用自适应频谱划分。引言长时距多变量时间序列预测旨在从多个相关变量的历史观测数据中推断未来轨迹。该任务通常在涵盖电力变压器测量、气象观测、汇率等多个多变量领域的公开基准上进行评估 [1], [2], [3]。在此任务中，模型必须表示每个变量的时间演化以及变量之间的依赖关系。缓慢变化的趋势、周期性循环、局部干扰和测量噪声可能同时存在于序列中，这使挑战进一步加剧。这些分量在不同样本中并非固定不变：主导周期可能在输入窗口之间发生偏移，噪声可能集中在不同的频率区域，且变量耦合可能随时间变化。因此，有效的预测模型需要在捕获长程时间依赖的同时，对样本特定的频谱结构保持敏感。近期的深度预测模型通过引入更强的时序和多变量归纳偏置，改进了长时距预测。Zhou 等人提出了 Informer，通过稀疏注意力降低长序列注意力的成本 [1]，而 Wu 等人引入了 Autoformer，将季节-趋势分解与自相关机制相结合，用于周期性依赖建模 [2]。Zeng 等人随后通过 DLinear 证明，基于分解的简单线性映射在长期基准上同样具有竞争力 [4]。PatchTST 和 TimesNet 通过分块建模和二维时间变化建模进一步改进了表示学习 [5], [6]。更近期地，iTransformer 和 TimeMixer 强调了以变量为中心的表示和多尺度时间混合 [7], [8]。总之，这些研究表明，预测性能在很大程度上取决于模型如何组织时间依赖、周期性、变量耦合和尺度变化。计算成本是该场景下的另一个重要约束。标准 Transformer 风格的自注意力在序列长度方面通常会产生二次时间复杂度和内存复杂度，当使用长回看窗口进行长时距预测时，这会变得非常昂贵 [1], [3]。这种担忧推动了高效注意力变体、基于分解的线性模型和频域预测设计的诞生 [4], [9], [10]。尽管取得了这些进展，长时距多变量预测仍然受到非平稳性和频谱异质性的限制。随着预测时距的增加，趋势估计、相位对齐或局部波动建模中的微小误差可能累积成巨大偏差。低频分量通常携带缓慢变化的趋势，中频分量可能编码季节或运行循环，而高频分量可能包含突发干扰或短期修正。将这些分量视为单一时域信号可能会掩盖它们不同的预测作用，并导致有用的频率信息在表示学习过程中被削弱。当来自同一数据集的样本表现出不同的主导周期、噪声水平和变量间频谱耦合时，这一问题尤为突出。因此，挑战不仅在于对长程依赖建模，还在于为每个输入样本决定应强调、精炼或抑制哪些频率区域。频域预测为解决这一挑战提供了自然途径，因为频谱表示明确揭示了振幅、相位和频率分布。FEDformer 引入了频率增强分解注意力，在降低预测复杂度的同时保留了重要的周期性分量 [9]。FreTS 证明，紧凑的频域变换能够支持有效的长时距预测 [10]。JTFT 和近期的自适应频率模型进一步将时间和频谱表示相结合，用于多尺度预测 [11], [12], [13]。然而，许多频率感知方法仍然依赖固定滤波器、预定义频带或全局共享的频谱操作。这些设计可以揭示周期性信息，但当有用频率范围在不同样本之间存在差异时，它们可能会低估预测分量的价值。相关研究还探讨了时间序列、交通流和网络流量分析中的低频趋势建模、多尺度频率表示、动态高/低频解耦和多频率重构 [14], [15], [16], [17], [18]。这些工作确立了缓慢变化的分量、周期性模式和高频波动通常发挥不同的预测作用。然而，它们的分解或重构机制通常基于固定滤波器、经验分解规则、预定义尺度、时间划分或全局共享的频谱边界。因此，它们未能充分解决每个输入窗口具有不同频谱能量分布并因此需要自身频带组织的情况。混合专家建模为处理异构模式提供了一种互补的方法。稀疏 MoE 将每个输入路由到一组专业专家子集，在不激活所有参数的情况下增加模型容量 [19], [20]。在时间序列建模中，MixMamba 使用带有动态门控的 Mamba 专家，将不同的数据段分配给不同的序列专家 [21]。频率感知的 MoE 模型更接近时间序列的结构：FreqMoE 通过频率分解和专家路由增强预测 [22]，而 MSFMoE 将多尺度频率滤波器与专家选择相结合 [23]。然而，如果路由的表示是由固定或全局定义的频率划分产生的，那么仅靠专家路由是不够的。门控可以重新加权可用的专家，但它无法恢复被分配到不合适的频带或在路由前被削弱了的预测频率。此外，傅里叶频谱是复数值，因此振幅和相位都对时间行为有贡献；忽略这种结构会削弱对相位偏移和变量间频谱相互作用的建模。为了解决这些局限性，ABF-MoE 将样本自适应的频谱带构建与频域中的专家路由相结合。其核心思想并非简单地将 MoE 层附加到频率表示上，而是使频谱带构建和专家路由共同以当前输入频谱为条件。ABF-MoE 将归一化历史映射到复频域，预测样本特定的软频谱带，使用复数残差专家对每个掩码频谱进行精炼，并通过混合能量学习门控融合专家修正。随后，频域残差预测模块逐步移除历史回溯预测并累积未来预测，从而减少了单次直接历史到未来映射的负担。这一设计的动机是，有用的频谱范围是依赖于样本的。低频主导的窗口可能需要宽泛的趋势导向建模，而中频或高频能量较强的窗口可能受益于保留周期性变化或局部干扰的专家。通过预测软频带、使用复数残差专家并结合基于能量与学习的路由，ABF-MoE 在保留可解释频率先验的同时，将频谱分解和专家融合自适应地调整到当前样本。本工作的主要贡献如下：1.我们提出了 ABF-MoE，一种样本自适应频谱带 MoE 设计，其中频带构建和专家路由共同以当前输入频谱为条件，使分解和融合能够遵循样本级频率差异，而非固定的全局规则。2.我们设计了可微软频带掩码和复数频带专家，将频谱调制与低秩通道混合相结合，使每个自适应频带能以可控的参数成本精炼振幅、相位和变量间频谱依赖。3.我们开发了一种混合能量学习路由策略，利用频带能量先验和可学习的样本特定修正来融合专家残差，在保留可解释频谱信号的同时提高了路由灵活性。4.我们构建了一个用于长时距多变量时间序列预测的端到端频域残差框架，并在标准公开基准上进行了评估。定量比较、自适应频带可视化、路由热图和消融实验证实了在该基准范围内自适应划分、复数频谱精炼、混合路由和分阶段残差预测的作用。章节片段长时距多变量预测长时距多变量预测已从统计建模演进到深度序列表示。Box–Jenkins 家族等经典模型提供了对趋势和季节性的可解释描述。然而，它们的平稳性和线性假设限制了它们在非线性和非平稳多变量系统中的应用 [3], [24]。深度预测模型通过从数据中学习历史到未来的映射来放宽这些假设。基于分解和线性的方法概览ABF-MoE 专为长时距多变量时间序列预测而设计，使频谱带构建、专家精炼和专家融合依赖于当前输入频谱。给定历史多变量序列 ??∈?^??×??×??，其中 ??、?? 和 ?? 分别表示批次大小、回看长度和变量数量，目标是预测预测时距 ?? 上的 ???∈?^??×??×??。该设计避免了将所有样本应用共享的频谱划分，而是让频谱组织跟随数据集我们在六个标准公开长时距多变量预测基准上评估了 ABF-MoE。数据集涵盖电力变压器温度序列（ETTh1、ETTh2、ETTm1 和 ETTm2）、气象测量（Weather）和汇率（Exchange）。它们在采样频率、序列长度、变量数量和频谱特征上各不相同，因此为评估非平稳性、多周期性和变量间耦合下的预测精度提供了标准测试平台结论本工作提出了用于长时距多变量时间序列预测的 ABF-MoE。该模型构建样本依赖的软频谱带，使用复数残差专家对每个频带进行精炼，并通过基于能量的路由在分阶段残差预测前结合它们的修正。因此，它根据每个输入窗口自适应地调整专家的频谱支撑，而不是施加固定的频率分解。在六个公开基准中，ABF-MoE 在 a 下实现了具有竞争力的 MSE 和 MAE 资助本工作得到了国家自然科学基金的资助，项目编号为 61863016。利益冲突声明作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能影响本论文所报告的工作。张嘉伟 | 王 Hairui | 李雅 | 朱桂夫昆明理工大学信息工程与自动化学院，昆明，650504，中国云南