《Knowledge-Based Systems》:Beyond static frequency decomposition: Dynamic time frequency mixing for time series forecasting
编辑推荐:
简介时间序列预测已被广泛应用于能源管理 [1]、金融分析 [2]、交通系统 [3] 和天气预报 [4] 等领域。然而,经验时间序列往往具有高度的非平稳性,表现为局部模式快速变化,同时伴随长期趋势缓慢演变 [5], [6]。这种行为通常跨越多个时间尺度呈现,给假设平稳性或仅在单
简介
时间序列预测已被广泛应用于能源管理 [1]、金融分析 [2]、交通系统 [3] 和天气预报 [4] 等领域。然而,经验时间序列往往具有高度的非平稳性,表现为局部模式快速变化,同时伴随长期趋势缓慢演变 [5], [6]。这种行为通常跨越多个时间尺度呈现,给假设平稳性或仅在单一分辨率下运行的传统模型带来了挑战 [7]。因此,对多尺度时间模式的建模以及学习能够捕捉短期变化和长期依赖关系的表征,仍然是预测研究中的核心问题 [8], [9]。
针对上述挑战,深度学习已成为时间序列预测的主流方法 [10]。基于 RNN 的模型,包括 LSTM [11] 和 GRU [12],通过循环结构捕捉时间依赖关系;而 CNN [13] 则通过卷积建模局部模式。近年来,Transformer 架构 [14] 及其变体 [15], [16] 也展现了强大的性能,尤其在通过自注意力机制进行长程依赖建模方面。尽管取得了这些进展,大多数现有方法仍主要在时间域中运行。虽然频率分量本质上与周期性变化和趋势相关 [7], [17],如何在高度非平稳和多尺度场景中显式地利用谱信息和时频信息,仍然是一个开放问题。
受此开放问题的启发,近期研究已将频域分析引入时间序列预测。傅里叶变换 [18]、频谱感知注意力 [19] 和频域多层感知机 [20] 等技术显著改善了谱特征的建模能力。然而,现有方法通常依赖于静态的频率分解方案,如预定义的频率带划分,如图 1(a) 所示。这种刚性使得在变化的数据分布下难以自适应地识别最具信息量的信号分量,从而可能保留较少的预测频率或遗漏关键模式,尤其在高度非平稳的场景中。此外,如图 1(b) 所示,频率域特征和时间域特征通常通过简单的拼接或加权进行融合,这忽略了它们在捕捉周期性和趋势模式方面的互补作用,从而限制了有效的跨域交互 [21]。
为了解决这些瓶颈,超越刚性的频率建模、转向更具自适应性的机制至关重要。特别是,理想的预测架构应当能够以数据驱动的方式识别具有预测力的谱分量,从而有助于应对局部非平稳性。此外,模型不应将时间特征和谱特征视为独立的表征,而应支持两个域之间具有表达力的、潜在非线性的交互。这种跨域融合对于复杂的多变量时间序列尤为有益,在这些序列中,时间波动与谱周期性往往是紧密耦合的。
基于上述观察,我们提出了 Dynamic Time Frequency Mixing(DTFMixer),一个用于时间序列预测的动态时频混合框架。具体而言,DTFMixer 首先执行动态频率分解,自适应地强调具有预测力的谱分量,并推导出信息丰富的季节性和趋势表征。随后,该模型引入了一种频谱引导的门控融合模块,以建模时间特征和谱特征之间的高阶交互,实现对跨域依赖关系更具表达力的建模。为了捕捉不同分辨率下的时间动态,DTFMixer 还采用了一个高效的多尺度融合模块,在不同尺度间整合互补信息。最后,我们设计了一种分层预测聚合策略,在统一框架内融合不同尺度的预测结果,平衡短期波动与长期趋势。在 12 个真实数据集上的大量实验验证了 DTFMixer 在多样化基准任务中的有效性。本文的主要贡献总结如下:
- •
新颖视角。我们提出了一种动态时频融合视角,突破了固定频带划分的限制,实现了自适应的谱选择,从而改进了高度非平稳时间序列中多尺度变化的建模能力。
- •
创新架构。我们提出了 DTFMixer,一个高效的预测框架,将时间表征和谱表征进行耦合。该框架通过动态频率分解、频谱引导的门控融合、高效多尺度融合以及分层预测聚合来实现上述目标。
- •
广泛评估。在 12 个真实数据集上的大量实验表明,DTFMixer 在保持计算效率和内存效率显著优势的同时,实现了卓越的预测性能。
章节摘要
频域分析方法
早期的频域方法主要依赖傅里叶变换 [22] 和小波变换 [23] 来提取固定或多分辨率的谱分量,并广泛应用于信号处理和经济预测。然而,此类方法通常假设时间平稳性,可能难以应对时变谱结构。近年来,深度学习使得更具自适应性的频域特征提取成为可能。例如,FreqLLM [24] 集成了频域
方法论
给定一个历史多变量时间序列 ,其中 表示变量数量, 表示输入长度,时间序列预测的目标是学习一个函数 ,使得 ,其中 表示未来 个时间步的预测序列。
数据集。
对于长期预测,我们在七个真实世界数据集上进行了大量实验,包括四个 ETT 数据集(ETTh1、ETTh2、ETTm1、ETTm2)、电力、汇率和天气数据集 [34]。对于短期预测,我们使用了 PEMS 数据集(PEMS03、PEMS04、PEMS07、PEMS08)和 M4 [35]。我们遵循先前工作中使用的标准训练/验证/测试划分 [1], [36]。详细的数据集统计信息汇总在表 1 中。
基线方法。
我们选取了十二个代表性的时间序列预测模型作为
结论
本文提出了 DTFMixer,一种结合了自适应时间与谱特征融合和多尺度信息整合的时间序列预测模型。通过动态提取信息丰富的频率分量并增强时间域和频率域表征之间的交互,DTFMixer 能够同时捕捉非平稳序列中的长期趋势和局部变化。在十二个真实世界基准数据集上的实验表明,DTFMixer 取得了具有竞争力的
CRediT 作者贡献声明
薛林靖:撰写——初稿、方法论、调查研究、概念构思。黄智权:撰写——审阅与编辑、软件、方法论、调查研究。王家哲:撰写——审阅与编辑、验证、数据管理。昌佳仪:可视化、验证、数据管理。李小铮:可视化、验证。郑瑞娟:撰写——审阅与编辑、监督、资源获取、项目管理、资金获取。
生成式 AI 披露
在撰写本文手稿的过程中,作者仅使用人工智能工具进行语言润色和语法校正。研究概念、方法论以及所有视觉元素(包括图表、图像和作品)的开发均未借助生成式 AI 或任何 AI 相关技术。作者对本作品的学术内容和学术诚信承担全部责任。
利益冲突声明
作者声明,他们没有已知的竞争性经济利益或个人关系,这些可能被认为会影响本文所报告的工作。
致谢
本工作部分得到了河南省高校基础研究专项资金重点研究项目的支持(资助号:25ZX009)。
薛林靖|黄智权|王家哲|昌佳仪|李小铮|郑瑞娟