自适应小波混合网络（AWM）：一种基于小波引导的周期注意力机制用于维度转换的高效时间序列预测框架

《Neurocomputing》：Adaptive wavelet-mixed network (AWM): An efficient time series forecasting framework with wavelet-guided period attention for dimension transformation

　　摘要
时间序列预测在能源调度、金融风险管理以及气候建模等领域具有重要的应用价值。近年来，将一维序列按周期折叠为二维表示已成为一种重要方法，因为这种方式能够通过卷积同时捕捉周期内的连续性以及周期间的依赖关系，而这种折叠的质量取决于周期确定的准确性。自TimesNet提出这一方法以来，诸多方法都采用了基于FFT的周期检测技术，但FFT是在固定的离散频率网格上定义的，当真实周期位于网格点之间时，它只能给出量化后的近似值。若估计的周期与真实周期相差较大，同相点在各行之间就会出现严重错位，就像电影帧错位导致图像模糊一样，这会破坏该方法所依赖的结构基础。为解决这一容易被忽视却又至关重要的问题，我们提出了自适应小波混合网络（AWM），该网络通过两阶段粗到细的处理方式来确定折叠周期。首先，我们运用多分辨率小波分解将周期限制在几个能量显著的区间内，然后基于此设计了一个轻量级的周期注意力精炼器（PAR），该精炼器通过自相关准则对候选周期与序列的对齐程度进行评分，这一准则反映了周期性的等距重复特性。在得到高质量表示的基础上，我们通过两层多尺度深度可分离卷积提取多粒度特征，再利用无需额外参数的小波能量引导机制将这些多周期特征融合在一起。这两个阶段相互协作，形成了一个灵活的前端模块，可供后续的一维到二维研究重复使用。在六个基准数据集上的实验表明，AWM在大多数数据集上的性能均优于现有的先进方法，其推理效率约为TimesNet的2.5倍。

引言
时间序列预测在智能电网调度[1]、金融风险管理[2]以及气候建模[3]等领域具有重要的实际意义。随着物联网技术的快速发展，序列长度不断增加，且多周期性现象日益普遍（如图1所示），这对模型设计带来了巨大挑战。在复杂的 time 序列数据建模中，如何同时捕捉周期内的局部连续性以及周期间的长距离相关性，仍是时间序列预测领域的核心难题。为应对这一挑战并提取更丰富的潜在特征，许多研究试图将一维时间序列转换为二维表示[4]。通过根据周期长度将序列折叠为二维张量，每一列自然对应周期的同一相位，这样卷积操作就可以在不需额外注意力机制的情况下，同时捕捉周期内的局部模式以及周期间的依赖关系。TimesNet[5]是这一方法领域的开创性工作，而DRSA[6]则通过动态路由稀疏注意力机制进一步提升了训练效率。然而，这一方法存在一个容易被忽视但至关重要的问题：由于周期检测精度不足导致的特征错位。目前大多数方法都采用FFT来进行周期检测。FFT是在固定的离散频率网格上定义的，因此可得到的周期是一个离散集合，当真实周期位于两个网格点之间时，FFT只能给出量化后的近似值，而且随着频率的升高，相邻可得到周期之间的间隔会越来越大。这种上游偏差会直接影响到二维重建阶段，导致卷积步长偏离真实周期，从而使本应垂直对齐的同相特征在行间出现严重错位，进而破坏周期内特征与周期间特征之间的结构对应关系[7][8]。这样一来，卷积模块所能提取的有效结构信息就会大大降低[9]。为便于理解，可以将其类比为电影胶片，如图1(a)和(b)所示。电影胶片以固定的帧率记录连续图像，每一帧都遵循严格的时间顺序，同时携带独特的视觉信息。投影质量在很大程度上取决于每一帧在投影机光圈中的精确对齐情况。如果帧与帧之间对齐不当，在高速投影过程中，相邻帧之间会产生位移，从而导致观众看到的图像出现扭曲和偏移，严重影响视觉判断和信息传递。时间序列的二维重建过程与之十分相似；只有当分割步长尽可能接近真实周期时，才能充分发挥二维建模的结构优势，如图1(c)和(d)所示。为解决这一被忽视的问题，本文提出了自适应小波混合网络（AWM）。我们设计了一种两阶段粗到细的处理方案，结合小波筛选与周期注意力精炼来确定折叠周期。在粗略阶段，通过小波多分辨率分解将候选周期限制在几个能量显著的时间频率区间内。在精细阶段，一个轻量级的周期注意力精炼器（PAR）能够准确识别出这些区间内的最佳折叠长度，其评分依据的是反映周期性等距重复特性的自相关准则。通过更精确地确定折叠周期，该方案能够实现更高质量的维度转换，使得二维表示中的同相特征更加整齐地对齐，从而为后续的特征提取提供坚实的结构基础。在高质量二维表示的基础上，通过两层多尺度深度可分离卷积实现高效的特征提取。最后，利用小波能量分布作为零参数融合先验，实现对多周期特征的适应性聚合。这两个阶段相互配合，形成了一种灵活的维度转换方案，可作为后续一维到二维时间序列研究的通用前端模块。具体而言，我们的贡献如下：
• 我们提出了自适应小波周期分析模块（AWPA），该模块通过两阶段粗到细的处理过程来确定折叠周期。第一阶段运用多分辨率小波分解，将周期大致限制在具有明确物理意义的候选区间内。在这些区间内，我们设计了轻量级的周期注意力精炼器（PAR）进行精细定位，并通过反映周期性等距重复特性的自相关准则对其进行监督，从而使精炼过程有明确的物理依据而非仅凭经验。通过这种逐步精确的方式确定折叠周期，AWPA能够引导出高质量的维度转换，有效缓解FFT固定频率网格带来的错位问题。
• 我们设计了动态多尺度卷积模块（DMSCB）作为轻量级特征提取器，它通过并行使用的3×3、5×5和7×7深度可分离卷积，在两层结构中捕捉多粒度模式。作为下游模块，它具有较高的灵活性，可被主流视觉模型替代，而我们设计的紧凑结构在参数数量较少的情况下已能达到出色的性能。
• 我们提出了自适应小波融合模块（AWFB）用于多周期特征融合。鉴于小波能量分布具有明确的物理意义，能量越集中意味着相应周期越突出，我们利用这一特性来指导不同周期特征之间的权重分配。这种设计能够放大主导周期的影响，抑制弱信号噪声，从而在不引入额外参数的情况下提升性能。在六个基准数据集上，AWM在大多数数据集上的性能均优于现有先进方法，且推理效率提升了约2.5倍。

相关工作
大量关于时间序列建模的研究表明，学习复杂的表示形式有助于提升预测性能[10][11]。ARIMA[12]和自回归网络[13]等经典算法能够捕捉时间序列数据的非线性特征，但在处理多变量长序列时其适用性有限。基于CNN的模型[14]能够有效捕捉时间序列数据中的局部时变特征，而基于RNN的模型……

方法
时间序列预测的任务定义如下：给定一个长度为T的历史观测序列，目标是预测一个长度为S的未来目标序列。在长期预测中，准确捕捉隐藏的多周期结构及其跨尺度耦合关系至关重要[35][36][37]。为此，本文采用“全局周期感知、精确的二维重建以及局部多尺度特征提取”的建模思路，通过对数据进行挖掘……

实验设置
数据集：为了全面评估AWM的性能和泛化能力，我们在六个公开可用的基准数据集上进行了实验验证，这些数据集涵盖了能源监测[38]、气象观测以及金融交易三个应用领域。ETT系列包含四个子数据集（ETTh1、ETTh2、ETTm1、ETTm2）[39]，它们来源于电力变压器温度监测系统的运行数据。ETTh系列采用1小时的采样间隔……

结论
在本研究中，我们提出了自适应小波混合网络（AWM），这是一种更为精确的折叠周期确定方法，它能够弥补由TimesNet开创的、基于FFT的常规维度转换方法存在的周期量化偏差。AWM通过粗到细的处理方式来确定折叠周期：首先利用小波能量缩小候选周期范围，然后再通过自相关监督的注意力精炼器确定精确的周期。这一周期值随后用于指导序列的折叠过程……

致谢
作者贡献说明：宋文汉：撰写——初稿、软件、方法论、概念设计。倪宇辰：撰写——初稿、验证、形式分析、数据整理。任芳华：可视化、研究分析。左恩光：撰写——审稿与编辑、资源获取、方法论、资金申请。朱俊宇：软件、数据整理。胡炳璐：撰写——审稿与编辑、验证。李敏：撰写——审稿与编辑、监督、项目管理、概念设计。

资助
本研究得到了新疆维吾尔自治区重大科技专项（2023A03001）、新疆维吾尔自治区重点研发计划（2024B03028和2023B01032）以及新疆维吾尔自治区天池博士计划的支持。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。宋文汉目前是中国乌鲁木齐新疆大学计算机科学与技术学院的博士生，他的研究兴趣包括时间序列预测和数据挖掘，尤其关注复杂时间数据的表示学习、预测建模及模式发现。

宋文汉|倪宇辰|任芳华|左恩光|朱俊宇|胡炳璐|李敏
中国新疆乌鲁木齐新疆大学计算机科学与技术学院，邮编830046