基于跨变量注意力与离散小波去噪的多元时间序列预测模型CAWformer研究

针对多元时间序列预测中难以同时捕捉变量间复杂关联和序列内动态模式的难题，山东大学团队提出CAWformer模型。该研究通过跨变量自回归网络（CVAN）融合频域互相关分析与自注意力机制，结合小波信号清洁器（WSC）抑制残差噪声，在8个真实数据集上显著超越现有方法，为金融、医疗等领域的时序决策提供新工具。

　　

多元时间序列预测在金融交易、疾病传播监测、电网负荷调度等场景中具有关键作用。然而，现有Transformer模型往往顾此失彼——要么像iTransformer那样只关注变量间（inter-series）关联而忽略序列内部（intra-series）波动规律，要么如TimesNet侧重局部时间模式却忽视全局依赖。更棘手的是，传统点对点注意力机制难以捕捉变量间的潜在频域关联，而残差信号中的随机噪声会像迷雾般干扰模型学习。

山东大学的研究团队在《Knowledge-Based Systems》发表的CAWformer研究给出了创新解决方案。该模型通过三个核心技术突破：1）跨变量自回归网络（CVAN）首次在频域计算变量间交叉相关性，同时采用自回归位移策略捕捉多尺度时间模式；2）小波信号清洁器（WSC）通过离散小波变换（DWT）将残差分解为不同尺度信号，像精准的滤波器般剔除噪声保留特征；3）周期位移交叉表策略将时间序列分解为季节性和趋势项分别处理。实验证明，该模型在电力负荷、汇率波动等8个真实场景的预测误差比最优基线降低12%-18%。

研究结果显示：

1. 跨变量特征提取：CVAN模块通过快速傅里叶变换（FFT）计算频域互相关，发现电力数据中电压与电流的相位差特征，较传统点积注意力提升跨变量依赖捕捉能力37%。
2. 时序动态建模：采用移动窗口切片策略配合自回归注意力，使模型在股票数据中成功识别出周期性"周五效应"，其均方误差（MSE）比PatchTST降低15.6%。
3. 噪声抑制效果：WSC模块通过Daubechies小波基函数分解医疗监测数据残差，在保留心率突变特征的同时，将高频噪声信噪比提升23dB。

这项研究的意义在于首次实现多元时间序列中"宏观关联"与"微观波动"的协同建模。其创新性频域交叉相关算法为理解变量间非线性关系提供新视角，而自适应小波去噪技术可推广至其他噪声敏感领域。作者在讨论中指出，未来工作将探索小波基函数选择对医疗时序数据的影响，并尝试将CVAN模块与图神经网络结合以建模空间相关性。该成果不仅为Transformer在时序领域的应用开辟新路径，其模块化设计更为工业级预测系统提供可扩展框架。