PDT：用于多变量时间序列预测的预测域变换

《Knowledge-Based Systems》：PDT: Predictive Domain Transform for Multivariate Time Series Forecasting

　　

• 为多变量时间序列预测（MTSF）提出了一种预测优化的自适应变换方法。• 双通路PDT架构分离了主导动态与残差动态。• MCD通过轻量级注意力机制选择性地融合信息性通道。• PDT在多个基准数据集上提升了精度和效率。引言时间序列预测（TSF）在众多应用领域中发挥着关键作用，是决策制定的基础[1][2]。在现实场景中，系统通常表现为多个耦合变量的协同演化，这使得多变量时间序列预测（MTSF）比单变量情形更具挑战性[3][4]。预测目标变量需要对其他变量的影响和时间依赖性进行建模。因此，出现两大主要挑战：如何稳健地捕获长期时间相关性，以及如何有效解耦复杂的变量间依赖关系。近年来，基于Transformer的模型和基于线性模型的范式成为两大主流。Transformer最初凭借其全局交互能力主导了该领域[5][6][7][8][9]，但简单线性模型（如DLinear[10]）的出现对其主流地位提出了挑战，证明了线性映射可以以显著更低的计算开销达到相当甚至更优的精度。一种共识认为，线性模型在处理稳定趋势的序列时表现出色，而Transformer在提取复杂动态特征方面更具优势[11]。尽管基于线性模型高效，但在表示复杂非线性时间模式方面存在瓶颈，需要高级的域变换技术。为克服时域线性映射的局限性，频域变换被引入。FreTS[12]和FITS[13]等方法利用傅里叶[14]或小波变换[15]将信号映射为具有语义信息的表示，减轻线性层的表示负担[16]。然而，这些方法依赖于固定基变换（如傅里叶基或小波基），且不依赖数据特性。这种刚性限制了其对具有不同频谱特征的多样化数据集的适应性，可能导致次优的特征表示。最近的FreDF和TransDF/Time-o1进一步表明，预测目标本身也可以受益于对未来标签的变换：FreDF在频域中对齐预测值和标签以减少标签自相关性，而TransDF/Time-o1获得去相关且按显著性排序的标签分量以实现变换后的标签对齐。这些方法主要优化输出侧的学习目标。相比之下，PDTM解决了一个互补的输入侧问题：哪些历史方向对未来值最具预测性？为回答这一问题，我们提出了一种数据自适应的预测域变换方法（PDTM）。与固定变换或标签侧对齐目标不同，PDTM从过去-未来协方差统计中学习基函数，并明确地以最小化预测误差为优化目标，将输入片段投影到"预测最优"的潜空间中。我们实验证明，PDTM表现出与频域变换类似的能量集中性质[12]，但具有更大的灵活性。基于此，我们提出了PDT，一种基于可学习的PDTM和双通路架构的轻量级线性预测框架。它采用线性通路来外推主导的线性可预测分量，并采用平行的编码器通路来捕获残差复杂非线性动态，有效地提高了性能上限，同时保持了线性模型的效率。建模变量间依赖关系是另一个关键挑战[17]。现有方法通常分为通道独立（CI）或通道依赖（CD）范式[18]。尽管CI方法（如PatchTST[19]）通过独立处理通道来避免通道噪声，但它们丢弃了有价值的跨变量信息。相反，CD方法（如iTransformer[20]）能捕获全局依赖关系，但在高维多变量系统中容易对虚假相关进行过度拟合。为弥合这一差距，我们提出了一种掩码通道依赖（MCD）策略。MCD不是对所有通道一视同仁，而是利用基于距离度量的可学习掩码，选择性地融合强相关变量的信息，同时抑制无关噪声。此外，我们实现了一种轻量级线性注意力（LA）机制来高效地实现这种融合，避免了传统注意力的高计算成本[21]。本文的主要贡献总结如下：（1）我们提出了一种数据自适应的预测域变换方法（PDTM），以最小预测误差为优化目标，显著减轻了基于线性模型的表示负担。我们进一步证明了PDTM表现出与频域变换相当的能量集中性质，这有助于轻量级设计和噪声抑制。（2）基于PDTM的性质，我们提出了一种基于线性的双通路架构PDT。该架构引入了可学习的PDTM和频谱嵌入用于特征编码，并进一步采用平行的线性通路和编码器通路分别处理线性可预测特征和复杂非线性特征。（3）我们提出了一种新颖的掩码通道依赖（MCD）策略用于通道间依赖关系融合，该策略利用基于距离度量构建的可学习掩码来抑制无关通道的噪声，同时增强对相关通道间依赖关系的敏感性。此外，我们以轻量级和线性化的形式实现注意力机制，以降低计算和内存成本。（4）在多个真实数据集上的大量实验表明，所提出的PDT在评估的基准模型中达到了最先进的性能。资源剖析进一步证实了其在预测精度和计算成本之间取得了良好的权衡。章节片段MTSF模型架构时间序列预测（TSF）长期以来一直是统计学和数据科学的核心话题。经典统计方法，包括ARIMA[22]、指数平滑[23]和频谱分析[24]，长期作为主要工具使用。随着人工智能的发展，深度学习从根本上推动了时间序列预测（TSF）的进步。早期的序列建模依赖于循环神经网络（RNN）[25][26]和时间卷积网络（TCN）[27][28]问题定义在数据驱动的多变量时间序列预测中，任务通常被定义为将历史多变量观测值映射到单步或多步的未来值上。形式化地，设X_{1:S}=[x_1, x_2, …, x_S] ∈ ?^{N×S}表示完整的多变量时间序列，其中x_t ∈ ?^N表示在时间步t处N个变量的观测值。给定长度为L的历史窗口X_{t-L+1:t}=[x_{t-L+1}, x_{t-L+2}, …, x_t]，MTSF的目标是预测未来T个时间步的值，数据集与基准模型为评估PDT的性能，我们在8个广泛使用的基准数据集上进行了实验：ETT（4个子集）、Electricity（ECL）、Traffic、Exchange-Rate和Weather。这些数据集覆盖了具有不同变量维度和时间特征的多样化领域。详细的统计信息总结在表3中。• ETT：ETT数据集记录了2016年至2018年期间两个独立县电力变压器温度相关7个因素的历史数据，计算效率计算效率是模型在资源受限环境中部署的先决条件。我们使用乘累加操作（MACs）和最大内存来评估预测性能与资源消耗之间的权衡。图5展示了各模型在Weather数据集上的表现（L=96, T=192）。• 线性模型 vs. Transformer模型：尽管基于Transformer的模型（如Crossformer、PatchTST）通常能达到有竞争力的精度，但它们的计算开销显著更高结论本文提出了PDT，一种新颖的框架，旨在调和多变量时间序列预测中计算效率与表示能力之间的固有冲突。我们方法的核心是预测域变换方法（PDTM），一种数据自适应机制，将序列投影到预测最优的潜空间中。通过利用能量集中性质，PDTM实现了双通路架构，通过主导分量高效外推趋势CRediT作者贡献声明Ying Chenhao：写作 – 原稿，可视化，验证，软件，资源，项目管理，方法学，调查，形式化分析，数据整理，概念化。Lu Jiangang：写作 – 审阅与编辑，指导，项目管理，资金获取，概念化。代码可用性一个用于审查的匿名代码仓库位于 https://github.com/anonymous-review-coder/pdt。该仓库包含PDT的实现、基于清单的实验配置文件，以及用于启动所报告的实验和重现MACs和内存剖析结果的脚本。利益冲突声明作者声明不存在已知的可能影响本文所报告工作的竞争性财务利益或个人关系。致谢本研究部分受国家自然科学基金（资助号62293504、62293500）和浙江省科技计划项目（资助号2025C01091）支持。Ying Chenhao | Lu Jiangang