金字塔循环Transformer（PRformer）：融合多尺度时序特征与自注意力机制的多元时间序列预测模型

针对Transformer模型在时间序列预测中因位置编码依赖导致的时序表征不足问题，研究人员提出金字塔循环嵌入（PRE）模块，结合一维卷积与RNN构建多尺度时序特征，并与Transformer编码器整合为PRformer模型。该模型在8个真实数据集上实现SOTA性能，计算复杂度仅O(nd2)，显著提升长周期预测能力。

　　

时间序列预测在气象、交通、金融等领域具有重要应用价值。传统Transformer模型虽在NLP和CV领域表现优异，但其位置编码机制难以有效捕捉时序位置关系，且O(n²d)的计算复杂度限制了长窗口预测能力。近期研究甚至发现线性模型如DLinear可超越Transformer，凸显现有架构的时序表征缺陷。针对这一挑战，中国国家自然科学基金资助团队提出PRformer模型，通过金字塔循环嵌入（PRE）与Transformer的协同创新，突破时序预测瓶颈，成果发表于《Neural Networks》。

研究采用两大关键技术：1）金字塔结构通过一维卷积构建多尺度特征（bottom-up提取宏观周期，top-down约束微观波动）；2）在每级尺度叠加RNN（如Cho et al.提出的结构）生成时序敏感表征，最终与标准Transformer编码器集成。实验使用Weather、Traffic等8个多元数据集验证性能。

PRformer架构
模型输入为L×C历史序列，输出H×C预测值。PRE模块首创性地将Pyraformer的多尺度卷积与RNN时序建模结合：底层卷积核逐层扩大以捕捉不同周期特征，RNN层则通过O(nd²)复杂度学习尺度特异性时序模式。这种设计既保持RNN的序列敏感性，又通过金字塔结构解决其固定隐藏层尺寸的局限。

实验验证
在Traffic数据集上，PRformer的MSE较Autoformer降低23.1%，证明PRE能有效替代传统位置编码。特别值得注意的是，当输入窗口从96延长至336时，模型性能仍保持提升，而对比模型普遍出现性能骤降，这归功于PRE的线性复杂度优势。消融实验显示，移除金字塔结构会使长期预测误差增加17.8%，证实多尺度特征的必要性。

结论与意义
该研究首次证明RNN与Transformer的深度融合可突破时序预测瓶颈：1）PRE模块通过O(nd²)复杂度实现长序列高效处理；2）金字塔结构赋予模型多周期解析能力；3）在8个领域数据集上全面超越FedFormer等SOTA模型。这项工作为时序预测提供了新范式，其线性可扩展性对物联网等高频数据场景具有重要应用价值。作者Yongbo Yu等特别指出，PRformer的成功关键在于"用RNN的时序本能弥补Transformer的结构缺陷"，这一理念或可拓展至其他序列建模领域。