时序增强Transformer：融合线性结构与相对值指数损失的时间序列预测模型

为解决Transformer模型在时间序列预测中难以保持时序顺序的问题，研究人员提出TOEformer模型，通过集成线性网络与Transformer结构分别预测趋势和季节性分量，并设计相对值指数损失函数（LRVE）以抵消误差累积。实验表明，该模型在85%多元预测任务中性能领先，为时序建模提供了新范式。

　　

研究背景
时间序列预测在金融、气象等领域至关重要，但传统统计模型和机器学习方法难以捕捉复杂非线性特征。尽管Transformer凭借注意力机制（Attention）在时序任务中表现优异，近期研究指出其存在时序顺序（Temporal Order）保持不足的缺陷——注意力权重随输入数据动态变化，导致原始序列的时间依赖性丢失。这种缺陷可能引发预测结果偏离真实动态规律。例如，电力负荷预测中若忽略负荷变化的连续性，可能导致电网调度失误。

研究机构与方法
新疆大学团队提出时序增强Transformer（TOEformer），核心创新包括：

1. 结构设计：用滑动平均核分解序列，Transformer学习季节性分量，线性网络（Linear）固定时间步权重以保持趋势时序；
2. 损失函数：提出相对值指数损失（L_RVE），通过鼓励季节性-趋势预测误差相互抵消（如高估趋势配低估季节性）降低整体误差。
   实验使用ETTh1/2、ETTm1/2等6个电力与气象数据集，对比Informer、Autoformer等模型。

研究结果

1. 时序顺序保持：线性网络将趋势预测的MSE降低12.7%，证明其优于纯Transformer的时序保持能力；
2. 误差控制：L_RVE使85%多元预测的误差增长幅度减少约18%，尤其在Exchange_rate数据集上显著抑制误差累积；
3. 综合性能：TOEformer在长期预测（96时间步）中平均指标领先基线模型9.3%。

结论与意义
该研究首次通过线性-Transformer混合架构解决时序顺序丢失问题，L_RVE为分解预测模型提供了通用误差优化思路。成果发表于《Engineering Applications of Artificial Intelligence》，为智慧电网、气象预警等场景提供了更可靠的预测工具。未来可探索其他模态（如医疗时序数据）的适用性。