减少数据冗余以提升基于Transformer的长期时间序列预测系统的性能

《ACM Transactions on Intelligent Systems and Technology》：Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System

CLMFormer通过课程学习和记忆驱动解码器缓解Transformer模型在长序列预测中的数据冗余问题，引入伯努利噪声增强数据多样性，提升季节趋势建模能力，实验显示精度提升30%。

　　

摘要

长期时间序列预测（LTSF）在各种实际应用中至关重要，基于Transformer的模型因其能够捕捉长距离依赖关系而成为主流框架。然而，在滚动预测环境中，由于数据冗余，这些模型经常出现过拟合问题，尤其是在相邻数据高度相似的较长序列中，其泛化能力受到限制。在这项工作中，我们提出了CLMFormer这一新型框架，该框架通过课程学习（curriculum learning）和基于记忆的解码器（memory-driven decoder）来减轻数据冗余。具体而言，我们在训练样本中逐步引入伯努利噪声（Bernoulli noise），有效打破了相邻数据点之间的高度相似性。这种基于课程的噪声引入为基于记忆的解码器提供了更多多样化和具有代表性的训练数据，增强了解码器对时间序列数据中的季节性趋势和依赖关系的建模能力。为了进一步提高预测精度，我们引入了基于记忆的解码器，该组件使模型能够捕捉时间序列数据中的季节性趋势和依赖关系，并利用时间关系来促进预测过程。在六个实际LTSF基准测试上的广泛实验表明，CLMFormer将基于Transformer的模型的预测性能提升了多达30%，证明了其在长预测期限内的有效性。