FCA-Transformer:一种由交叉注意力机制驱动的特征金字塔时间序列预测模型
《Electronics》:FCA-Transformer: A Feature Pyramid Time Series Forecasting Model Driven by Cross-Attention Mechanism
【字体:
大
中
小
】
时间:2026年09月11日
来源:Electronics 2.9
摘要
多变量时间序列预测需要同时对层次化的时间动态和复杂的变量间依赖关系进行建模,这一双重要求通常会降低预测性能,并在标准的Transformer架构中产生较高的计算成本。与现有的忽略关键变量间协同作用的模型不同,也与受到二次计算噪声影响的密集注意力框架不同,我们的方法能够提取出结构上较为稀疏的依赖关系。为了解决这些具体问题,本研究引入了FCA-Transformer。该框架结合了特征金字塔网络(FPN),通过分层下采样来分离宏观趋势和高频的局部波动。同时,基于Transformer的结构化交叉注意力(TCA)机制采用了带有权重的维度分割(DSW)和两阶段注意力(TSA)层来映射变量间的拓扑交互,有效地提取出稳健的变量间关联路径并减轻分布噪声。通过对三个真实世界的多变量基准测试数据集(ETTh1、电力市场和汇率数据)进行广泛的历史验证,结果表明,与主流基线模型相比,FCA-Transformer在均方误差(MSE)上平均降低了4.39%,在平均绝对误差(MAE)上降低了5.11%。这些发现表明,所提出的架构成功地将多尺度特征提取与轻量级的依赖关系建模相结合,增强了模型的泛化能力,并为复杂工业环境中的实时时间分析提供了一个可扩展的框架。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号