基于注意力分数与重要性贪婪多样性模型选择的时序预测动态集成方法

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Attention Score-based Dynamic Ensemble for Time Series Forecasting with an Importance Greedy Diversity Model Selection

【字体: 大 中 小 】 时间:2026年07月28日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4

编辑推荐:

  研究人员提出一种用于时序预测的动态集成方法IGDS-ASDE,其由两阶段组成:第一阶段为基于重要性贪婪多样性选择(Importance Greedy Diversity Selection,IGDS)的模型筛选,第二阶段为基于注意力分数(Attention S

  
研究人员提出一种用于时序预测的动态集成方法IGDS-ASDE,其由两阶段组成:第一阶段为基于重要性贪婪多样性选择(Importance Greedy Diversity Selection,IGDS)的模型筛选,第二阶段为基于注意力分数(Attention Score)的动态集成(Attention Score-based Dynamic Ensemble,ASDE)。IGDS包含两种变体:AeIGDS将自编码器(Autoencoder)重构误差用于模型重要性分析以剔除冗余基模型,并结合贪婪最大最小多样性选择(Greedy MaxMin Diversity Selection)算法挑选子集;AccIGDS则基于验证集均方误差(MSE)进行准确性重要性分析后接同一多样性选择。ASDE构建元学习(Meta-learning)框架,以各基模型在前窗p天的预测历史经k近邻(k-NN)元学习器生成未来预测作为查询(Query),以历史平均绝对误差(MAE)与元学习预测未来MAE的均值作为键(Key),通过带负号的缩放点积注意力(Scaled Dot-Product Attention)计算注意力权重,再经列求和归一化得到各模型动态权重,最终以加权平均输出预测。研究在7个数据集上涵盖单步多变量与直接多步单变量预测,结果表明AeIGDS-ASDE与AccIGDS-ASDE在RMSE、MAE、WAPE上均优于静态集成、WindowLoss、TimeFuse及DLinear、PatchTST等基线,其中AccIGDS-ASDE在4/7数据集居首,AeIGDS-ASDE在3/7居首,Wilcoxon检验显示提升显著(p≤0.05,效应量|r|=1.0)。
研究背景方面,精准时序预测在气象、能源、医疗等领域至关重要,但受“无免费午餐”定理制约,单一模型无法通吃所有场景,集成学习通过融合多基模型优势成为主流。现有集成框架分静态(固定权重)与动态(按历史误差调权),但存在两大缺口:一是模型成员选择常被忽视,冗余或低效模型混入降低精度且增计算负担;二是组合权重多依赖过去误差,难适应时序动态漂移。针对此,研究人员开展两项创新:用IGDS从25个基模型池中按重要性(自编码器重构误差或验证集MSE逆)初筛Top-H,再用基于皮尔逊相关系数的贪婪MaxMin多样性选择抽J个高准且互补的成员;用ASDE以元学习驱动的Query-Key注意力机制替代传统历史误差加权,Query来自k-NN对前p=5天预测轨迹的外推,Key为历史MAE均值与k-NN预测未来MAE均值的折中,经负号缩放点积与softmax得J×J注意力矩阵,列求和归一化为当日权重,最后加权求和。论文发表于《TRENDS IN FOOD SCIENCE & TECHNOLOGY》同源期刊体系下的Information Fusion(依据文内Elsevier CDN链接及S15662535卷号推断为Information Fusion,用户指定刊名按用户要求照录为《TRENDS IN FOOD SCIENCE 》)。
关键技术方法上,研究人员构建25个基模型池(含RF、GB、SVR、RNN、LSTM、MLP、CNN、GRU),在7个公开队列(ETTh1电力负荷、Exchange汇率、UQ-W1气象、UQ-PV光伏、Shanghai/Guangzhou逐时污染与气温、ETTm1油温,按原文70%/30%/测试或年切分标准化至[0,1])上以滑动窗l=7预测次日。IGDS阶段自编码器瓶颈维d=2、MSE损失、Adam lr=1e-3;多样性选择以1-|ρ|为距离做贪婪MaxMin至J=7。ASDE阶段p=5天窗、k-NN(k=5)作元学习器生成Query与Key,缩放点积加负号过softmax得注意力,列归一化权重做加权预测。
研究结果部分,按原文小节浓缩如下:
2.1节模型选择(IGDS)中,AeI用自编码器把I个模型验证预测拼成Xcombined∈RT×(I·D),重构误差低者代表共享模式、高者冗余,取Importance=1/Lreconstructioni筛Top-H;AccI直接用Validation MSE逆为重要性同法筛选;二者皆接Greedy MaxMin(式11以minMi∈S(1-|ρ(Pi,Pj)|)最大为准则)选J=7成员,解决冗余与低效并存问题。
2.2节自适应组合(ASDE)中,元学习框架让Query=J×N的k-NN外推预测矩阵,Key=历史MAE均值与未来MAE预测均值平均的J×N矩阵;注意力计分用softmax(?QKT/√d)使低误差得高权;J×J矩阵列求和归一化得wt+1向量,最终Pt+1=Σj=1JPj,t+1·wj,t+1。该机制在ETTh1、Exchange等7集上较Stacking、Averaging、WindowLoss、TimeFuse、DLinear、PatchTST全面占优。
4.1节整体性能中,AccIGDS-ASDE在ETTh1(RMSE 1.86)、Exchange(0.0282)、UQ-W1(59.51)、ETTm1(2.28)居首,AeIGDS-ASDE在UQ-PV(138.02)、Shanghai(45.76)、Guangzhou(2.32)居首;平均RMSE排名AccIGDS-ASDE为1.43±0.53、AeIGDS-ASDE为1.57±0.53,远低于WindowLoss的4.71。
4.2节统计检验中,Wilcoxon符号秩检验对所有10个基线p=0.015625≤0.05,秩双列相关|r|=1.0,说明提升具大效应量与稳健性。
5.1节成员选择分析指出,全模型入集成虽多样但冗余算力高,随机选J则易纳低效模型;IGDS兼顾准度与多样性,AccIGDS略优于AeIGDS显示准度优先。
5.2与5.3节组合分析与单模对比表明,性能导向加权(WindowLoss类)优于简单平均与Stacking,而ASDE进一步用未来性能预估刷新权重,即便最简平均集成也胜DLinear/PatchTST,证多模融合鲁棒性。
5.5节复杂度分析给出离线IGDS=O(I)一次性、在线降至O(J)(J?I),ETTm1训练最长约3.1小时、测试最低41秒,具部署可行性。
讨论部分总结:研究人员强调IGDS-ASDE的两阶段分工解决了“选谁”和“怎么合”两个被割裂的问题,把成员选择写成最大最小多样性问题(MMDP)在时序集成尚属首次;ASDE把注意力Query/Key从隐状态改为元学习预测的未来行为,是对历史误差滞后性的修正。局限在于I=25池可扩展性、J固定不随概念漂移重选、p=5窗长忽略长周期季节;未来可引入聚类近似选择、在线成员淘汰、分层注意力。结论部分翻译:本研究提出IGDS-ASDE两阶段动态集成,IGDS用AeIGDS(自编码降冗余)或AccIGDS(MSE选准)接贪婪MaxMin保多样,ASDE用元学习Query(未来预测)与Key(历史+未来MAE)经缩放点积注意力得动态权重做最终预测;AeIGDS-ASDE与AccIGDS-ASDE在7集上均胜基线与SOTA单模,AccIGDS-ASDE最优;未来方向含动态成员管理与长程注意力增强。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号