面向智能基础设施的传感器时间序列预测:多粒度嵌入与结合时序线性回归旁路的混合编码器–解码器架构

《Sensors》:Multi-Granular Embedding and Hybrid Encoder–Decoder Architecture with Temporal Linear Regression Bypass for Sensor-Based Time Series Forecasting in Smart Infrastructure

【字体: 大 中 小 】 时间:2026年09月21日 来源:Sensors 4.0

编辑推荐:

  本研究提出了一种鲁棒的深度编码器–解码器神经网络,该网络集成多种深度序列模型,用于基于传感器的应用中的时间序列预测。所提出的方法具有一个精细的输入嵌入层,该层整合了标量特征、位置编码和多粒度时间嵌入。为提高计算效率,研究人员采用了一种受Informer架构启发

  
本研究提出了一种鲁棒的深度编码器–解码器神经网络,该网络集成多种深度序列模型,用于基于传感器的应用中的时间序列预测。所提出的方法具有一个精细的输入嵌入层,该层整合了标量特征、位置编码和多粒度时间嵌入。为提高计算效率,研究人员采用了一种受Informer架构启发的生成式解码器,使其能够在单次迭代中完成全长度序列预测,从而避免了传统自回归模型带来的延迟。该架构具有高度灵活性,支持使用门控循环单元(Gated Recurrent Unit, GRU)或Transformer块作为基础层来处理潜在的时间依赖关系。鉴于纯非线性深度学习模型由于固有的输入尺度不敏感性而常常难以捕捉尖锐的短期局部变化,研究人员为模型增补了一个并行的时序线性回归单元。该旁路机制能够捕捉线性局部趋势,有效地将非线性深度特征提取的预测能力与线性回归的敏感性相结合。在电力消耗(Electricity Consumption, EC)和加州速度指数(Speed Index California, SIC)数据集上的实验评估表明,在不同输出长度下,基于GRU的实现相较于性能最佳的基线模型,平均均方误差(Mean Squared Error, MSE)分别降低了约22%和16%。消融研究进一步证实,时序线性回归旁路显著提高了预测精度,尤其在EC数据集上,其平均MSE降低了约55%。
智能基础设施中的周期时间序列预测面临多重挑战:序列往往由多个不同周期性的模式交织叠加而成,传统统计模型受线性假设限制难以捕捉复杂非线性特征,而纯非线性深度学习模型对输入尺度变化不敏感,在短期剧烈波动处易出现过平滑和趋势漂移。为此,研究人员提出了一种混合编码器–解码器框架,通过多粒度时间嵌入提供绝对相位锚点,并引入并行时序线性回归旁路实现趋势–残差解耦,以兼顾非线性特征提取能力与局部线性趋势敏感性。研究人员在电力消耗(EC)和加州速度指数(SIC)两个真实世界数据集上开展实验,验证了该框架在不同输出长度和不同时间偏移下的预测性能。结果表明,基于门控循环单元(GRU)的模型在平均均方误差(MSE)上相比最优基线分别降低约22%(EC)和16%(SIC),且在输出长度和偏移增加时仍保持优势。消融实验显示,时间嵌入在SIC数据集上带来约13%的平均MSE改进,而时序线性回归旁路在EC数据集上贡献了约55%的平均MSE降低。该框架还以较低的计算开销显著优于多种最新方法,表明其能够为智能电网和智能交通系统提供更可靠的长期周期预测。

研究人员在开展研究时主要采用了以下关键技术方法。首先,构建了包含标量嵌入、位置编码和多粒度时间嵌入的输入表示模块,其中标量嵌入通过一维卷积提取局部模式,时间嵌入将月、日、小时、分钟四种粒度作为类别信息映射为向量。其次,采用生成式解码器架构,可在单次迭代中生成完整预测序列,编码器和解码器可选择GRU或Transformer块作为基本计算单元。第三,设计了并行的时序线性回归(TLR)旁路,每个变量独立建立过去观测到未来值的线性映射,参数规模随特征维度线性增长。实验使用EC数据集(321户家庭2012–2014年每小时用电数据)和SIC数据集(加州10个区2015–2022年高速公路平均速度指数),按8:1:1时间顺序划分训练、验证和测试集,并以均方误差、平均绝对误差(MAE)和皮尔逊相关系数(Corr)作为评估指标。

固定输出长度与偏移的实验:在输入长度168、偏移0的条件下,将输出长度从24逐步延长至168。结果表明,在EC数据集上,Ours-GRU在所有输出长度下平均MSE为0.1582,比最优基线LSTNet(0.2034)低约22%;Ours-SA平均MSE为0.1694,低约16%。在SIC数据集上,Ours-GRU平均MSE为0.1162,比LSTNet(0.1394)低约16%;Ours-SA为0.1278,低约8%。在偏移实验中,固定输入和输出长度均为168,将偏移从24延长至168。EC数据集上Ours-GRU平均MSE为0.2172,优于LSTNet约17%;SIC数据集上Ours-GRU为0.1274,优于LSTNet约20%。总体上,GRU版本优于自注意力版本,因为GRU的连续状态传递保留了局部时间动量,而自注意力在连续时间序列上易出现注意力分散。

消融实验:针对Ours-GRU分别移除时间嵌入(w/o TE)、移除时序线性回归(w/o LR)、同时移除两者(w/o LR & TE),并在五个随机种子下重复实验。在EC数据集上,时间嵌入带来约6%的平均MSE改进,时序线性回归带来约55%的平均MSE改进;在SIC数据集上,时间嵌入带来约13%的平均MSE改进,时序线性回归带来约16%的平均MSE改进。可视化分析显示,去除TE和LR后,EC预测明显低估峰谷,SIC预测显著高估下行尖峰;加入TE和LR后,局部极值拟合明显改善。

与最新方法的比较:以EC数据集为标准基准,在输出长度168下与Informer、Autoformer、Pyraformer、FEDformer、NLinear、Scaleformer、PatchTST、TimesNet、Crossformer、MSFformer、FCP-Former等方法比较。Ours-GRU取得了最低的MSE,较Informer和Pyraformer等经典Transformer变体误差降低超过40%–60%,并优于TimesNet、PatchTST、FCP-Former等最新模型。分析表明,基于补丁的方法存在边界不连续问题,频域方法难以捕捉非线性尖峰,而GRU的连续状态转移可保留轨迹连续性、抑制极端残差峰值。

讨论与结论:时间嵌入提供了绝对相位坐标,有效防止长周期预测中的相位漂移,尤其对依赖时钟调度的SIC数据集作用显著;时序线性回归旁路负责捕捉全局基线转换并提升局部幅值响应,减轻了GRU模块的非线性漂移负担。研究结论表明,所提出的混合框架通过保留周期结构、解耦趋势与残差、融合多粒度时间信息,在长期周期时间序列预测中达到了先进水平。未来工作可考虑将节假日等特殊事件编码融入时间嵌入、探索更多注意力骨干网络、进一步优化线性回归模块的参数效率。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号