TSLKAN: 一种用于时间序列预测的全 KAN 架构

《Neurocomputing》:TSLKAN: An all-KAN architecture for time series forecasting

【字体: 大 中 小 】 时间:2026年09月21日 来源:Neurocomputing 6.7

编辑推荐:

   摘要时间序列预测在诸多实际领域中至关重要,然而其预测精度往往因多变量数据固有的高维复杂性和复杂的时序依赖关系而受到损害。传统的预测方法,包括多层感知机(MLP),往往难以捕捉此类非线性关系。为应对这些挑战,我们提出TSLKAN,一种完全基于Kolmogorov–Arnold网

  

摘要

时间序列预测在诸多实际领域中至关重要,然而其预测精度往往因多变量数据固有的高维复杂性和复杂的时序依赖关系而受到损害。传统的预测方法,包括多层感知机(MLP),往往难以捕捉此类非线性关系。为应对这些挑战,我们提出TSLKAN,一种完全基于Kolmogorov–Arnold网络(KAN)范式构建的新型预测框架,该系统性地探讨了全KAN设计在多元预测中的可行性与归纳偏置。针对高维时间序列中变量交互的复杂性,TSLKAN并非简单地将MLP组件替换为KAN层,而是构建了一种双轴解耦架构:时序KAN模块沿时间轴运行,捕捉各变量的演化模式;而通道KAN模块沿变量轴运行,显式建模变量间的交互关系。通过为每个轴分配专用的KAN子网络,TSLKAN使可学习的基函数得以专业化——时序KAN层适应各变量的模式,而通道KAN层捕捉跨变量依赖关系——从而带来单体架构难以轻易复制的表示优势。这一设计将"变量如何随时间演化"与"变量在某一时刻如何交互"应由不同KAN子网络建模的结构先验正式化,从而避免了单体架构中固有的梯度纠缠问题。在多个基准数据集上的大量实验表明,TSLKAN取得了极具竞争力的预测精度,验证了其作为多元时间序列预测解决方案的有效性。

引言

时间序列广泛存在于生产和日常生活的各个领域,是记录历史事件的基本方式。近年来,时间序列建模方法取得了显著进展,增强了数据特征提取、未来事件预测和决策支持的能力,从而在能源[1]、天气预报[2]、金融[3]和交通[4]等领域得到广泛应用。然而,现实世界中的多元时间序列从根本上受到两个纠缠的变异来源支配:决定每个变量如何随时间演化的时序动力学,以及决定不同变量在每个时间步如何相互影响的变量交互作用。标准的建模方法,特别是多层感知机(MLP),往往将这两个轴视为一个未加区分的整体,依赖缺乏结构化先验的单体非线性映射来有效分解它们。这种混淆经常导致次优的表示,并限制了在分布偏移下的泛化能力。
近期时间序列预测研究主要由深度学习架构的进展所主导。涌现了多种多样的方法,主要基于卷积神经网络(CNN)[5]、[6]、循环神经网络(RNN)[7]、[8]、Transformer[9]、[10]和多层感知机(MLP)[11]、[12]、[13]。尽管取得了显著进展,但每一类别在处理多元时间序列中两个纠缠的变异来源——时序动力学和变量交互作用——时都表现出不同的局限性。基于RNN的模型受限于顺序计算,主要建模时间轴依赖关系,而很少为变量级结构提供显式机制。基于CNN的模型通过卷积有效提取局部时间模式,但其静态感受野几乎完全沿时间维度运作,将跨变量关系留给隐式吸收,可解释性有限。Transformer尽管具有强大的序列建模能力,但引入了自身的纠缠问题:自注意力机制通过相同的未区分标记嵌入处理时间顺序和变量身份,稀释了时间轴和特征轴的不同作用。基于MLP的架构虽然简单高效,但正是这一局限性的体现:它们将所有交互展平为单体的全连接层,但其结构先验仍不足以将变量的时间演化与其与其他变量的交互解耦。
为应对这些问题,后续工作将固有的时间结构整合到模型设计中。例如,Autoformer [14]和MICN [15]显式将序列分解为趋势和季节成分以更好地捕捉长期依赖关系。与此同时,一系列重要的工作通过赋予简化模型领域感知的结构先验来重新激活它们。TSMixer [16]纳入了显式的跨变量交互作用;TimeMixer [17]采用多尺度分解,遵循分解-预测-聚合范式;TimeXer [18]利用交叉注意力融合外部信息。这些进展共同凸显了一个核心洞见:针对时间数据基本特性的架构归纳偏置对于有效预测至关重要。
Kolmogorov–Arnold网络(KAN)[19]提供了一种直接应对这一挑战的新型架构范式。与具有固定激活函数的MLP不同,KAN在边上放置可学习的激活函数,赋予每个计算单元局部适应性和增强的可解释性。KAN框架的示意图如图1所示。C-KAN [20]和FastKAN [21]等高效变体通过自适应机制和径向基函数进一步提高了训练效率,使深度KAN架构在实践中可行。尽管取得了这些进展,现有工作大多将KAN视为常规框架中MLP组件的直接替换 [22]、[23]、[24]。系统性地探索一种从第一性原理出发为多元时间序列预测设计的纯KAN架构仍然是缺失的。
基于这些观察,我们提出TSLKAN,一种基于双轴解耦设计构建的全KAN架构。具体而言,TSLKAN将多元预测分解为两个正交子问题:时序KAN模块沿时间轴捕捉各变量的演化模式,而通道KAN模块沿特征轴显式建模变量间交互作用。这一设计将"变量如何随时间演化"和"变量在某一时刻如何交互"应由不同KAN子网络建模的结构先验正式化,从而避免了困扰单体架构的梯度纠缠问题。通过这种原则驱动的设计,TSLKAN将KAN从直接替换组件推进为时间序列的有原则建模范式。
本文的主要贡献总结如下:
  • •
    我们提出了一种用于多元时间序列预测的双轴解耦架构,通过不同的KAN子网络正式化了时序动力学和变量交互作用的分离。
  • •
    我们系统地研究了时间序列全KAN架构的归纳偏置,通过分析和实验证明了可学习的局部激活函数等特性天然适合捕捉复杂的时间和跨变量模式。
  • •
    TSLKAN在主流基准数据集上取得了极具竞争力的预测精度,验证了精心设计的全KAN框架可以作为流行架构的可行替代方案。

章节摘要

时间序列预测模型

深度学习推动了时间序列预测的显著进展,产生了多种多样的架构。然而,从处理多元序列中两个纠缠的变异来源——时序动力学和变量交互作用——的角度来看,现有模型表现出结构局限性,这激发了我们的研究工作。
基于CNN的模型如TimesNet [25]和ModernTCN [26]通过卷积操作提取局部时间模式。然而,它们的静态感受野运作

TSLKAN

TSLKAN基于双轴解耦架构构建。它将多元时间序列预测分解为两个正交子问题:(1)建模每个变量如何随时间演化,(2)建模变量在每个时间步如何交互。这两个子问题分别由时序KAN模块和通道KAN模块处理。这一设计将时序动力学和变量交互作用从根本上不同、应由不同

数据集详情

我们在8个成熟的数据集上评估不同模型的长期预测性能,包括Weather、Traffic、Electricity、Exchange和ETT数据集(ETTh1、ETTh2、ETTm1、ETTm2)。完整的数据集规格见表1。

基线

我们将TSLKAN与一系列全面的长期预测模型进行了比较,包括TimeXer [18]、TimeKAN [37]、TimeMixer [17]、iTransformer [31]、TimesNet [25]、DLinear [32]、PatchTST [30]、TiDE [38]

结论

在本工作中,我们提出TSLKAN,一种基于双轴解耦设计构建的纯Kolmogorov–Arnold网络架构,用于多元时间序列预测。TSLKAN并非简单地将MLP组件替换为KAN层,而是显式地将时序动力学和变量交互作用分离为专用的KAN子网络——一个沿时间轴运行的时序模块和一个沿变量轴运行的通道模块。这一设计将"变量如何

CRediT作者贡献声明

宫宇婷:撰写—原稿,项目管理,方法论,概念化。卢小平:撰写—审阅与编辑,资金获取。郑华:撰写—审阅与编辑。

利益冲突声明

作者声明他们没有任何已知的竞争性经济利益或个人关系可能影响本论文所报告的工作。

致谢

作者感谢匿名审稿人的有益评论。本工作得到了广东省科学计算研究创新团队(编号2021KCXTD052)、澳门特别行政区科技发展基金(编号0096/2022/A)、广东重点建设学科研究能力提升项目(编号2022ZDJS049)、韶关市科技计划项目(编号230330108034184)、广东科学技术大学自然科学项目
宫宇婷于2023年获得中国河南科技大学计算机技术专业硕士学位。目前她在广东科学技术大学担任讲师。她的研究方向包括深度学习。
宫宇婷|卢小平|郑华
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号