M3LLM：利用大型语言模型（LLMs）进行时间序列分析的时间标记建模

《Neurocomputing》：M3LLM: Temporal token modeling with LLMs for time series analysis

　　

• •
  提出了一个统一的时间标记建模框架，用于基于大语言模型（LLM）的时间序列预测和分类。
• •
  通过结合时间片段和变量及时间线索，构建了结构化的时间标记。
• •
  使用多尺度建模、双变量交互和掩码注意力机制来捕捉时间模式和跨变量依赖性。
• •
  通过基于共享时间表示的任务特定预测头来处理预测和分类任务。
• •
  在广泛的预测和分类基准测试中的实验表明，使用紧凑型LLM框架可以获得有竞争力的性能。

引言

时间序列数据在现实世界的系统中广泛存在，如金融、医疗保健、气候科学、交通和工业监测[1]。与简单的时间序列不同，现实世界的时间序列通常表现出多尺度时间模式和跨变量依赖性。这些模式可能随时间尺度而变化，细微的变化和粗略的趋势对于不同的任务都可能有用。在多变量时间序列中，变量也可能通过延迟或时变的依赖性进行交互。因此，有效的时间序列建模不仅需要拟合局部时间模式，还需要感知多尺度动态，融合变量信息，并在统一的表示中支持不同的任务目标。

现有的时间序列方法已经取得了实质性进展，但它们通常分别处理这些方面。传统的统计方法，如ARIMA和Prophet，依赖于诸如平稳性、线性或预定义的季节性等假设[2]。这些假设使得难以对现实世界时间序列中的复杂非线性和非平稳模式进行建模[3]。深度学习方法通过直接从数据中学习时间表示来克服这一限制。基于RNN的模型捕获序列依赖性[4]，而基于CNN和TCN的模型提取局部时间模式[5]。基于Transformer的方法进一步改进了长距离依赖性建模[6]，最近的变体引入了分解、频率建模或基于片段的表示来增强时间表示学习[7][8][9]。然而，许多这些方法仍然为特定任务、固定的时间分辨率或预定义的变量结构而设计。因此，时间尺度建模、变量间依赖性建模和任务制定仍然耦合松散，难以为不同的时间序列场景构建统一的表示。

最近，大型语言模型（LLM）为时间序列建模提供了新的视角。它们基于标记的序列建模范式使得可以将不同的任务（如预测和分类）表述为标记预测[10]。沿着这个方向，预训练的语言模型已被适配于一般的时间序列分析[11]。Time-LLM将时间序列重新编程为文本原型用于预测[12]，而AutoTimes以自回归的方式使用LLM进行时间序列预测[13]。最近的调查也讨论了LLM和基础模型在时间序列分析中的潜力[14]。然而，直接将LLM应用于时间序列并不简单。与自然语言不同，时间序列是连续的时间信号，没有明确的词级语义。它们还包含变量身份、时间顺序和多尺度动态，这些特征难以用普通的文本标记或简单的片段嵌入完全捕捉。现有的基于LLM的时间序列方法通常将时间序列转换成提示、片段或文本描述，但它们仍然不足以建模时间感知和变量融合所需的结构属性[15]。

受到这些观察的启发，我们提出了M³LLM，一个统一的时间标记建模框架，用于时间序列分析。M³LLM的关键思想是将原始观测值转换为结构化的时间标记，这些标记可以被LLM感知、融合和预测。具体来说，M³LLM首先构建具有动态分辨率的时间标记表示，以捕捉不同时间尺度上的模式。然后它将时间嵌入与变量感知的语言嵌入结合，从而在引入变量身份和时间顺序线索的同时保留原始时间信息。基于这些表示，M³LLM进一步通过双变量交互和掩码注意力模块捕捉成对和多变量之间的交互。最后，在共享的时间标记建模框架内处理预测和分类，其中共享的表示通过任务特定的预测头映射到连续的未来值或类别概率。

总体而言，M³LLM遵循统一的时间标记建模过程。输入序列首先被组织成保留不同分辨率模式的时间标记，然后通过变量感知的交互进行细化，最后用于预测或分类。在这个过程中，尺度信息、变量依赖性和任务目标在相同的标记表示中耦合，而不是作为孤立的设计来处理。如果任何部分被移除，表示就会变得不完整，失去时间粒度、跨变量上下文或任务特定的适应性。

本文的主要贡献总结如下：

•

我们提出了M³LLM，一个基于LLM的统一时间标记建模框架，它连接了多尺度感知、多变量融合和任务特定的预测，用于预测和分类。

•

我们设计了一种动态分辨率的标记表示和变量感知的语言嵌入策略，以在引入变量身份和时间顺序线索的同时保留时间信息。

•

我们开发了双变量交互和掩码注意力模块，在时间约束下模拟成对和多变量之间的交互，从而实现有效的多变量标记交互。

•

我们在统一的标记预测范式下制定了预测和分类方法，并在多个基准数据集上评估了M³LLM。实验结果表明，M³LLM在监督设置中取得了有竞争力的性能，并在零样本场景下展示了泛化能力。

章节片段

时间序列分析的经典和深度模型

传统的统计模型，如ARIMA [16]、SARIMA [17] 和 Prophet [18]，已被广泛用于时间序列预测。然而，它们对预定义的统计结构或时间模式的依赖可能会限制它们模拟复杂非线性动态和高维时间依赖性的能力。深度学习方法通过直接从数据中学习时间表示来克服这些限制。基于RNN的模型捕获序列依赖性[19][20]，而基于TCN的模型

M³LLM

如上所述，现实世界的时间序列通常包含多尺度动态、跨变量依赖性和不同的任务要求。M³LLM通过时间标记建模过程解决了这些挑战。它首先将多变量时间序列转换为结构化的时间标记，然后通过多尺度建模和跨变量交互进行细化，最后将共享的表示映射到预测或分类输出。这样，时间模式、变量

实验

我们在各种时间序列基准测试中评估了M³LLM，包括长期、短期和零样本预测，以及分类任务。此外，我们还进行了消融、稳定性、可扩展性和敏感性分析，以评估模型的有效性和鲁棒性。我们在表1中提供了数据集的详细描述。所有实验都是使用PyTorch [36] 在NVIDIA A100 GPU上进行的。

基线。对于预测，我们将M³LLM与19个竞争模型进行了比较

结论

我们提出了M³LLM，一个将LLM适应于时间序列预测和分类的统一时间标记建模框架。M³LLM将时间序列表示为结构化的时间标记，并结合多尺度分解、双变量交互和掩码注意力来捕捉时间模式和跨变量依赖性。预测和分类通过基于共享时间表示的任务特定预测头来处理。

CRediT作者贡献声明

Jiali Deng: 写作——原始草稿、可视化、方法论、调查、形式分析、概念化。Bolun Cai: 写作——审阅与编辑、方法论、概念化。Yuqing Chen: 写作——审阅与编辑、软件、方法论。Ye Liu: 写作——审阅与编辑、方法论。Zhanpeng Jin: 写作——审阅与编辑、监督、资源获取。

利益冲突声明

作者声明他们没有已知的競争財務利益或個人關係可能影響本文报告的工作。

致谢

本工作部分得到了中国国家重点研发计划（编号2022YFB4500603）、广东省人数字孪生重点实验室（编号2022B1212010004）、广州市基础研究计划（编号SL2023A04J00930）和深圳Holdfound基金捐赠教授职位的支持。通讯作者是Zhanpeng Jin。

Jiali Deng 2015年获得中国上海大学的学士学位，2018年获得中国广州华南工业大学的硕士学位。她目前在中国广州华南工业大学攻读博士学位。她的研究兴趣包括时间序列分析、机器学习和联邦学习。

Jiali Deng|Bolun Cai|Yuqing Chen|Ye Liu|Zhanpeng Jin