UniVQ：向量量化在统一时间序列预测中的有效性

《Neural Networks》：UniVQ: Vector Quantization is Effective for Unified Time Series Forecasting

　　

• •
  介绍了统一矢量量化，以连接异构时间序列领域。
• •
  开发了结合有限状态量化的 UniVQ 以实现多步预测。
• •
  在多种基准测试的零样本和域内预测中达到了最先进水平。

简介

时间序列预测对于现实世界应用中的动态场景分析至关重要，包括天气建模、医疗保健、能源消耗预测和交通规划。深度学习最近的进展导致了两大类模型：任务特定预测模型和统一大型预测模型。

任务特定模型通过采用端到端架构来捕获动态场景中的时间变化，在特定领域实现了强劲的性能。典型方法包括序列分解以获得季节和趋势分量（Wang, Peng, Huang, Wang, Chen, Xiao, 2023, Wu, Xu, Wang, Long, 2021, Zeng, Chen, Zhang, Xu, 2023, Zhou, Ma, Wen, Wang, Sun, Jin, 2022b），可逆实例归一化（RevIN）以缓解分布偏移（Kim, Kim, Tae, Park, Choi, Choo, 2021, Liu, Hu, Zhang, Wu, Wang, Ma, & Long, Liu, Wu, Wang, Long, 2022b, Zhou, Niu, Sun, Jin, et al., 2023），以及纳入固有的时间序列特性，如多周期性（Wu, Hu, Liu, Zhou, Wang, & Long, Zhou, Ma, Wen, Sun, Yao, Yin, Jin, et al., 2022a）和多尺度分析（Wang et al., 2024）。然而，这些方法仅限于域内训练和测试，使其难以适应多种现实场景。

统一大模型旨在通过根据规模定律（Kaplan et al., 2020）扩展模型规模来构建通用预测范式（Das, Kong, Rajat, & Zhou, Liu, Qin, Huang, Wang, & Long, Liu, Qin, Huang, Wang, & Long, Liu, Zhang, Li, Huang, Wang, Long, 2024d）。虽然它们在某种程度上改善了推理和泛化能力，但在面对变化的数据库分布时仍然存在问题，并且在某些领域可能表现不如任务特定方法。

尽管取得了进展，但我们通过对先前工作的回顾发现，现有的时间序列预测方法面临几个持续的挑战：

挑战一：高度异构且多样的分布。时间序列数据库由具有不同变化模式和分布的变量组成（Shi, Wang, Nie, Li, Ye, Wen, & Jin, Woo, Liu, Kumar, Xiong, Savarese, & Sahoo）。它们在变量数量和时间点数上有所不同（Oreshkin, Carpov, Chapados, & Bengio, Van Ness, Shen, Wang, Jin, Maddix, & Gopalswamy），导致显著的领域差距。这种异质性使得模型难以学习在跨领域有效工作的通用表示。

我们的解决方案：我们引入了一种统一矢量量化机制，通过统一码本将时间序列数据映射到有限离散潜在空间（如图 1 所示）。通过将多样的时间序列模式压缩为离散潜在向量，UniVQ 有效地弥补了异构领域之间的差距，并减少了分布方差的负面影响。

挑战二：数据稀疏和现实世界分布覆盖不全。可用时间序列样本数量有限意味着观察到的数据只是真实现实世界分布的一个子集。这种不足阻碍了现有模型学习全面的表示，从而削弱了它们对未见模式的泛化能力。

我们的解决方案：如图 2 所示，某些领域的观察数据在特定阶段表现出相同的曲线，表明这些领域之间存在共享的内在共性。这种共性可以潜在地补充其他领域中未观察到的分布。我们采用大规模预训练将来自不同场景的数据映射到统一的离散向量数据库，使不同领域的数据能够丰富码本中的离散表示。因此，UniVQ 能够补充某些领域中缺失的现实世界信息，从而改进零样本和跨领域预测能力。

挑战三：缺乏有效量化方法来统一跨领域分布。当前方法采用数据依赖或均匀量化来离散化时间序列（Rabanser et al., 2020）。数据依赖方法根据提供的数据调整分箱中心，导致离散分布近似原始分布。这使得来自不同领域的表示保持 distinct，从而限制了统一异构数据分布的能力。均匀方法使用等间距的分箱中心，这可以统一多样的分布，但会丢失序列中存在的强时间模式（Ansari et al., 2024）。

我们的解决方案：为了平衡异构分布的统一与序列中关键模式的保留，我们受模数转换的启发，采用有限状态量化作为本工作的统一量化器。该方法通过舍入来量化表示，确保生成的离散空间完全均匀，同时准确捕获序列中的趋势变化，从而防止数据退化。

受上述见解的启发，我们引入了一个具有矢量量化的统一框架，UniVQ。与常规方法不同，UniVQ 在潜在空间中预测未来的离散表示以实现通用时间序列预测。具体来说，编码器 - 解码器架构将时间序列数据映射到离散潜在表示，而预测器在这个潜在空间中预测未来信息。通过框架内的统一预测头，我们实现了单阶段多步预测。得益于在潜在空间中平衡均匀性和关键模式保留的码本，UniVQ 在单次训练过程中实现了多领域预测，为高度异构的时间序列数据提供了统一和全面的分布。我们的主要贡献如下：

• •
  我们系统地回顾了异构时间序列分布的挑战，并设计了一种统一矢量量化机制，将来自不同领域的数据映射到共享的离散潜在空间。这种机制有效地弥补了领域间的差距，同时保留了基本的时间模式并避免了数据退化。
• •
  我们开发了UniVQ，这是一个配备了有限均匀码本和统一预测头的编码器 – 解码器框架，实现了单阶段多步预测。通过在潜在空间中预测未来的离散表示，UniVQ 支持在单次训练过程中跨多个领域的通用预测。
• •
  我们进行了广泛的多领域预训练，证明 UniVQ 提供了零样本和域内预测能力。在六个现实世界基准上的实验结果表明，UniVQ 在保持跨异构数据库鲁棒性的同时，达到了最先进性能。

章节片段

相关工作

基于对现有时间序列分析方法的全面回顾，我们将当前研究分为四类，如图 3 所示，取决于是否采用通用架构和有限状态空间。第一类代表最常见的方法，使用各种精心设计的模型来捕获时间序列数据中的时间变化。例如，基于 RNN 的模型学习随时间信息流动中的模式（Lai, Chang, Yang, Liu, 2018, Qin,

方法论

提出的 UniVQ 利用具有时间序列变换器（TST）框架的统一矢量量化来捕获和预测时间序列数据中的基本模式。我们的方法首次统一了来自不同领域的时间序列分布，同时保持其时间动态。在多个领域的数据集上进行预训练——如能源、经济、气候和交通——使 UniVQ 在零样本和域内预测任务中表现出色。

实现细节。

预训练设置。遵循时间序列基础模型的范式，UniVQ 被开发为一个大规模基础模型。为了确保广泛的泛化并捕获多样的时间动态，我们在完整的 Time-300B 数据集（Shi et al., 2024）上预训练我们的模型，该数据集与我们的评估数据集隔离，以确保没有数据泄露。这个庞大的语料库包含各种领域中数十亿的时间点，为学习统一离散潜在空间提供了丰富的基础。

结论

在本文中，我们介绍了 UniVQ，这是一个采用统一矢量量化来标准化异构数据分布以实现通用时间序列预测的框架。通过多领域数据集进行预训练，UniVQ 在现实场景中实现了卓越的零样本预测能力，超越了大型模型。此外，UniVQ 在域内学习任务中优于最先进任务特定模型。评估结果表明，UniVQ 的离散空间有效捕获了

局限性

UniVQ 解决了统一多样的时间序列分布的挑战。然而，为通用预测在更广泛的领域中实现准确的统一和表示仍然是需要进一步探索的领域。一个关键局限是，在更大规模的现实场景中，表示变化的模式变得越来越多样和复杂。在不同领域中，即使具有相同的历史表示模式，未来表示也可能存在显著差异。这

CRediT 作者贡献声明

Xiaoyuan Zhang：写作 – 初稿，软件，方法论，数据整理，概念化。Ziwen Chen：写作 – 审阅与编辑，验证，调查，形式分析。Wei Liu：监督，项目管理。Ming Zhu：监督，资源，项目管理，资金获取。

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或个人关系，这些利益或关系可能影响本报告中所述的工作。

致谢

本工作得到了中国国家自然科学基金的资助（批准号 62571205）。

Xiaoyuan Zhang|Ziwen Chen|Wei Liu|Ming Zhu