CHIME：条件性幻觉与集成多尺度增强技术在时间序列扩散模型中的应用

《Knowledge-Based Systems》：CHIME: Conditional hallucination and integrated multi-scale enhancement for time series diffusion model

　　陈玉轩|吴玉轩|谢海鹏
西安交通大学电气工程学院，中国陕西省西安市710049

**摘要**
去噪扩散概率模型作为一种领先的生成模型，在各种计算机视觉任务中取得了显著的成功。最近，初步探索将扩散模型应用于时间序列任务；然而，现有研究在多尺度特征对齐以及不同实体和少量样本场景下的生成能力方面遇到了挑战。本研究提出了CHIME，这是一个用于时间序列扩散模型的条件幻觉和集成多尺度增强框架。通过利用多尺度分解和集成，CHIME捕捉时间序列的分解特征，实现了生成样本与原始样本之间的领域内分布对齐。此外，我们在条件去噪过程中引入了特征幻觉（FH）模块，以实现通用时间语义知识转移。在公开可用的真实世界数据集上的实验结果表明，CHIME达到了最先进的性能，并在少量样本场景中展现了出色的泛化能力。

**引言**
时间序列是现实世界中常见的数据组织格式[1]，在经济学[2]、工程学[3]、气象学[4]、医学[5]和交通[6]等众多领域具有重要的研究和分析价值。随着数据稀缺性和隐私保护问题的日益突出，生成时间序列已成为一种潜在的解决方案。此外，时间序列预测发挥着关键作用，是解决包括经济调度和交通流量优化在内的各种下游任务的关键工具。
早期的时间序列生成方法主要基于GANs、VAEs等类似方法，而时间序列预测则主要依赖于RNN架构或基于Transformer的模型。近年来，随着去噪扩散概率模型（DDPM）[7]的巨大成功，将扩散模型应用于时间序列任务已成为一个新兴的研究趋势。Rasul等人[8]首次尝试将RNN结构整合到去噪过程中，以捕捉时间序列的独特语义意义。类似地，CSDI[9]和SSSD[10]分别引入了非自回归去噪和结构化状态空间模型，以适应时间序列上下文。然而，这些基于回归的方法难以处理长期时间序列。最近，一些工作将季节性趋势分解[11]和多尺度分解[12][13]纳入扩散模型中，实现了更细粒度的生成和更好的可解释性；然而，它们的解耦特性导致了误差累积。此外，最近的研究关注扩散过程本身，通过在前向扩散阶段明确建模数据分布[14][15]，并设计考虑不确定性的噪声调度[16]。然而，这些方法往往忽略了去噪过程中条件信息的分布变化，这可能会严重影响生成质量。
在实践中，真实世界的时间序列数据呈现出当前基准数据集未解决的挑战，尤其是在工业应用中。新实体的不断出现引入了更丰富和多样的特征变化模式。此外，众多数据稀缺的场景对时间序列模型在少量样本设置下的可迁移性提出了更高的要求。虽然扩散模型在特定上下文的特征上表现出合理的泛化能力，但在少量样本场景下适应分布变化时面临挑战。
为了解决这些限制，本研究提出了CHIME，这是一个用于时间序列扩散模型的条件幻觉和集成多尺度增强框架。如图1所示，与传统的时间序列扩散模型不同，所提出的方法不仅实现了生成样本与真实样本之间的领域内特征分布对齐，还提高了模型在各种未见时间序列领域中的泛化能力。这是通过CHIME框架内的两个关键模块实现的。首先，我们引入多尺度分解来捕捉时间序列内的不同组成部分。通过对每个尺度信息进行条件去噪处理，我们评估各种时间模式，然后将其输入多尺度集成模块，该模块采用从粗到细的融合策略。其次，为了获得条件信息的准确表示，我们在条件去噪框架中引入了特征幻觉模块。该模块旨在通过训练一组与类别无关的变换来实现通用时间语义转移，从而提高模型在少量样本设置中的整体泛化能力。

**总结**
本研究的主要贡献包括：
(1) 我们提出了CHIME框架，这是一种结合特征幻觉和多尺度积分的时间序列扩散模型，确保生成样本与原始样本之间的特征对齐，同时展现出出色的少量样本能力。
(2) 我们设计了一个多尺度分解和集成框架，以捕捉不同时间序列组件的特征，确保领域内分布对齐。此外，我们将特征幻觉模块纳入推理流程中，以细化条件信息，从而在去噪过程中提供更准确的指导。
(3) 在公开可用的时间序列数据集上的广泛实验表明，CHIME在少量样本场景中的性能优于传统的生成模型和其他基于扩散的方法。

**部分摘录**
**时间序列生成**
传统的生成模型，如生成对抗网络（GANs）、变分自编码器（VAEs）和规范流（NFs），在各种生成任务中表现出合理的性能。当应用于时间序列时，一个自然的扩展是将具有序列处理能力的模型（如循环神经网络（RNNs）纳入生成模型框架。Esteban等人[17]引入了RCGAN，它利用RNN结构来处理时间序列。

**问题陈述**
**时间序列生成**：设XOri=X1:L={x1,…,xL}∈RL×d表示可观察的时间序列，其中L表示时间步数，d表示多变量时间序列中的通道数。我们的目标是预训练一个由条件信息p(?|c)指导的基于扩散的模型，最终生成与原始时间序列XOri最相似的时间序列XGen。
**时间序列预测**：对于长期预测任务，给定时间序列XOri=X1:L={x1,…,xL}∈RL×...

**数据集和基线**
本文在8个公开可用的真实世界数据集和2个模拟数据集上进行了广泛的实验。ETTh1、Stocks、Energy、fMRI、MuJoCo和Sines数据集用于生成任务，而ETTh1、ETTm1、Weather、Traffic和Electricity数据集用于预测任务。ETTh和ETTm数据集分别记录了两年内每小时和每15分钟收集的变压器传感器数据。Stocks数据集包含了2004年至2019年谷歌的每日股票数据。

**结论**
在这项研究中，我们提出了CHIME，这是一个用于时间序列扩散模型的条件幻觉和集成多尺度增强框架。为了解决时间序列数据的独特特性，我们采用了多尺度分解和集成，在多个尺度上创建了混合表示，从而实现了生成样本与真实样本之间的领域内特征分布对齐。我们在条件去噪过程中引入了特征幻觉模块，以对齐条件信息。

**CRediT作者贡献声明**
陈玉轩：撰写——原始草稿、可视化、方法论、调查、形式分析、数据整理、概念化。
吴玉轩：撰写——原始草稿、可视化、方法论、调查、概念化。
谢海鹏：撰写——审阅与编辑、验证、监督、资源获取、调查、资金获取、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

**致谢**
本工作得到了国家自然科学基金（U24B6010）的支持。