近期值得关注的扩散模型Diffusion与时间序列结合的文章

扩散模型

扩散模型（diffusion model）是一类生成模型，运用了物理热力学扩散思想，主要用于对复杂数据分布进行建模和采样。以图片生成举例简要介绍下扩散模型运作方法。给定目标分布q(x)中的一些观测数据x，生成模型的目标是学习一个生成过程，从q(x)产生新样本。通过注入高斯噪声逐步扰动观测数据，然后应用一个可学习的转换核心进行逆过程以恢复数据。

在概念上，其实就像是米开朗基罗说的：“塑像就在石头里，我只是把不需要的部分去掉”，扩散模型做的事情是相同的。目前扩散模型已经在时间序列的预测、插值和生成任务中崭露头角，本文总结和ICLR2024五篇扩散模型和时序任务结合的文章。

Diffusion-TS

论文标题：DIFFUSION-TS: INTERPRETABLE DIFFUSION FOR GENERAL TIME SERIES GENERATION（ICLR2024）

论文提出Diffusion-TS，利用带有解耦时间表示的编码器-解码器Transformer，生成高质量的多变量时间序列样本。在这个框架中，论文采用一种分解技术，使Diffusion-TS能够捕捉到时间序列的语义含义，而Transformer则负责从带有噪声的模型输入中深入挖掘详细的序列信息。与现有的方法不同，作者训练模型在每个扩散步骤中直接重建样本，而非噪声，并结合了基于傅里叶的损失项。

作者开源了代码和模型，定性和定量实验表明Diffusion-TS在时序任务中均取得了卓越的性能表明能够生成高质量、具有强解释性的时间序列数据。

FTS-Diffusion

论文标题：GENERATIVE LEARNING FOR FINANCIAL TIME SERIES WITH IRREGULAR AND SCALE-INVARIANT PATTERNS（ICLR2024）

金融时间序列特有的不规则和尺度不变模式——即时长和幅度各异的时间动态——难以被现有方法所捕捉。为此，本文提出FTS-Diffusion生成框架，用于建模不规则和尺度不变的模式，该框架包含三个模块：尺度不变模式识别算法，用于提取时长和幅度各异的重复模式；基于扩散的生成网络，用于合成模式的片段；建模模式的时间转换过程，以便将生成的片段聚合。大量实验证明FTS-Diffusion生成的合成金融时间序列与观测数据高度相似，性能优于最先进的替代方案。

MG-TSD

论文标题：MG-TSD: MULTI -GRANULARITY TIME SERIES DIFFUSION MODELS WITH GUIDED LEARNING PROCESS（ICLR2024）

本文提出一种多粒度时间序列扩散（MG-TSD）模型，通过利用数据中的固有粒度级别作为中间扩散步骤的给定目标，以此来指导扩散模型的学习过程。这种目标构建方式受到以下观察的启发：扩散模型的前向过程，即按顺序将数据分布破坏为标准正态分布，直观上与将细粒度数据平滑为粗粒度表示的过程相吻合，两者都导致了精细分布特征的逐渐丧失。作者推导了一种新颖的多粒度引导扩散损失函数，并提出一种简洁的实现方法，以有效利用不同粒度级别的粗粒度数据。该方法不依赖于额外的外部数据，使其具有通用性并适用于各种领域。在真实数据集上进行的广泛实验表明，MG-TSD模型优于现有的时间序列预测方法。

MR-Diff

论文标题：MULTI-RESOLUTION DIFFUSION MODELS FOR TIME SERIES FORECASTING（ICLR2024）

时间序列通常会在多个尺度上展现出不同的模式，本文利用这种多分辨率时间结构，提出了多分辨率扩散模型（mr-Diff），采用季节-趋势分解方法，从时间序列中顺序提取从精细到粗糙的趋势，进行前向扩散。去噪过程则以易到难的方式进行，首先生成最粗糙的趋势，然后逐步添加更精细的细节，同时利用预测的较粗糙趋势作为条件变量。在九个真实世界时间序列数据集上的实验结果表明，mr-Diff优于现有的时间序列扩散模型，并在各种先进的时间序列预测模型中表现更好或相当。

mr-Diff的创新之处在于它充分利用了时间序列数据的多尺度特性。通过提取不同分辨率的趋势，模型能够捕捉到数据中从全局到局部的复杂结构。此外，非自回归的去噪过程使得模型能够逐步构建时间序列的预测，从粗到细地添加细节，提高了预测的准确性和稳定性。

TMDM

论文标题：TRANSFORMER-MODULATED DIFFUSION MODELS FOR PROBABILISTIC MULTIVARIATE TIME SERIES FORECASTING（ICLR2024）

本文提出了一种Transformer MODULATED扩散模型（TMDM），将条件扩散生成过程与Transformer统一到一个框架中，以实现MTS的精确分布预测。TMDM利用Transformer的强大能力从历史时间序列数据中提取关键信息。这些信息随后被用作先验知识，在扩散模型的正向和反向过程中捕捉协变量依赖关系。作者还将Transformer的预测方法集成到TMDM中，以进一步提升其整体性能。TMDM的创新之处在于它将条件扩散生成过程与Transformer相结合，充分利用了Transformer在特征提取和模式识别方面的优势，同时保留了扩散模型在不确定性建模方面的能力。这使得TMDM能够在预测多元时间序列的同时，提供关于预测结果的不确定性信息，为决策制定提供了更全面的支持。