timesnet+timemixer时间序列预测模型

1.timesnet

原论文源码：https://github.com/thuml/Time-Series-Library?tab=readme-ov-file

时间序列分析被广泛应用于众多领域中，如天气预报中预测气象要素的未来变化、数据质控时填补缺失值、工业生产中监控设备状态、医疗诊断时分析心跳曲线等。

不同于自然语言、视频等序列数据，时间序列中单个时刻仅保存了一些标量，其关键信息更多地被蕴含在时序变化（Temporal Variation）中。因此，建模时序变化是各类时序分析任务共同的核心问题。

本文即围绕时序变化建模展开，设计提出了时序基础模型TimesNet，在长时、短时预测、缺失值填补、异常检测、分类五大任务上实现了全面领先。

2. 设计思路

近年来，深度模型被广泛用于时序分析任务中，例如循环神经网络（RNN）、时序卷积网络（TCN）和变换器网络（Transformer）。然而，前两类方法主要关注捕捉临近时刻之间的变化，在长期依赖上建模能力不足。Transformer虽然在建模长期依赖上具有天然优势，但是由于现实世界的时序变化极其复杂，仅仅依靠离散时间点之间的注意力（Attention）难以挖掘出可靠的时序依赖。

左：多周期视角；右：二维时序变化

为此，本文从一个全新的多周期（multi-periodicity）视角分析时序变化，如上图所示，我们观察到：

现实世界的时序数据往往是多种过程叠加，如交通数据的日变化和周变化，天气数据的日变化和年变化等。这种内在的多周期属性使得时序变化极其复杂。
对于某一特定周期过程，其内部每个时间点的时序变化不仅仅与临近时刻有关，也与邻近周期高度相关，即呈现周期内（Intraperiod-）与周期间（Interperiod-）两种时序变化。其中周期内变化对应着一个周期内的短期过程，周期间变化则可以反应连续周期间的长期趋势。

注：如果数据没有明显的周期性，则时序变化被周期内变化主导，等价于周期长度无穷大的情况。

基于上述观察，多周期属性自然地启发了一个模块化（Modular）的设计思路，即一个模块捕捉由某一特定周期主导的时序变化。这种模块化的设计思路可以将复杂的时间变化分解开，从而有利于后续建模。但是，受限于时间序列的固有的一维结构，原始序列难以同时表现出周期内与周期间两种不同的时序变化。

创新性地将将一维时序数据扩展至二维空间进行分析。如上图所示，将一维时间序列基于多个周期进行折叠，可以得到多个二维张量（2D tensors），每个二维张量的列和行分别反应了周期内与周期间的时序变化，即得到了二维时序变化（Temporal 2D-variations

2.timemixer

源码：https://github.com/kwuking/TimeMixer

原论文：https://openreview.net/forum?id=7oLshfEIC2

TimeMixer模型针对时间序列预测的复杂性提出了一个多尺度混合架构，旨在利用过去可分解混合（PDM）模块提取过去的关键信息，并通过未来多预测器混合（FMM）模块进行未来序列的预测。具体来说，TimeMixer首先通过平均下采样生成多尺度观测，然后PDM采用可分解设计更好地处理季节性和趋势变化的不同属性，通过在精细到粗略和粗略到精细方向上分别混合多尺度季节性和趋势组件。FMM在预测阶段集成多个预测器，利用多尺度观测中的互补预测能力。该模型在多个长期和短期预测任务中均实现了一致的最先进性能，并在所有实验中展现出卓越的效率。

主要工作和创新点
多尺度混合视角：论文从一种新的多尺度混合视角来处理时间序列预测中的复杂时间变化，利用解耦变化和来自多尺度序列的互补预测能力。
简单但有效的预测模型：论文提出了TimeMixer模型，它在历史信息提取和未来预测阶段都能结合多尺度信息，这得益于论文量身定制的可分解和多预测器混合技术。
在广泛基准上的一致最先进性能： TimeMixer在一系列广泛的基准测试中实现了长期和短期预测任务的一致最先进性能，并在所有实验中展现出卓越的效率。
模型框架
TimeMixer模型采用了一个多尺度混合架构，旨在解决时间序列预测中的复杂时间变化问题。该模型主要采用全MLP（多层感知机）架构，由过去可分解混合 (PDM) 和未来多预测器混合 (FMM) 两大块构成，能够有效利用多尺度序列信息。

PDM负责提取过去的信息并将不同尺度上的季节性和趋势组分分别混合。

FMM通过集成多个预测器（主要是）的方式来提高未来序列的预测准确性，每个预测器都基于不同尺度上的信息进行预测。