TimeXer - 重新审视时序预测内的外生变量

如有侵权或其他问题欢迎留言联系更正或删除。出处NIPS 2024代码链接 thuml/TimeXer: Official implementation for TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables (NeurIPS 2024)1. 背景① 使用 “外生变量” 预测是普遍且不可或缺的预测范式因为时序数据内的变化往往受到外部因素影响仅根据历史数据预测未来本质上不可能。② “外生变量” 被引入 predictor 用于提供信息不参与具体预测。2. 核心问题① 将 “外生变量” 及 “内生变量” 同等对待不仅会导致显著的时间及记忆复杂性还会涉及内生序列与外部信息间不必要的相互作用。“冗余”② 其次外部因素可能对内生序列产生因果影响因此模型有望对不同变量间的系统时滞进行推理。③ 此外作为一种在实际场景中广泛应用的实用预测范式模型必须处理不规则和异质的外生序列包括值缺失、时间错位、频率失配和长度差异。3. 文章贡献① 利用内生 patch 级 token 捕捉时序内依赖性② 为处理任意不规则的外生变量TimeXer 采用外生变量的变量级表示以无缝整合外部因素对内生变量的影响③ 受视觉 Transformer 的启发我们为每个内生序列引入可学习的全局 token用于反映序列的宏观信息该全局 token 同时与补丁级内生 token 和变量级外生 token 进行交互。4. 模型结构5. Method① Endogenous Embedding内部建模Patching 操作Patches 位置嵌入内生token 和外生 token 的粒度不同直接组合会导致信息无法对应。为此给每个内生变量加了一个能学习的全局标记用它作为宏观代表跟外生变量互动。这样就能把外生序列里的因果信息顺畅地传递至内生的时间块里② Exogenous Embedding外部建模不同变量间的相互作用可通过 “变量级” 表示更自然地捕获“变量级” 表示适用于任意不规则性如缺失值、未对齐的时间戳、不同的频率、不一致的回溯长度。相比“Patch 级” 表示对外生变量过于细粒度不仅引入了显著的计算复杂性还引入了不必要的噪声信息。训练线性投影器获取外生向量的 “变量级” 嵌入表示③ 内生、外生注意力机制④ 前馈传播⑤ 具体预测及损失函数6. 实验结果短时预测实验结果多元预测实验结果PS归纳一下第一它重新审视了不应对 “变量间”协变量 及 “内生特征间” 使用一样的建模方式第二它使用了一个全局 token沟通内部及外部不错的工作