FredNormer: 非平稳时间序列预测的频域正则化方法

时间序列预测是一个具有挑战性的任务,尤其是在处理非平稳数据时。现有的基于正则化的方法虽然在解决分布偏移问题上取得了一定成功但仍存在局限性。这些方法主要在时间域进行操作,可能无法充分捕捉在频域中更明显的动态模式,从而导致次优的结果。

FredNormer论文的研究目的主要包括:

  1. 理论分析现有正则化方法如何影响频率分量,并证明它们在处理非零频率时的局限性。
  2. 提出一种新的频域正则化方法,能够自适应地增强关键频率分量的权重。
  3. 设计一种即插即用的模块,可以轻松集成到各种预测模型中,而不影响效率。

方法改进

FredNormer的核心思想是从频率角度观察数据集,并自适应地增加关键频率分量的权重。

该方法主要包含两个关键组件:

1、频率稳定性度量

FredNormer首先定义了一个频率稳定性度量,用于量化每个频率分量在训练集中的统计显著性:

 S(k) =μ(A(k)) /σ(A(k))

其中,μ(A(k))和σ(A(k))分别表示第k个频率分量幅度的均值和标准差。这个度量具有以下特点:

  • 捕捉了每个频率分量在整个训练集中的分布情况
  • 无量纲,允许公平比较不同频率分量
  • 避免了均匀频率缩放的问题

2、频率稳定性加权层

这一层的主要功能是根据稳定性动态调整频率分量的权重。具体步骤如下:

对输入时间序列数据进行差分和离散傅里叶变换(DFT)

将DFT系数分解为实部和虚部

应用两个线性投影到频率稳定性度量S上:

 F'r = Fr ⊙ (S × Wr + Br)F'i = Fi ⊙ (S × Wi + Bi)

将加权后的频谱通过逆DFT变换回时间域

这种设计允许模型分别处理实部和虚部,从而捕捉更丰富的时间动态。

3、代码实现

我们这里根据论文中的描述实现一个FredNormer的基本版本。这个实现可能不包含所有的优化和细节，但它应该能够展示FredNormer的核心概念。

导入必要的库并定义FredNormer类：

 importnumpyasnpimporttorchimporttorch.nnasnnimporttorch.fftasfftclassFredNormer(nn.Module):def__init__(self, num_channels, seq_length):super(FredNormer, self).__init__()self.num_channels=num_channelsself.seq_length=seq_lengthself.freq_length=seq_length//2+1# 定义可学习的权重和偏置self.W_r=nn.Parameter(torch.randn(self.freq_length, num_channels))self.B_r=nn.Parameter(torch.zeros(self.freq_length, num_channels))self.W_i=nn.Parameter(torch.randn(self.freq_length, num_channels))self.B_i=nn.Parameter(torch.zeros(self.freq_length, num_channels))defcompute_stability(self, x):# 计算频率稳定性度量fft_x=fft.rfft(x, dim=1)amplitude=torch.abs(fft_x)mean=torch.mean(amplitude, dim=0)std=torch.std(amplitude, dim=0)stability=mean/ (std+1e-5)  # 添加小值以避免除零returnstabilitydefforward(self, x):# 应用一阶差分x_diff=torch.diff(x, dim=1, prepend=x[:, :1])# 计算FFTfft_x=fft.rfft(x_diff, dim=1)# 计算稳定性度量stability=self.compute_stability(x)# 分离实部和虚部real=fft_x.realimag=fft_x.imag# 应用频率稳定性加权real=real* (stability*self.W_r+self.B_r)imag=imag* (stability*self.W_i+self.B_i)# 重构复数FFTfft_weighted=torch.complex(real, imag)# 应用逆FFTx_normalized=fft.irfft(fft_weighted, n=self.seq_length, dim=1)returnx_normalized# 使用示例seq_length=96num_channels=7batch_size=32# 创建一个随机输入张量x=torch.randn(batch_size, seq_length, num_channels)# 初始化FredNormerfrednormer=FredNormer(num_channels, seq_length)# 应用FredNormerx_normalized=frednormer(x)print(f"Input shape: {x.shape}")print(f"Output shape: {x_normalized.shape}")

这个实现包含了FredNormer的主要组件：

compute_stability: 计算频率稳定性度量。

forward: 实现了FredNormer的前向传播，包括：

  • 应用一阶差分
  • 计算FFT
  • 计算稳定性度量
  • 应用频率稳定性加权
  • 应用逆FFT

要将FredNormer集成到完整的预测模型中，可以这样做：

 classTimeSeriesModel(nn.Module):def__init__(self, input_dim, hidden_dim, output_dim, seq_length):super(TimeSeriesModel, self).__init__()self.frednormer=FredNormer(input_dim, seq_length)self.lstm=nn.LSTM(input_dim, hidden_dim, batch_first=True)self.fc=nn.Linear(hidden_dim, output_dim)defforward(self, x):x=self.frednormer(x)lstm_out, _=self.lstm(x)returnself.fc(lstm_out[:, -1, :])# 使用示例input_dim=7hidden_dim=64output_dim=1seq_length=96batch_size=32model=TimeSeriesModel(input_dim, hidden_dim, output_dim, seq_length)x=torch.randn(batch_size, seq_length, input_dim)output=model(x)print(f"Input shape: {x.shape}")print(f"Output shape: {output.shape}")

我们上面的代码将FredNormer作为预处理步骤集成到一个基于LSTM的时间序列预测模型中。

这个实现是基于论文的描述，可能需要进一步的调整和优化以达到论文中报告的性能。另外在实际应用中可能还需要添加训练循环、损失函数、优化器等组件。

实验设置与结果

研究者使用了7个公共时间序列数据集进行实验,包括Weather、ETT系列(ETTh1, ETTh2, ETTm1, ETTm2)、Electricity和Traffic。这些数据集涵盖了不同的时间粒度和应用场景。

基线模型与骨干网络

FredNormer与两个主要的基线方法进行了比较:

  • RevIN: 一种广泛使用的基本正则化模块
  • SAN: 当前最先进的正则化方法

实验中使用了三种不同的预测模型作为骨干网络:

  • DLinear: 一种基于MLP的轻量级模型
  • PatchTST: 一种基于Transformer的模型,使用补丁操作捕捉局部时间模式
  • iTransformer: 另一种Transformer模型,强调通道间的注意力机制

实验结果

整体性能:

  • FredNormer在所有数据集上都显著改善了骨干模型的性能
  • 在具有复杂频率特征的数据集(如ETTm2)上,FredNormer将PatchTST和iTransformer的性能分别提高了33.3%和55.3%

与基线方法的比较:

  • 在28个设置中,FredNormer取得了18个第一名和6个第二名的结果
  • 在ETTh1数据集上,FredNormer将DLinear和iTransformer的MSE值分别降低到0.407和0.445,优于RevIN(0.460和0.463)和SAN(0.421和0.466)

运行时间:

  • FredNormer在计算时间上始终优于SAN
  • 在28个设置中的16个中,FredNormer实现了60%到70%的速度提升

消融研究

研究者还进行了消融研究,将频率稳定性度量替换为两种替代滤波器:低通滤波器和随机频率选择。结果显示,FredNormer的频率稳定性分数始终实现了最佳准确性,证明了从频谱中提取稳定特征有助于模型学习一致的模式。

可视化分析

在Traffic、ETTh1和ETTh2数据集上应用FredNormer前后的输入序列可视化

如上图所示,绿线表示输入数据,蓝线表示预测目标,橙线表示FredNormer生成的输入数据,红线表示每个数据集的频率稳定性度量。这个分析展示了:

  1. FredNormer能够自适应地为不同数据集分配权重
  2. 该方法能够识别并增强在输入序列和预测目标中都出现显著波动的分量
  3. 即使某些频率分量的幅度较低,只要它们表现出一致性,FredNormer也会为其分配较高的权重

总结

FredNormer通过在频域中处理非平稳性,为时间序列预测提供了一种新的视角。它不仅在理论上分析了现有方法的局限性,还提出了一种简单而有效的解决方案。实验结果表明,FredNormer在多个数据集和预测模型上都取得了显著的性能提升,同时保持了较低的计算开销。这种方法为处理复杂的非平稳时间序列数据提供了一个强大而灵活的工具。

论文地址：

https://avoid.overfit.cn/post/85db3d9e923c4562a6206f1c9b38d120

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1556510.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

【C++】认识匿名对象

【C++】认识匿名对象

文章目录 目录 文章目录前言一、对匿名对象的解读二、匿名对象的对象类型三、匿名对象的使用总结 前言 在C中，匿名对象是指在没有呗命名的情况下创建的临时对象。它们通常在单个语句中执行一系列操作或调用某个函数，并且不需要将结果存放进变量中。 匿名…
阅读更多...
Oracle登录报错-ORA-01017: invalid username/password；logon denied

Oracle登录报错-ORA-01017: invalid username/password；logon denied

接上文：Oracle创建用户报错-ORA-65096: invalid common user or role name 我以为 按照上文在PDB里创建了用户，我以为就可以用PLSQL远程连接了，远程服务器上也安装了对应版本的Oracle客户端，但是我想多了，客户只是新建…
阅读更多...
使用Python查找WeChat和QQ的安装路径和文档路径

使用Python查找WeChat和QQ的安装路径和文档路径

在日常工作和生活中，我们经常需要查找某些应用程序的安装位置或者它们存储文件的位置。特别是对于像WeChat（微信）和QQ这样的即时通讯软件，了解它们的文件存储位置可以帮助我们更好地管理我们的聊天记录和共享文件。今天&#xff0…
阅读更多...
【Diffusion分割】Cold SegDiffusion：医学图像分割的扩散模型

【Diffusion分割】Cold SegDiffusion：医学图像分割的扩散模型

Cold SegDiffusion: A novel diffusion model for medical image segmentation 摘要： 随着深度学习的发展，扩散模型在医学图像分割任务中表现出了卓越的性能。然而，传统的分割扩散模型通常采用随机高斯噪声生成分割掩膜，导致分割…
阅读更多...
Java建筑行业智能化管理系统源码，PC端、手机端、大屏端源码，智慧工地管理平台源码，智慧建设平台 智慧住建平台

Java建筑行业智能化管理系统源码，PC端、手机端、大屏端源码，智慧工地管理平台源码，智慧建设平台 智慧住建平台

智慧工地平台全套源码合作 智慧工地是指运用现代信息技术，如物联网（IoT）、大数据、人工智能（AI）、云计算、移动互联网等，对传统建筑工地进行智能化改造和管理的新型工地。它通过高度集成的系统和设备&#…
阅读更多...
NIO实现聊天室之：一切都要从网络编程的基础开始聊起！

NIO实现聊天室之：一切都要从网络编程的基础开始聊起！

一、写在开头 大家好，Build哥回来啦！停更了大概2个月之久，之前有段时间去写小说去了，后来又因为公司活太多，牛马干的太投入，就拉下了博客的更新，国庆节期间，难得的闲下来，准备回归老本行啦。 大致的翻看了一下之前更新的内容，已经写到了Java的IO部分，作为网络传输…
阅读更多...
eNodeB User Manual-Introduction

eNodeB User Manual-Introduction

eNodeB architecture ### 概述 srsENB是一个完全由软件实现的LTE eNodeB基站。它作为一个应用程序运行在标准的基于Linux的操作系统上，能够连接到任何LTE核心网络（EPC）并创建一个本地LTE小区。为了通过空气传输和接收无线电信号，…
阅读更多...
深入浅出解析大模型：探索智能体（Agent）

深入浅出解析大模型：探索智能体（Agent）

大语言模型 vs 人类 大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。如果我们能给大模型配备上四肢和工具呢？大模型是不是就会打破次元壁&#xff0…
阅读更多...
探索Python文本处理的新境界：textwrap库揭秘

探索Python文本处理的新境界：textwrap库揭秘

文章目录 **探索Python文本处理的新境界：textwrap库揭秘**一、背景介绍二、textwrap库是什么？三、如何安装textwrap库？四、简单函数使用方法4.1 wrap()4.2 fill()4.3 shorten()4.4 dedent()4.5 indent() 五、实际应用场景5.1 格式化日志输出5…
阅读更多...
华为OD机试 - 冠亚军排名（Python/JS/C/C++ 2024 E卷 100分）

华为OD机试 - 冠亚军排名（Python/JS/C/C++ 2024 E卷 100分）

华为OD机试 2024E卷题库疯狂收录中，刷题点这里 专栏导读 本专栏收录于《华为OD机试真题（Python/JS/C/C）》。 刷的越多，抽中的概率越大，私信哪吒，备注华为OD，加入华为OD刷题交流群，…
阅读更多...
网页也能跑大模型？看这一篇就够了

网页也能跑大模型？看这一篇就够了

写在最前 本故事主要介绍在网页上部署模型的来龙去脉，你想问的问题，可能都可以在这里找到答案 在这个 AI 内容生成泛滥的时代，依然有一批人"傻傻"坚持原创，如果您能读到最后，还请点赞或收藏或关注支持下我呗…
阅读更多...
ChatGPT写论文全流程揭秘：从构思到成稿！

ChatGPT写论文全流程揭秘：从构思到成稿！

撰写高质量的学术论文是一项复杂且耗时的任务，涵盖从构思到研究、撰写及最终修改的每一个步骤，每一步都需要大量的时间和精力。然而，借助ChatGPT这样的工具，可以有效辅助论文写作的各个阶段，从而提升效率和确保论文的学…
阅读更多...
在不支持WSL2的Windows环境下安装Redis并添加环境变量的方法

在不支持WSL2的Windows环境下安装Redis并添加环境变量的方法

如果系统版本支持 WSL 2 可跳过本教程。使用官网提供的教程即可 官网教程 查看是否支持 WSL 2 如果不支持或者觉得麻烦可以按照下面的方式安装 下载 点击打开下载地址 下载 zip 文件即可 安装 将下载的 zip 文件解压到自己想要解压的地方即可。（注意&#x…
阅读更多...
E37.【C语言】动态内存管理练习题

E37.【C语言】动态内存管理练习题

1. 求下列代码的执行结果 #include <stdio.h> char* GetMemory(void) {char p[] "hello world";return p; }void Test(void) {char* str NULL;str GetMemory();printf(str); }int main() {Test();return 0; } 答案速查 乱码 分别是x86debug和x64debug下…
阅读更多...
业务封装与映射 -- OTUk/ODUk/OPUk比特速率和容量

业务封装与映射 -- OTUk/ODUk/OPUk比特速率和容量

介绍OTUk&#xff0c;ODUk&#xff0c;OPUk&#xff0c;OTUCn&#xff0c;ODUCn&#xff0c;OPUCn的比特速率和容量。 OTN支持超100 Gbit/s&#xff0c;100 Gbit/s&#xff0c;40 Gbit/s&#xff0c;10 Gbit/s&#xff0c;2.5 Gbit/s&#xff0c;1.25 Gbit/s等多种线路速率。 …
阅读更多...
大模型应用新领域：探寻终端侧 AI 竞争核心｜智于终端

大模型应用新领域：探寻终端侧 AI 竞争核心｜智于终端

2024年过去2/3&#xff0c;大模型领域的一个共识开始愈加清晰&#xff1a; AI技术的真正价值在于其普惠性。没有应用&#xff0c;基础模型将无法发挥其价值。 于是乎&#xff0c;回顾这大半年&#xff0c;从互联网大厂到手机厂商&#xff0c;各路人马都在探索AI时代Killer AP…
阅读更多...
二叉树的进阶

二叉树的进阶

前言&#xff1a; 关于二叉树的基础知识&#xff0c;小生这里就不在一一一赘述了&#xff0c;对前面二叉树的基础知识有遗忘的铁子 们&#xff0c;可以康康前期咱的博客。 链接在此&#xff1a; 数据结构之二叉树 的精讲 目录&#xff1a; 一&#xff1a;二叉搜索树的定义…
阅读更多...
从0开始linux（6）——gcc

从0开始linux（6）——gcc

欢迎来到博主的专栏&#xff1a;从0开始linux 博主ID&#xff1a;代码小豪、 文章目录 gccgcc的文件风格预处理编译汇编链接 gcc gcc是linux系统下常用的C语言编译器&#xff0c;随着后续的扩展&#xff0c;gcc支持了c&#xff0c;并推出了g编译器&#xff0c;现在的gcc可以支…
阅读更多...
基于ssm疫情防控志愿者管理系统设计与实现

基于ssm疫情防控志愿者管理系统设计与实现

博主介绍&#xff1a;专注于Java&#xff08;springboot ssm springcloud等开发框架&#xff09; vue .net php phython node.js uniapp小程序 等诸多技术领域和毕业项目实战、企业信息化系统建设&#xff0c;从业十五余年开发设计教学工作 ☆☆☆ 精彩专栏推荐订阅☆☆☆…
阅读更多...
轻松部署大模型：Titan Takeoff入门指南

轻松部署大模型：Titan Takeoff入门指南

轻松部署大模型&#xff1a;Titan Takeoff入门指南 在人工智能的快速发展中&#xff0c;处理自然语言处理&#xff08;NLP&#xff09;任务的大规模语言模型&#xff08;LLM&#xff09;至关重要。然而&#xff0c;部署这些模型往往具有挑战性&#xff0c;需要高性能的硬件和优…
阅读更多...
最新文章

Copyright @ 2022~2023