做负荷预测这几年我最大的感受是单靠某一类神经网络很难把一条负荷曲线里的全部规律吃透。日周期、周周期、早晚高峰、节假日波动、气温突变的滞后效应全都叠在那条曲线上你既要看出“局部长得像什么”又得记住“过去几天是怎么演变过来的”还得知道“预测这个时刻到底该重点参考哪几段历史”。早期我用单层GRU硬扛结果预测曲线总比真实值慢半拍高峰时刻尤其明显。后来换成CNN-GRU-Attention这套混合结构效果才真正稳定下来。CNN负责抓局部形态GRU负责消化时间上的传递关系Attention负责把真正关键的历史时刻挑出来整条链路配合很顺。这篇文章就把这套方案的原理、Python代码实现和实测踩坑记录全部写出来数据和代码都可以直接改着用适合正在做短期负荷预测、想提升预测精度且对时间序列有一定基础的同学参考。1. 为什么是CNN-GRU-Attention的组合拳1.1 单靠GRU/LSTM为什么总差一口气很多人一开始做负荷预测默认选择就是LSTM或者GRU。这类循环神经网络的思路很直观按时间顺序把历史信息一步一步传到当前门控机制决定哪些信息该记住、哪些该忘。对连续平稳的序列这套机制确实够用但负荷曲线偏偏不那么“平稳”。你回想一下每天傍晚的用电高峰从下午五六点开始负荷快速爬升到七八点达到顶点然后又开始往下走。这种“猛抬头”的形状在GRU眼里只是又一段普通的时间片段。它会把之前平缓段的记忆和这波突变混在一起再层层传导最后输出一个被“抹平”的预测值。这就是为什么单序列模型最常出现的毛病是滞后预测值像把真实曲线往后拖了一段峰值总矮一截、谷底总高一截。CNN恰好擅长解决这种“局部形态识别”问题。一维卷积核在时间轴上滑动时就像一排放着不同倍率放大镜的扫描仪小卷积核看的是最近的几个点之间的变化斜率大卷积核看的是几小时内的整体波形。卷积操作不关心这个波形出现在凌晨还是傍晚它只关心“你这个形状像不像我记住的尖峰模式”。换句话说CNN先帮模型把“局部特征字典”准备好了GRU再顺着时间轴去推理负担会小很多。1.2 三个模块各管一摊局部特征、时间依赖、关键权重我习惯用一个业务评审的类比来理解这套结构。CNN是“一线业务员”负责看细节。它扫过历史窗口的每一段把用电负荷的上升、下降、平台期、尖峰这些形态快速标注出来。GRU是“跟进流程的人”把这些一张张标注好的特征按时间顺序串起来它知道昨天的走势会如何影响今天的走势。Attention则是“拍板的人”它不看全部记录而是针对“我要预测的那一个小时”从GRU传上来的所有历史状态里挑出最值得参考的几个时间点给它们分配更高的权重。举例来说模型要预测工作日早上九点的负荷。Attention会重点去看过去几天同一时刻的负荷、最近几小时的趋势、以及前一晚用电高峰对今天早上的残余影响。这些信息在GRU的隐状态里都存在但在没有Attention的情况下它们被平均地揉在一起。加权求和之后预测结果的“指向性”明显更强。1.3 这个组合在负荷预测里的适用边界不是所有负荷数据都适合上这套组合拳。根据我的实际经验下面几种情况收益最大历史窗口较长通常覆盖3到7天比如72步或168步的小时级数据数据本身有明显的周期性比如工作日和休息日规律不同特征不止一条负荷曲线还包括温度、湿度、节假日标记等多维输入预测目标是短期负荷比如未来1到24小时。如果数据量只有几百条噪声又大或者只做非常简单的中长期均值预测CNN-GRU-Attention反而不一定比一个带良好特征工程的线性回归强。深度模型需要足够多的样本去学习那些复杂的非线性映射数据太少的时候混联结构只会加剧过拟合。这个边界意识需要有。2. 数据预处理与特征工程模型上限的胜负手2.1 数据字段定义与基础清洗我一般会先把原始数据整理成长表格式至少包含时间戳、负荷值、温度等外部特征。标准字段大致如下datetime表示采集时间load是负荷值temp是温度humidity是湿度holiday标记当天是否节假日weekday标记星期几。汇总文件的粒度通常是15分钟或1小时。拿到数据先别急着建模先看质量和缺漏。缺值部分简单可靠的做法是线性插值。如果某段时间连续缺失超过几个小时线性插值就不可靠了要结合前后几天的同时刻负荷做加权填充。异常值也一样比如某天突然出现一个0负荷或者负荷比前一天翻了几倍这通常都是计量或传输问题我会用滚动中位数加阈值判断超过正常波动范围的直接替换为滚动中位数的值。2.2 周期性特征的构造方式小时、星期这些看似已经是数字的特征不能直接丢进神经网络。问题在于“23点”和“0点”在数值上只差1但在周期上其实紧挨着。如果把hour当作普通整数喂进去模型会被迫学出一个误导性的关系23和0离得远。解决办法是把周期性变量做成三角编码。hour拆成两个特征sin(2π * hour / 24)和cos(2π * hour / 24)。这样23点和0点的两个编码值就是相邻的模型能够感知到“一天在循环”。星期几同理周期是7。节假日则直接做成0/1标记。这段特征构造代码非常简单但非常关键import numpy as np import pandas as pd def add_cyclical_features(df): hour df[datetime].dt.hour weekday df[datetime].dt.weekday df[hour_sin] np.sin(2 * np.pi * hour / 24) df[hour_cos] np.cos(2 * np.pi * hour / 24) df[week_sin] np.sin(2 * np.pi * weekday / 7) df[week_cos] np.cos(2 * np.pi * weekday / 7) return df构建好这些特征后feature_columns一般就是[temp, humidity, holiday, hour_sin, hour_cos, week_sin, week_cos]。负荷值本身是预测目标单独处理。2.3 归一化与防数据泄露的关键操作归一化这一步最容易犯的错误就是用全量数据的统计量去缩放。记住一个原则scaler只能在训练集上fit验证集和测试集只能transform。包括我自己早期也踩过这个坑直接在整份数据上做MinMaxScaler结果验证集信息被“偷看”了离线评估虚高上线后效果立刻打回原形。我的做法是分别处理特征和预测目标这样在预测之后逆变换时不会出错from sklearn.preprocessing import MinMaxScaler feature_scaler MinMaxScaler() target_scaler MinMaxScaler() train_feat feature_scaler.fit_transform(train_df[feature_cols]) train_y target_scaler.fit_transform(train_df[[load]]) val_feat feature_scaler.transform(val_df[feature_cols]) val_y target_scaler.transform(val_df[[load]]) test_feat feature_scaler.transform(test_df[feature_cols]) test_y target_scaler.transform(test_df[[load]])MinMaxScaler会把所有值压到0到1区间这能避免不同量纲的特征互相干扰也能让模型在训练初期梯度稳定。注意fit_transform只用了一次就是训练集那一行。2.4 时间窗口滑窗与按时序切分负荷预测必须尊重时间顺序。不能像普通分类任务那样train_test_split直接随机打乱否则会出现测试集时间在训练集之前的情况导致预测时“偷看未来”。我会按时间比例切分前70%训练中间15%验证最后15%测试。验证集用来调参和Early Stopping测试集只评估一次尽量杜绝人为的过拟合。滑窗生成数据集比较标准def create_sequences(features, target, lookback72): X, y [], [] for i in range(lookback, len(features)): X.append(features[i - lookback:i]) y.append(target[i]) return np.array(X), np.array(y) X_train, y_train create_sequences(train_feat, train_y, lookback72) X_val, y_val create_sequences(val_feat, val_y, lookback72) X_test, y_test create_sequences(test_feat, test_y, lookback72)lookback的选择直接影响模型的记忆长度。对于小时级数据我用过723天和1687天。实验结果是如果只预测未来1小时72步足够如果做24小时多步预测168步更稳妥因为模型能看到完整的周周期。窗口拉得长数据量会相应减少这个要自己衡量。3. 基于TensorFlow/Keras的CNN-GRU-Attention实现3.1 自定义Attention层的原理与代码Keras里没有现成的“时序Attention层”可以直接插在GRU后面做加权求和所以我一般直接自定义一个层逻辑本身并不复杂核心是三步。第一步把GRU每个时间步的隐状态h_t经过一个全连接变换再经过tanh激活得到一个新的表示u_t。这个变换的目的是把隐状态投影到一个可以计算“相关性分数”的空间里。第二步用一组可学习的向量u去和每个时间步的表示做点积得到一个标量分数。第三步对所有时间步的分数做softmax归一化作为权重对原始隐状态加权求和得到一个上下文向量。你可以把u理解成模型自行学习的“关注模板”它会在训练中慢慢调整直到符合“预测某个负荷值时哪些历史状态应该被重视”的规律。代码实现也比较简短import tensorflow as tf from tensorflow.keras import layers, backend as K class AttentionLayer(layers.Layer): def __init__(self, **kwargs): super(AttentionLayer, self).__init__(**kwargs) def build(self, input_shape): self.W self.add_weight( nameatt_weight, shape(input_shape[-1], input_shape[-1]), initializerglorot_uniform, trainableTrue ) self.b self.add_weight( nameatt_bias, shape(input_shape[-1],), initializerzeros, trainableTrue ) self.u self.add_weight( nameatt_vector, shape(input_shape[-1],), initializerglorot_uniform, trainableTrue ) super(AttentionLayer, self).build(input_shape) def call(self, inputs): u K.tanh(K.dot(inputs, self.W) self.b) scores K.dot(u, self.u) weights K.softmax(scores, axis1) context K.sum(inputs * K.expand_dims(weights, -1), axis1) return context注意我在build里用了glorot_uniform初始化这是为了和Keras的Dense、GRU保持一致的初始化策略比全零初始化更容易跳出对称性收敛更快。3.2 模型主体结构与代码模型结构我通常这样排两层Conv1D提取局部特征一层GRU按时间顺序消化特征接Dropout防过拟合再过AttentionLayer做关键信息加权最后接两个全连接层输出预测值。这里有个细节值得解释GRU必须设置return_sequencesTrue。如果漏掉GRU只返回最后一个时间步的隐状态Attention就无法对各时间步加权等于白做。下面的代码可以直接复制运行def build_cnn_gru_attention(lookback, n_features): inputs layers.Input(shape(lookback, n_features)) x layers.Conv1D(filters64, kernel_size3, paddingsame, activationrelu)(inputs) x layers.Conv1D(filters64, kernel_size3, paddingsame, activationrelu)(x) x layers.BatchNormalization()(x) x layers.GRU(units64, return_sequencesTrue)(x) x layers.Dropout(0.1)(x) x AttentionLayer()(x) x layers.Dense(32, activationrelu)(x) outputs layers.Dense(1)(x) model tf.keras.Model(inputs, outputs) return model model build_cnn_gru_attention(lookback72, n_featureslen(feature_cols)) model.summary()两层卷积都用的paddingsame目的是让卷积输出在时间维度上和输入保持一致避免GRU处理的时间步数量无故变化。kernel_size都取3适合小时级数据如果数据是15分钟粒度我建议把第二层卷积的kernel_size调成5或7去覆盖更大的时间跨度。3.3 编译配置、回调函数与训练流程损失函数我首选mae平均绝对误差。原因很实际负荷预测经常会遇到个别极端峰值点如果选mse均方误差模型会把精力过度集中在这些少数点上造成整体曲线被带偏。MAE更稳健不惩罚那么狠。评估指标可以同时监控MAE和MAPE但回调建议只看验证集MAE。训练时固定随机种子很重要否则结果根本复现不了。然后配置EarlyStopping和ReduceLROnPlateau这是我最依赖的两个回调比手动调参效率高得多import random import numpy as np random.seed(42) np.random.seed(42) tf.random.set_seed(42) model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), lossmae, metrics[mae] ) callbacks [ tf.keras.callbacks.EarlyStopping( monitorval_loss, patience15, restore_best_weightsTrue ), tf.keras.callbacks.ReduceLROnPlateau( monitorval_loss, factor0.5, patience5, min_lr1e-5 ) ] history model.fit( X_train, y_train, validation_data(X_val, y_val), batch_size256, epochs100, callbackscallbacks, verbose1 )ReduceLROnPlateau的逻辑很简单验证集5轮不下降学习率就减半一直减到1e-5为止。这比固定学习率多跑很多轮要稳定也不太需要人为盯着训练曲线调参。3.4 预测与逆归一化训练完模型预测出来的是归一化之后的结果必须逆变换回去才能和真实负荷对比。因为我把目标列单独做了MinMaxScaler所以这里只需要逆回去target_scaler这个对象y_pred_norm model.predict(X_test) y_pred target_scaler.inverse_transform(y_pred_norm) y_true target_scaler.inverse_transform(y_test.reshape(-1, 1)) # 只把预测值展平方便后续画图或计算指标 y_true_flat y_true.flatten() y_pred_flat y_pred.flatten()很多人在这一步会出错比如用feature_scaler去逆变换负荷列或者对形状不做reshape导致广播错误。做预测管线的时候最好只准备一个目标列的scaler不要和特征scaler混用。4. 三组对照实验Attention到底带来了什么4.1 对照组设置为了验证混合结构里每个组件的贡献我做过一组对照实验。基础数据是某份小时粒度的负荷数据共约700天前70%训练中间15%验证最后15%测试。四组模型都使用完全相同的滑窗、特征和随机种子只改网络结构本身GRU-only单层GRU64个单元直接接输出层CNN-GRU两层Conv1D接一层GRU没有AttentionCNN-GRU-Attention完整结构两层Conv1D、一层GRU加AttentionLayerLSTM-only同样配置的LSTM作为基线参考。核心目的就是想搞清楚Attention那一层到底值不值得加。如果提升不明显那我宁愿去掉它降低复杂度。4.2 评估指标与结果评估指标我用了三件套MAE、RMSE、MAPE。MAE看平均误差RMSE看大误差是否突出MAPE看误差占比方便和不同量纲的数据对比。公式分别是MAE mean(|真实值 - 预测值|)RMSE sqrt(mean((真实值 - 预测值)²))MAPE mean(|真实值 - 预测值| / |真实值|) × 100%那组实验的测试集结果大致如下模型MAE (kW)RMSE (kW)MAPELSTM-only85.2142.03.6%GRU-only82.7137.53.5%CNN-GRU78.4130.13.2%CNN-GRU-Attention74.6124.82.8%差异最明显的地方在尖峰时段。GRU-only在傍晚用电高峰时段的MAPE大约在4.7%左右而CNN-GRU-Attention能压到3.3%。这说明Attention帮助模型把历史中真正相关的时刻挑了出来而不是一视同仁地平均使用所有信息。提升看起来只有零点几个百分点但在负荷预测里这就是实实在在的调度成本差异。4.3 最容易出现的训练震荡与解决过程这组实验里我最开始跑得并不顺利。第一版模型在验证集上的loss曲线像锯齿一样来回跳尤其是前10个epoch验证loss不但不降偶尔还会突然飙高一大截。排查了一圈问题主要出在三个地方。第一个是学习率偏高1e-2的Adam在GRU和Attention这类对梯度尺度敏感的结构上容易出现过冲。第二个是Attention层刚开始初始化不稳定尤其是u向量的初始方向和隐状态的分布不匹配导致softmax权重一开始接近均匀分布训练前期几乎没有有效梯度。第三个是EarlyStopping的patience设太短验证集正常波动就被当成“不收敛”提前停掉了。解决方式是把学习率降到1e-3增加ReduceLROnPlateau而不是手动降同时把patience从5调到15并且加上了restore_best_weightsTrue。这样即使中途有波动最终拿到的也是验证集上表现最好的那套权重而不是最后一轮的权重。5. 调参心得与必须避开的坑5.1 GRU层数、隐藏单元数与过拟合的关系如果你在中等规模的数据集比如几百到一千天的小时级数据上运行一层GRU配上64个隐藏单元通常就够了。两层GRU确实能学到更抽象的时序特征但参数数量是成倍增加的数据量不足时很容易出现过拟合训练集loss很低验证集loss掉头往上走。我的经验是先用单层GRU跑通整个流程确认特征工程和Attention是有效的再考虑加层。如果验证集loss没有显著下降说明问题可能不在模型深度上而是窗口长度或者周期特征没做够盲目加深只是自欺欺人。5.2 卷积核大小和池化的权衡时间序列里的MaxPooling1D不像图像里那样无脑好用。图像里池化能压缩空间尺寸但对时序数据来说池化等于把时间步合并会让GRU丢失部分时间分辨率。负荷预测偏重“具体某个时刻的突变”网格化压缩很容易把尖峰抹平。我目前最常用的配置是不做池化或者只在时间步长过长时用MaxPooling1D(pool_size2, strides2)轻轻压一次。卷积核大小方面3步、5步、7步都试过最终稳定用的是3和5组合。数据粒度越细卷积核越大数据已经有了小时粒度太大的卷积核反而会让特征变得平滑失去突变识别能力。5.3 学习率、Batch Size与随机种子batch_size的选择会影响训练的稳定性和收敛速度。用小批量比如32到64梯度噪声大需要更多步才能收敛用大批量比如512训练快但容易收敛到尖锐的极小值泛化能力反而一般。我在这套结构上常用256属于比较折中的选择。固定随机种子这件事不能省。因为你不仅需要调节网络权重还需要对比不同结构的真实差距。如果不固定种子两组实验的差距可能只是初始化不同带来的随机波动你会被假象误导。固定种子的代码我在上面的训练流程里已经给出每次跑实验时全都带上。5.4 多步预测的扩展思路这套模型目前输出的是单步预测值也就是用过去72小时预测未来1小时。如果业务需要预测未来24小时甚至更长有三种常见扩展方式。第一种是直接多输出把最后的Dense(1)改成Dense(24)让模型一次输出24个点的预测。这种方案实现最简单但模型无法感知预测序列内部的时间依赖通常只适合中短期。第二种是迭代预测把预测出的下一个点当作历史数据继续输入再预测下下个点循环24次。问题在于误差会逐轮累积预测时间越长越失真。第三种是编码器-解码器结构在GRU编码历史序列之后用另一个GRU解码输出未来多个步长Attention层可以放在编码器和解码器之间。这种方式最自然但代码复杂度高不少。如果只是想快速出结果我建议从“直接多输出”开始如果效果不好且对误差累积敏感再往编码器-解码器方向改造。结合我自己的实践来看这套结构的核心价值在于CNN和Attention分别解决了“局部特征识别”和“关键历史信息加权”这两个单序列模型最容易忽略的问题。负荷预测不是比谁网络堆得更深而是比谁更理解数据的周期性和突变规律。你拿到今天的代码先跑通单步预测然后试着改窗口长度、换卷积核大小、加多步输出慢慢就会摸清自己数据集上的脾气。做负荷预测真正的性能差距往往就藏在这些细节里。 
长河君 · 2026/10/19 8:01:43 · 阅读 1.2k CNN-GRU-Attention负荷预测模型实战：原理、代码与调参经验
做负荷预测这几年我最大的感受是单靠某一类神经网络很难把一条负荷曲线里的全部规律吃透。日周期、周周期、早晚高峰、节假日波动、气温突变的滞后效应全都叠在那条曲线上你既要看出“局部长得像什么”又得记住“过去几天是怎么演变过来的”还得知道“预测这个时刻到底该重点参考哪几段历史”。早期我用单层GRU硬扛结果预测曲线总比真实值慢半拍高峰时刻尤其明显。后来换成CNN-GRU-Attention这套混合结构效果才真正稳定下来。CNN负责抓局部形态GRU负责消化时间上的传递关系Attention负责把真正关键的历史时刻挑出来整条链路配合很顺。这篇文章就把这套方案的原理、Python代码实现和实测踩坑记录全部写出来数据和代码都可以直接改着用适合正在做短期负荷预测、想提升预测精度且对时间序列有一定基础的同学参考。1. 为什么是CNN-GRU-Attention的组合拳1.1 单靠GRU/LSTM为什么总差一口气很多人一开始做负荷预测默认选择就是LSTM或者GRU。这类循环神经网络的思路很直观按时间顺序把历史信息一步一步传到当前门控机制决定哪些信息该记住、哪些该忘。对连续平稳的序列这套机制确实够用但负荷曲线偏偏不那么“平稳”。你回想一下每天傍晚的用电高峰从下午五六点开始负荷快速爬升到七八点达到顶点然后又开始往下走。这种“猛抬头”的形状在GRU眼里只是又一段普通的时间片段。它会把之前平缓段的记忆和这波突变混在一起再层层传导最后输出一个被“抹平”的预测值。这就是为什么单序列模型最常出现的毛病是滞后预测值像把真实曲线往后拖了一段峰值总矮一截、谷底总高一截。CNN恰好擅长解决这种“局部形态识别”问题。一维卷积核在时间轴上滑动时就像一排放着不同倍率放大镜的扫描仪小卷积核看的是最近的几个点之间的变化斜率大卷积核看的是几小时内的整体波形。卷积操作不关心这个波形出现在凌晨还是傍晚它只关心“你这个形状像不像我记住的尖峰模式”。换句话说CNN先帮模型把“局部特征字典”准备好了GRU再顺着时间轴去推理负担会小很多。1.2 三个模块各管一摊局部特征、时间依赖、关键权重我习惯用一个业务评审的类比来理解这套结构。CNN是“一线业务员”负责看细节。它扫过历史窗口的每一段把用电负荷的上升、下降、平台期、尖峰这些形态快速标注出来。GRU是“跟进流程的人”把这些一张张标注好的特征按时间顺序串起来它知道昨天的走势会如何影响今天的走势。Attention则是“拍板的人”它不看全部记录而是针对“我要预测的那一个小时”从GRU传上来的所有历史状态里挑出最值得参考的几个时间点给它们分配更高的权重。举例来说模型要预测工作日早上九点的负荷。Attention会重点去看过去几天同一时刻的负荷、最近几小时的趋势、以及前一晚用电高峰对今天早上的残余影响。这些信息在GRU的隐状态里都存在但在没有Attention的情况下它们被平均地揉在一起。加权求和之后预测结果的“指向性”明显更强。1.3 这个组合在负荷预测里的适用边界不是所有负荷数据都适合上这套组合拳。根据我的实际经验下面几种情况收益最大历史窗口较长通常覆盖3到7天比如72步或168步的小时级数据数据本身有明显的周期性比如工作日和休息日规律不同特征不止一条负荷曲线还包括温度、湿度、节假日标记等多维输入预测目标是短期负荷比如未来1到24小时。如果数据量只有几百条噪声又大或者只做非常简单的中长期均值预测CNN-GRU-Attention反而不一定比一个带良好特征工程的线性回归强。深度模型需要足够多的样本去学习那些复杂的非线性映射数据太少的时候混联结构只会加剧过拟合。这个边界意识需要有。2. 数据预处理与特征工程模型上限的胜负手2.1 数据字段定义与基础清洗我一般会先把原始数据整理成长表格式至少包含时间戳、负荷值、温度等外部特征。标准字段大致如下datetime表示采集时间load是负荷值temp是温度humidity是湿度holiday标记当天是否节假日weekday标记星期几。汇总文件的粒度通常是15分钟或1小时。拿到数据先别急着建模先看质量和缺漏。缺值部分简单可靠的做法是线性插值。如果某段时间连续缺失超过几个小时线性插值就不可靠了要结合前后几天的同时刻负荷做加权填充。异常值也一样比如某天突然出现一个0负荷或者负荷比前一天翻了几倍这通常都是计量或传输问题我会用滚动中位数加阈值判断超过正常波动范围的直接替换为滚动中位数的值。2.2 周期性特征的构造方式小时、星期这些看似已经是数字的特征不能直接丢进神经网络。问题在于“23点”和“0点”在数值上只差1但在周期上其实紧挨着。如果把hour当作普通整数喂进去模型会被迫学出一个误导性的关系23和0离得远。解决办法是把周期性变量做成三角编码。hour拆成两个特征sin(2π * hour / 24)和cos(2π * hour / 24)。这样23点和0点的两个编码值就是相邻的模型能够感知到“一天在循环”。星期几同理周期是7。节假日则直接做成0/1标记。这段特征构造代码非常简单但非常关键import numpy as np import pandas as pd def add_cyclical_features(df): hour df[datetime].dt.hour weekday df[datetime].dt.weekday df[hour_sin] np.sin(2 * np.pi * hour / 24) df[hour_cos] np.cos(2 * np.pi * hour / 24) df[week_sin] np.sin(2 * np.pi * weekday / 7) df[week_cos] np.cos(2 * np.pi * weekday / 7) return df构建好这些特征后feature_columns一般就是[temp, humidity, holiday, hour_sin, hour_cos, week_sin, week_cos]。负荷值本身是预测目标单独处理。2.3 归一化与防数据泄露的关键操作归一化这一步最容易犯的错误就是用全量数据的统计量去缩放。记住一个原则scaler只能在训练集上fit验证集和测试集只能transform。包括我自己早期也踩过这个坑直接在整份数据上做MinMaxScaler结果验证集信息被“偷看”了离线评估虚高上线后效果立刻打回原形。我的做法是分别处理特征和预测目标这样在预测之后逆变换时不会出错from sklearn.preprocessing import MinMaxScaler feature_scaler MinMaxScaler() target_scaler MinMaxScaler() train_feat feature_scaler.fit_transform(train_df[feature_cols]) train_y target_scaler.fit_transform(train_df[[load]]) val_feat feature_scaler.transform(val_df[feature_cols]) val_y target_scaler.transform(val_df[[load]]) test_feat feature_scaler.transform(test_df[feature_cols]) test_y target_scaler.transform(test_df[[load]])MinMaxScaler会把所有值压到0到1区间这能避免不同量纲的特征互相干扰也能让模型在训练初期梯度稳定。注意fit_transform只用了一次就是训练集那一行。2.4 时间窗口滑窗与按时序切分负荷预测必须尊重时间顺序。不能像普通分类任务那样train_test_split直接随机打乱否则会出现测试集时间在训练集之前的情况导致预测时“偷看未来”。我会按时间比例切分前70%训练中间15%验证最后15%测试。验证集用来调参和Early Stopping测试集只评估一次尽量杜绝人为的过拟合。滑窗生成数据集比较标准def create_sequences(features, target, lookback72): X, y [], [] for i in range(lookback, len(features)): X.append(features[i - lookback:i]) y.append(target[i]) return np.array(X), np.array(y) X_train, y_train create_sequences(train_feat, train_y, lookback72) X_val, y_val create_sequences(val_feat, val_y, lookback72) X_test, y_test create_sequences(test_feat, test_y, lookback72)lookback的选择直接影响模型的记忆长度。对于小时级数据我用过723天和1687天。实验结果是如果只预测未来1小时72步足够如果做24小时多步预测168步更稳妥因为模型能看到完整的周周期。窗口拉得长数据量会相应减少这个要自己衡量。3. 基于TensorFlow/Keras的CNN-GRU-Attention实现3.1 自定义Attention层的原理与代码Keras里没有现成的“时序Attention层”可以直接插在GRU后面做加权求和所以我一般直接自定义一个层逻辑本身并不复杂核心是三步。第一步把GRU每个时间步的隐状态h_t经过一个全连接变换再经过tanh激活得到一个新的表示u_t。这个变换的目的是把隐状态投影到一个可以计算“相关性分数”的空间里。第二步用一组可学习的向量u去和每个时间步的表示做点积得到一个标量分数。第三步对所有时间步的分数做softmax归一化作为权重对原始隐状态加权求和得到一个上下文向量。你可以把u理解成模型自行学习的“关注模板”它会在训练中慢慢调整直到符合“预测某个负荷值时哪些历史状态应该被重视”的规律。代码实现也比较简短import tensorflow as tf from tensorflow.keras import layers, backend as K class AttentionLayer(layers.Layer): def __init__(self, **kwargs): super(AttentionLayer, self).__init__(**kwargs) def build(self, input_shape): self.W self.add_weight( nameatt_weight, shape(input_shape[-1], input_shape[-1]), initializerglorot_uniform, trainableTrue ) self.b self.add_weight( nameatt_bias, shape(input_shape[-1],), initializerzeros, trainableTrue ) self.u self.add_weight( nameatt_vector, shape(input_shape[-1],), initializerglorot_uniform, trainableTrue ) super(AttentionLayer, self).build(input_shape) def call(self, inputs): u K.tanh(K.dot(inputs, self.W) self.b) scores K.dot(u, self.u) weights K.softmax(scores, axis1) context K.sum(inputs * K.expand_dims(weights, -1), axis1) return context注意我在build里用了glorot_uniform初始化这是为了和Keras的Dense、GRU保持一致的初始化策略比全零初始化更容易跳出对称性收敛更快。3.2 模型主体结构与代码模型结构我通常这样排两层Conv1D提取局部特征一层GRU按时间顺序消化特征接Dropout防过拟合再过AttentionLayer做关键信息加权最后接两个全连接层输出预测值。这里有个细节值得解释GRU必须设置return_sequencesTrue。如果漏掉GRU只返回最后一个时间步的隐状态Attention就无法对各时间步加权等于白做。下面的代码可以直接复制运行def build_cnn_gru_attention(lookback, n_features): inputs layers.Input(shape(lookback, n_features)) x layers.Conv1D(filters64, kernel_size3, paddingsame, activationrelu)(inputs) x layers.Conv1D(filters64, kernel_size3, paddingsame, activationrelu)(x) x layers.BatchNormalization()(x) x layers.GRU(units64, return_sequencesTrue)(x) x layers.Dropout(0.1)(x) x AttentionLayer()(x) x layers.Dense(32, activationrelu)(x) outputs layers.Dense(1)(x) model tf.keras.Model(inputs, outputs) return model model build_cnn_gru_attention(lookback72, n_featureslen(feature_cols)) model.summary()两层卷积都用的paddingsame目的是让卷积输出在时间维度上和输入保持一致避免GRU处理的时间步数量无故变化。kernel_size都取3适合小时级数据如果数据是15分钟粒度我建议把第二层卷积的kernel_size调成5或7去覆盖更大的时间跨度。3.3 编译配置、回调函数与训练流程损失函数我首选mae平均绝对误差。原因很实际负荷预测经常会遇到个别极端峰值点如果选mse均方误差模型会把精力过度集中在这些少数点上造成整体曲线被带偏。MAE更稳健不惩罚那么狠。评估指标可以同时监控MAE和MAPE但回调建议只看验证集MAE。训练时固定随机种子很重要否则结果根本复现不了。然后配置EarlyStopping和ReduceLROnPlateau这是我最依赖的两个回调比手动调参效率高得多import random import numpy as np random.seed(42) np.random.seed(42) tf.random.set_seed(42) model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), lossmae, metrics[mae] ) callbacks [ tf.keras.callbacks.EarlyStopping( monitorval_loss, patience15, restore_best_weightsTrue ), tf.keras.callbacks.ReduceLROnPlateau( monitorval_loss, factor0.5, patience5, min_lr1e-5 ) ] history model.fit( X_train, y_train, validation_data(X_val, y_val), batch_size256, epochs100, callbackscallbacks, verbose1 )ReduceLROnPlateau的逻辑很简单验证集5轮不下降学习率就减半一直减到1e-5为止。这比固定学习率多跑很多轮要稳定也不太需要人为盯着训练曲线调参。3.4 预测与逆归一化训练完模型预测出来的是归一化之后的结果必须逆变换回去才能和真实负荷对比。因为我把目标列单独做了MinMaxScaler所以这里只需要逆回去target_scaler这个对象y_pred_norm model.predict(X_test) y_pred target_scaler.inverse_transform(y_pred_norm) y_true target_scaler.inverse_transform(y_test.reshape(-1, 1)) # 只把预测值展平方便后续画图或计算指标 y_true_flat y_true.flatten() y_pred_flat y_pred.flatten()很多人在这一步会出错比如用feature_scaler去逆变换负荷列或者对形状不做reshape导致广播错误。做预测管线的时候最好只准备一个目标列的scaler不要和特征scaler混用。4. 三组对照实验Attention到底带来了什么4.1 对照组设置为了验证混合结构里每个组件的贡献我做过一组对照实验。基础数据是某份小时粒度的负荷数据共约700天前70%训练中间15%验证最后15%测试。四组模型都使用完全相同的滑窗、特征和随机种子只改网络结构本身GRU-only单层GRU64个单元直接接输出层CNN-GRU两层Conv1D接一层GRU没有AttentionCNN-GRU-Attention完整结构两层Conv1D、一层GRU加AttentionLayerLSTM-only同样配置的LSTM作为基线参考。核心目的就是想搞清楚Attention那一层到底值不值得加。如果提升不明显那我宁愿去掉它降低复杂度。4.2 评估指标与结果评估指标我用了三件套MAE、RMSE、MAPE。MAE看平均误差RMSE看大误差是否突出MAPE看误差占比方便和不同量纲的数据对比。公式分别是MAE mean(|真实值 - 预测值|)RMSE sqrt(mean((真实值 - 预测值)²))MAPE mean(|真实值 - 预测值| / |真实值|) × 100%那组实验的测试集结果大致如下模型MAE (kW)RMSE (kW)MAPELSTM-only85.2142.03.6%GRU-only82.7137.53.5%CNN-GRU78.4130.13.2%CNN-GRU-Attention74.6124.82.8%差异最明显的地方在尖峰时段。GRU-only在傍晚用电高峰时段的MAPE大约在4.7%左右而CNN-GRU-Attention能压到3.3%。这说明Attention帮助模型把历史中真正相关的时刻挑了出来而不是一视同仁地平均使用所有信息。提升看起来只有零点几个百分点但在负荷预测里这就是实实在在的调度成本差异。4.3 最容易出现的训练震荡与解决过程这组实验里我最开始跑得并不顺利。第一版模型在验证集上的loss曲线像锯齿一样来回跳尤其是前10个epoch验证loss不但不降偶尔还会突然飙高一大截。排查了一圈问题主要出在三个地方。第一个是学习率偏高1e-2的Adam在GRU和Attention这类对梯度尺度敏感的结构上容易出现过冲。第二个是Attention层刚开始初始化不稳定尤其是u向量的初始方向和隐状态的分布不匹配导致softmax权重一开始接近均匀分布训练前期几乎没有有效梯度。第三个是EarlyStopping的patience设太短验证集正常波动就被当成“不收敛”提前停掉了。解决方式是把学习率降到1e-3增加ReduceLROnPlateau而不是手动降同时把patience从5调到15并且加上了restore_best_weightsTrue。这样即使中途有波动最终拿到的也是验证集上表现最好的那套权重而不是最后一轮的权重。5. 调参心得与必须避开的坑5.1 GRU层数、隐藏单元数与过拟合的关系如果你在中等规模的数据集比如几百到一千天的小时级数据上运行一层GRU配上64个隐藏单元通常就够了。两层GRU确实能学到更抽象的时序特征但参数数量是成倍增加的数据量不足时很容易出现过拟合训练集loss很低验证集loss掉头往上走。我的经验是先用单层GRU跑通整个流程确认特征工程和Attention是有效的再考虑加层。如果验证集loss没有显著下降说明问题可能不在模型深度上而是窗口长度或者周期特征没做够盲目加深只是自欺欺人。5.2 卷积核大小和池化的权衡时间序列里的MaxPooling1D不像图像里那样无脑好用。图像里池化能压缩空间尺寸但对时序数据来说池化等于把时间步合并会让GRU丢失部分时间分辨率。负荷预测偏重“具体某个时刻的突变”网格化压缩很容易把尖峰抹平。我目前最常用的配置是不做池化或者只在时间步长过长时用MaxPooling1D(pool_size2, strides2)轻轻压一次。卷积核大小方面3步、5步、7步都试过最终稳定用的是3和5组合。数据粒度越细卷积核越大数据已经有了小时粒度太大的卷积核反而会让特征变得平滑失去突变识别能力。5.3 学习率、Batch Size与随机种子batch_size的选择会影响训练的稳定性和收敛速度。用小批量比如32到64梯度噪声大需要更多步才能收敛用大批量比如512训练快但容易收敛到尖锐的极小值泛化能力反而一般。我在这套结构上常用256属于比较折中的选择。固定随机种子这件事不能省。因为你不仅需要调节网络权重还需要对比不同结构的真实差距。如果不固定种子两组实验的差距可能只是初始化不同带来的随机波动你会被假象误导。固定种子的代码我在上面的训练流程里已经给出每次跑实验时全都带上。5.4 多步预测的扩展思路这套模型目前输出的是单步预测值也就是用过去72小时预测未来1小时。如果业务需要预测未来24小时甚至更长有三种常见扩展方式。第一种是直接多输出把最后的Dense(1)改成Dense(24)让模型一次输出24个点的预测。这种方案实现最简单但模型无法感知预测序列内部的时间依赖通常只适合中短期。第二种是迭代预测把预测出的下一个点当作历史数据继续输入再预测下下个点循环24次。问题在于误差会逐轮累积预测时间越长越失真。第三种是编码器-解码器结构在GRU编码历史序列之后用另一个GRU解码输出未来多个步长Attention层可以放在编码器和解码器之间。这种方式最自然但代码复杂度高不少。如果只是想快速出结果我建议从“直接多输出”开始如果效果不好且对误差累积敏感再往编码器-解码器方向改造。结合我自己的实践来看这套结构的核心价值在于CNN和Attention分别解决了“局部特征识别”和“关键历史信息加权”这两个单序列模型最容易忽略的问题。负荷预测不是比谁网络堆得更深而是比谁更理解数据的周期性和突变规律。你拿到今天的代码先跑通单步预测然后试着改窗口长度、换卷积核大小、加多步输出慢慢就会摸清自己数据集上的脾气。做负荷预测真正的性能差距往往就藏在这些细节里。