简介这是一套基于Python与LSTM的空气质量监测及预测系统项目适合计算机相关专业的学生用于课程设计、毕业设计或项目入门。系统采用Django框架搭建Web应用结合pandas、numpy完成PM2.5等数据的读取与预处理并利用LSTM模型实现空气质量趋势预测覆盖从数据处理到结果展示的完整流程。压缩包共260个文件包含15个Python源文件与15个pyc文件、8个HTML页面、23个JavaScript脚本及多套CSS样式另外提供PM2.5数据集、SQLite数据库和README说明文档总大小约6.99MB目录结构清晰便于直接运行与二次开发。项目代码经过测试运行成功并附有必要的说明已有130人学习。借助这份资料读者可以快速掌握LSTM在时间序列预测中的实际应用并了解Django前后端交互的实现方式也可在此基础上扩展其他气象或环境监测功能。1. 从一段 PM2.5 序列到可用的预测接口做监测系统的人通常不缺数据缺的是把数据变成决策的能力。空气监测站点每 5 分钟回传一组浓度值但绝大多数平台只做了展示和报警超标了发短信、超得多了再发一遍。真正要回答的“下一小时会怎样、要不要提前启动降尘措施”传统统计方法很难给出可靠答案。ARIMA 能抓线性趋势但抓不住浓度突变SVM 适合小样本但不擅长捕捉长序列依赖。这也是为什么越来越多从业者把 LSTM 引入空气监测与预测系统——它天然适合处理存在时间依赖的序列数据能用一段历史窗口去预测未来若干步的浓度变化。这个标题落到工程上核心就三件事把传感器或平台导出的时序数据清洗成监督学习格式用 PyTorch 或 Keras 搭建一个 LSTM 回归模型再把它封装成能被监测平台调用的预测模块。它解决的痛点是“能查历史”升级为“能看趋势”适用人群是环保监测系统开发者、智慧园区信息化工程师以及所有跟时序预测打交道但还没跨进深度学习的后端程序员。下面从数据边界开始把整条链路完整铺开。2. 空气监测数据与 LSTM 建模边界2.1 为什么是 LSTM而不是 CNN 或 Transformer空气质量监测数据本质上是多变量时间序列PM2.5、PM10、SO₂、NO₂、CO、O₃ 以及温湿度、风速风向。LSTM 在这类数据上的优势来自它的门控结构——遗忘门决定上一时刻的哪些信息该保留输入门决定当前时刻的哪些信息该写入记忆单元输出门控制记忆对外输出的比例。这套机制让网络可以在数十到数百步的窗口内保持梯度流动缓解了普通 RNN 的梯度消失问题。Transformer 理论上能捕捉更长的依赖关系但它需要大量数据和更高的计算成本且位置编码对周期性较强的空气质量数据并不总是友好。CNN 可以提取局部特征但对“昨天同一时刻的浓度趋势对今天的影响”这类跨长距离依赖无能为力。在数据量只有几个月到一两年、硬件资源有限的前提下LSTM 是准确率与工程成本平衡得最好的选择。提示如果你的站点历史数据超过三年且采样频率达到分钟级可以考虑 LSTM-Attention 或 Transformer 对比实验但起步阶段不要绕开 LSTM 直接上大模型。2.2 决定模型上限的不是网络结构而是序列窗口LSTM 的输入形状是(samples, timesteps, features)其中timesteps表示使用过去多少个时间点作为历史窗口。这个值直接决定了模型“记得多长”。对于空气监测数据窗口设置要考虑两个周期一是小时内的短时波动早晚高峰污染积累二是 24 小时的日周期。经验上 6 到 24 小时是比较合理的区间。如果采样间隔是 1 小时那么预测下一小时 PM2.5 浓度提供 12 到 24 个小时的历史窗口是稳妥起点。窗口过短丢失日周期信息窗口过长则引入大量与当前时刻无关的历史噪声。特征选择同样关键。不要只把 PM2.5 一条序列丢给网络。气象特征是空气污染预测的强辅助信号风速与污染物扩散能力直接相关湿度影响二次气溶胶生成边界层高度决定垂直扩散条件。把这些特征与污染物浓度拼接成一个多维序列模型才有机会学到“特定气象条件下浓度的变化模式”。3. 搭建基于 Python 和 LSTM 的空气监测预测模型3.1 数据准备与监督学习格式转换LSTM 无法直接消费原始监测表需要先把数据转换成“用过去 N 个时刻预测未来 M 个时刻”的监督学习格式。下面是一段完整的预处理代码用 pandas 完成数据清洗用 numpy 构造滑动窗口import pandas as pd import numpy as np from sklearn.preprocessing import MinMaxScaler def load_and_clean(path: str) - pd.DataFrame: 读取监测数据并做基础清洗 df pd.read_csv(path, parse_dates[time]) df df.set_index(time).sort_index() # 删除全空列避免污染特征矩阵 df df.dropna(axis1, howall) # 数值列做插值填充浓度短时缺失用线性插值 df df.interpolate(methodlinear, limit12, limit_directionboth) # 剔除非数值行 df df[~df.isin([np.inf, -np.inf]).any(axis1)] return df def create_sequences(data: np.ndarray, n_lookback: int, n_forecast: int): 构造滑动窗口样本对 (X, y) X, y [], [] for i in range(len(data) - n_lookback - n_forecast 1): X.append(data[i : i n_lookback, :]) y.append(data[i n_lookback : i n_lookback n_forecast, 0]) return np.array(X), np.array(y) # 特征列目标变量排在第 0 列其余为辅助特征 feature_cols [PM2.5, PM10, SO2, NO2, CO, O3, TEMP, RH, WIND_SPD] df load_and_clean(monitor_hourly.csv)[feature_cols] # 归一化LSTM 对尺度敏感必须使用 sklearn MinMaxScaler scaler MinMaxScaler(feature_range(0, 1)) scaled scaler.fit_transform(df.values) # 用过去 24 小时预测未来 3 小时 LOOKBACK, FORECAST 24, 3 X, y create_sequences(scaled, LOOKBACK, FORECAST) # 8:2 时间顺序切分不允许洗牌 split int(len(X) * 0.8) X_train, X_test X[:split], X[split:] y_train, y_test y[:split], y[split:] print(f训练集形状: {X_train.shape}, 测试集形状: {X_test.shape})代码里有三个工程细节需要注意dropna(axis1, howall)针对的是长时间停运的监测列避免全空列被插值算法填充成毫无意义的常量limit12限制了连续插值的跨度超过 12 个小时的数据断档宁可保留缺失也不该人工造数滑窗循环中range的上界计算确保X和y在时间轴上严格对齐这是初学者最容易写错的地方。3.2 用 PyTorch 构建可训练的 LSTM 回归模型PyTorch 在这个场景下比 Keras 更灵活可以精确控制训练循环、在验证集上做早停、自由调整优化器参数。模型结构不复杂LSTM 层提取时序特征全连接层映射到输出维度。关键在配置细节不是层数多少。import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset class LSTMPredictor(nn.Module): def __init__(self, n_features: int, hidden_dim: int 64, num_layers: int 2, dropout: float 0.2, forecast_len: int 3): super().__init__() self.lstm nn.LSTM( input_sizen_features, hidden_sizehidden_dim, num_layersnum_layers, batch_firstTrue, dropoutdropout ) self.regressor nn.Sequential( nn.Linear(hidden_dim, 32), nn.ReLU(), nn.Linear(32, forecast_len) ) def forward(self, x): # x shape: (batch, seq_len, n_features) lstm_out, _ self.lstm(x) # 取最后一个时间步的隐状态做预测 last_hidden lstm_out[:, -1, :] return self.regressor(last_hidden) # 超参数设定 N_FEATURES X.shape[2] # 9 个特征 HIDDEN_DIM 64 # LSTM 隐层维度 NUM_LAYERS 2 # 双层 LSTM增强非线性表达能力 FORECAST_LEN 3 # 预测未来 3 小时 BATCH_SIZE 64 EPOCHS 100 LEARNING_RATE 0.001 # 数据载入 X_train_t torch.tensor(X_train, dtypetorch.float32) y_train_t torch.tensor(y_train, dtypetorch.float32) X_test_t torch.tensor(X_test, dtypetorch.float32) y_test_t torch.tensor(y_test, dtypetorch.float32) train_dataset TensorDataset(X_train_t, y_train_t) train_loader DataLoader(train_dataset, batch_sizeBATCH_SIZE, shuffleTrue) model LSTMPredictor( n_featuresN_FEATURES, hidden_dimHIDDEN_DIM, num_layersNUM_LAYERS, dropout0.2, forecast_lenFORECAST_LEN ) # 回归任务用 HuberLoss对异常浓度尖峰不敏感 criterion nn.HuberLoss(delta1.0) optimizer torch.optim.Adam(model.parameters(), lrLEARNING_RATE, weight_decay1e-5)batch_firstTrue让输入张量的维度顺序变成(batch, seq_len, features)这样代码可读性和排错效率都会大幅提升。取lstm_out[:, -1, :]是最主流的做法——用最后一个时间步的隐状态“浓缩”整个序列的信息。HuberLoss则是一个容易被人忽略但很关键的选型空气质量数据偶发极端峰值如突发污染事件如果使用 MSE这些尖峰会主导梯度更新导致模型为了追上极端值而牺牲整体预测精度。3.3 训练循环与模型保存训练过程需要同时监控训练损失和验证损失验证损失连续多轮不下降就应该提前停止避免过拟合。下面这段代码包含早停逻辑和最终的模型持久化best_val_loss float(inf) patience, trigger 10, 0 for epoch in range(EPOCHS): model.train() train_loss 0.0 for X_batch, y_batch in train_loader: optimizer.zero_grad() y_pred model(X_batch) loss criterion(y_pred, y_batch) loss.backward() # 梯度裁剪防止 LSTM 训练时的梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() train_loss loss.item() * X_batch.size(0) # 验证 model.eval() with torch.no_grad(): val_pred model(X_test_t) val_loss criterion(val_pred, y_test_t).item() train_loss / len(train_dataset) if epoch % 10 0: print(fEpoch {epoch:3d} | Train Loss: {train_loss:.5f} | Val Loss: {val_loss:.5f}) # 早停逻辑 if val_loss best_val_loss: best_val_loss val_loss trigger 0 torch.save(model.state_dict(), best_lstm_model.pt) else: trigger 1 if trigger patience: print(fEarly stop at epoch {epoch}) break两个行为值得解释clip_grad_norm_把所有参数的梯度范数限制在 1.0 以内这是时间序列任务里防止训练发散最有效的手段torch.save保存的是state_dict而非整个模型便于后续加载时调整结构或在其他环境中做推理。模型保存后下一步要关心的是“预测准不准”和“准到什么程度”。4. 模型评估与预测结果的工程化验证4.1 多步预测的逐时评估策略LSTM 预测模型不能只看一个总误差。预测未来 3 小时第 1 小时和第 3 小时的误差性质完全不同——远期预测的不确定性天然更高。评估时必须分步计算指标否则会掩盖模型“短期好用但长期失真”的问题。以下是完整的评估代码覆盖 RMSE、MAE 和 R² 三个维度from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score import numpy as np # 反归一化以还原真实浓度 y_test_inv scaler.inverse_transform( np.concatenate([y_test, np.zeros((len(y_test), N_FEATURES - 1))], axis1) )[:, :FORECAST_LEN] y_pred_inv scaler.inverse_transform( np.concatenate([y_pred_np, np.zeros((len(y_pred_np), N_FEATURES - 1))], axis1) )[:, :FORECAST_LEN] # 分步评估 horizon_names [fh{i1}h for i in range(FORECAST_LEN)] metrics_table {} for i in range(FORECAST_LEN): y_true_i y_test_inv[:, i] y_pred_i y_pred_inv[:, i] rmse np.sqrt(mean_squared_error(y_true_i, y_pred_i)) mae mean_absolute_error(y_true_i, y_pred_i) r2 r2_score(y_true_i, y_pred_i) metrics_table[horizon_names[i]] {RMSE(μg/m³): round(rmse, 3), MAE(μg/m³): round(mae, 3), R²: round(r2, 4)} for k, v in metrics_table.items(): print(f{k}: RMSE{v[RMSE(μg/m³)]}, MAE{v[MAE(μg/m³)]}, R²{v[R²]})一个常见误区是直接对y_pred与y_test计算误差指标忽略了它们仍处于 0~1 的归一化区间。上面代码里的inverse_transform过程先把预测结果补零到原特征维度再进行反归一化恢复真实浓度这样算出的 RMSE 才是以 μg/m³ 为单位的物理量可以给环保业务人员直接解读。注意如果 R² 为负说明模型预测比直接用测试集均值更差。此时不要急着调网络结构先检查特征是否包含目标变量的未来信息泄漏再检查训练集和测试集的分布漂移。4.2 与简单基线模型对比LSTM 的工程价值需要对照才能显现。常见的基线是“持续预测”persistence forecast——直接拿当前时刻的浓度作为未来 1 小时的预测值。这是时序预测领域公认的最低基准。如果 LSTM 连这个基线都跑不过说明要么数据量不够要么特征工程有问题。# 基线持续性预测用当前时刻 PM2.5 预测未来 1 小时 persistence_pred X_test[:, -1, 0].flatten() # 取每个样本最后一个时刻的目标值 persistence_pred_inv scaler.inverse_transform( np.concatenate([persistence_pred.reshape(-1, 1), np.zeros((len(persistence_pred), N_FEATURES - 1))], axis1) )[:, 0] y_test_1h y_test_inv[:, 0] from sklearn.metrics import mean_absolute_error base_mae mean_absolute_error(y_test_1h, persistence_pred_inv) lstm_mae metrics_table[h1h][MAE(μg/m³)] print(fPersistence MAE: {base_mae:.3f}, LSTM MAE: {lstm_mae:.3f}) print(fLSTM 相对提升: {(1 - lstm_mae / base_mae) * 100:.1f}%)这一步在项目实施中往往决定模型能否上线。如果持续预测的 MAE 是 12 μg/m³而 LSTM 是 11 μg/m³那么投入产出的性价比就很低。从业者需要用这组数字与业务方沟通预期而不是把“用了 LSTM”当作效果本身。5. 超参数调优与迁移部署的关键约束5.1 一组可复现的参考超参数组合调参与其靠直觉不如先建一个基础配置再围绕它做小范围搜索。以下是我在空气监测数据上验证过比较稳妥的起点参数推荐范围说明hidden_dim32~128小于 32 欠拟合大于 128 在中期数据上易过拟合num_layers1~32 层是性价比最高的起点3 层需要更多数据支撑dropout0.1~0.3过拟合时优先调这个而不是加数据learning_rate0.0005~0.002Adam 优化器下这个区间最稳定batch_size32~128按数据量匹配样本少用小 batchn_lookback12~24按小时覆盖至少一个完整日周期clip_grad_norm0.5~1.0超过 1.0 容易训练发散早停容忍轮数8~15小于 8 容易过早停大于 15 浪费时间一个实用的做法是先用 64 个隐藏单元、2 层 LSTM、24 小时回看窗口跑通 Baseline然后固定其他参数只调n_lookback对比 6/12/24/48 四个值的验证集 loss选最优后再调hidden_dim。逐参数网格搜索的效率远高于随机组合。5.2 从 Notebook 到接口服务模型训练完成后需要把它做成能响应实时请求的预测接口。Flask 足以应对单站点场景多站点并发请求时再考虑 FastAPI 的异步能力。以下是一个最小可用的预测接口实现把数据装载、缩放、推理封装为一个独立函数from flask import Flask, jsonify, request import pandas as pd import numpy as np import torch app Flask(__name__) # 全局加载模型与 scaler device torch.device(cuda if torch.cuda.is_available() else cpu) model LSTMPredictor(n_features9, hidden_dim64, num_layers2, dropout0.2, forecast_len3) model.load_state_dict(torch.load(best_lstm_model.pt, map_locationdevice)) model.to(device).eval() scaler joblib.load(scaler.pkl) def predict_next_hours(recent_data: dict) - list: recent_data 包含最近 24 小时的 9 个特征序列 df pd.DataFrame(recent_data) scaled scaler.transform(df[feature_cols].values) # 构造模型输入: (1, lookback, n_features) X_input torch.tensor(scaled[-LOOKBACK:, :].reshape(1, LOOKBACK, -1), dtypetorch.float32).to(device) with torch.no_grad(): pred_scaled model(X_input).cpu().numpy().flatten() # 反归一化目标变量 pred_inv scaler.inverse_transform( np.concatenate([pred_scaled.reshape(1, -1), np.zeros((1, N_FEATURES - 1))], axis1) )[0, :FORECAST_LEN] return np.round(pred_inv, 2).tolist() app.route(/api/aqi/predict, methods[POST]) def predict_api(): payload request.get_json() preds predict_next_hours(payload[recent_series]) return jsonify({pm25_forecast: preds, unit: μg/m³, horizon_hours: FORECAST_LEN})部署后必须做一次延迟压测和批量回放验证从历史数据中截取若干连续时段模拟线上请求记录接口延迟和预测误差。迟超过 500ms单次推理就说明模型或服务配置有问题推理误差与训练时测试集误差差距超过 30%则说明线上数据分布发生变化需要触发重训练。模型重训练的频率也是上线前要明确的约束。空气质量存在季节性变化冬季采暖、夏季光化学污染模型不可能一次训练用一年。常用的做法是每周增量重训一次或者设一个监控阈值——当最近 7 天预测误差超过训练集 MAE 的 1.5 倍时自动触发重训。5.3 现场部署的 3 个常被忽视的坑第一个坑是时间对齐。监测平台返回的序列必须严格按时间递增排列且缺失值不能保留NaN直接送进模型。推理服务里要做一次时间校验间隔超过设定采样周期 2 倍以上时返回错误码而不是用脏数据凑出一个预测结果。第二个坑是特征顺序。训练时feature_cols的顺序就是模型输入的顺序预测接口里特征拼装必须保持完全一致。一个安全事故级的问题某项目在重构接口时把RH湿度和WIND_SPD风速顺序写反模型没有报错但预测结果全面偏移。第三个坑是归一化参数的一致性。线上预测必须使用训练时持久化的scaler.pkl而不是重新拟合一个 scaler。每次新数据进来都重新 fit会让归一化范围不断漂移模型输入分布逐渐失真。6. 用 5 分钟检查模型是否真正可用模型跑完测试集、损失也不错了但离上线还差最后一道验证。这里提供一个可操作的检查流程让从业者快速判断模型是否值得进入部署阶段。先看三个数字h1h 的 MAE 占训练集中 PM2.5 均值的比例一般应小于 30%h3h 的 R² 是否仍大于 0.5持续预测对比中 LSTM 是否至少有 10% 的 MAE 提升。三个条件都满足模型才有上线意义。再看预测曲线的形态这一步比看数字更直观。把测试集最后 72 小时的预测结果和真实值画在同一张图上观察三点峰值处是否整体偏低LSTM 的常见回归偏差夜间低浓度段是否出现不合理的负值需要检查反归一化和激活函数曲线是否比真实值平滑很多可能隐蔽层过大把噪声也学进去了。最后做一次样本级验证从测试集里挑出浓度变化最剧烈的一天比如从 20 μg/m³ 两小时升到 180 μg/m³单独计算该日的预测误差。如果这天误差远高于整体均值说明模型对污染积累过程的建模能力不足在有突发污染源场景下不能直接依赖预测结果做决策至少需要人工复核。还有一个提高线上可信度的小技巧把模型输出加上置信区间而非单点预测。做法是使用 MC Dropout——在推理时保持 dropout 层开启跑 20 到 30 次前向计算从结果的方差推断预测不确定性。浓度波动大且预测方差高的时段接口返回confidence: low监测平台可以用不同颜色标注提示业务人员谨慎处置。空气监测领域的 LSTM 预测系统从来不是“训练一个模型交付完事”的静态产物。监测站点的传感器漂移、季节性的污染源变化、城市新增施工工地都会让历史模型逐渐失效。把训练、验证、部署、监控、重训这条链路建成自动化管道是模型上线后运维部分里更重要的一步。这也正是标题里“系统”二字的分量所在——不只是一段 LSTM 代码而是一条持续进化的预测闭环。本文还有配套的精品资源点击获取 
长河君 · 2026/9/14 7:53:08 · 阅读 1.2k LSTM空气监测预测：从时序数据到可部署的PM2.5预测接口
简介这是一套基于Python与LSTM的空气质量监测及预测系统项目适合计算机相关专业的学生用于课程设计、毕业设计或项目入门。系统采用Django框架搭建Web应用结合pandas、numpy完成PM2.5等数据的读取与预处理并利用LSTM模型实现空气质量趋势预测覆盖从数据处理到结果展示的完整流程。压缩包共260个文件包含15个Python源文件与15个pyc文件、8个HTML页面、23个JavaScript脚本及多套CSS样式另外提供PM2.5数据集、SQLite数据库和README说明文档总大小约6.99MB目录结构清晰便于直接运行与二次开发。项目代码经过测试运行成功并附有必要的说明已有130人学习。借助这份资料读者可以快速掌握LSTM在时间序列预测中的实际应用并了解Django前后端交互的实现方式也可在此基础上扩展其他气象或环境监测功能。1. 从一段 PM2.5 序列到可用的预测接口做监测系统的人通常不缺数据缺的是把数据变成决策的能力。空气监测站点每 5 分钟回传一组浓度值但绝大多数平台只做了展示和报警超标了发短信、超得多了再发一遍。真正要回答的“下一小时会怎样、要不要提前启动降尘措施”传统统计方法很难给出可靠答案。ARIMA 能抓线性趋势但抓不住浓度突变SVM 适合小样本但不擅长捕捉长序列依赖。这也是为什么越来越多从业者把 LSTM 引入空气监测与预测系统——它天然适合处理存在时间依赖的序列数据能用一段历史窗口去预测未来若干步的浓度变化。这个标题落到工程上核心就三件事把传感器或平台导出的时序数据清洗成监督学习格式用 PyTorch 或 Keras 搭建一个 LSTM 回归模型再把它封装成能被监测平台调用的预测模块。它解决的痛点是“能查历史”升级为“能看趋势”适用人群是环保监测系统开发者、智慧园区信息化工程师以及所有跟时序预测打交道但还没跨进深度学习的后端程序员。下面从数据边界开始把整条链路完整铺开。2. 空气监测数据与 LSTM 建模边界2.1 为什么是 LSTM而不是 CNN 或 Transformer空气质量监测数据本质上是多变量时间序列PM2.5、PM10、SO₂、NO₂、CO、O₃ 以及温湿度、风速风向。LSTM 在这类数据上的优势来自它的门控结构——遗忘门决定上一时刻的哪些信息该保留输入门决定当前时刻的哪些信息该写入记忆单元输出门控制记忆对外输出的比例。这套机制让网络可以在数十到数百步的窗口内保持梯度流动缓解了普通 RNN 的梯度消失问题。Transformer 理论上能捕捉更长的依赖关系但它需要大量数据和更高的计算成本且位置编码对周期性较强的空气质量数据并不总是友好。CNN 可以提取局部特征但对“昨天同一时刻的浓度趋势对今天的影响”这类跨长距离依赖无能为力。在数据量只有几个月到一两年、硬件资源有限的前提下LSTM 是准确率与工程成本平衡得最好的选择。提示如果你的站点历史数据超过三年且采样频率达到分钟级可以考虑 LSTM-Attention 或 Transformer 对比实验但起步阶段不要绕开 LSTM 直接上大模型。2.2 决定模型上限的不是网络结构而是序列窗口LSTM 的输入形状是(samples, timesteps, features)其中timesteps表示使用过去多少个时间点作为历史窗口。这个值直接决定了模型“记得多长”。对于空气监测数据窗口设置要考虑两个周期一是小时内的短时波动早晚高峰污染积累二是 24 小时的日周期。经验上 6 到 24 小时是比较合理的区间。如果采样间隔是 1 小时那么预测下一小时 PM2.5 浓度提供 12 到 24 个小时的历史窗口是稳妥起点。窗口过短丢失日周期信息窗口过长则引入大量与当前时刻无关的历史噪声。特征选择同样关键。不要只把 PM2.5 一条序列丢给网络。气象特征是空气污染预测的强辅助信号风速与污染物扩散能力直接相关湿度影响二次气溶胶生成边界层高度决定垂直扩散条件。把这些特征与污染物浓度拼接成一个多维序列模型才有机会学到“特定气象条件下浓度的变化模式”。3. 搭建基于 Python 和 LSTM 的空气监测预测模型3.1 数据准备与监督学习格式转换LSTM 无法直接消费原始监测表需要先把数据转换成“用过去 N 个时刻预测未来 M 个时刻”的监督学习格式。下面是一段完整的预处理代码用 pandas 完成数据清洗用 numpy 构造滑动窗口import pandas as pd import numpy as np from sklearn.preprocessing import MinMaxScaler def load_and_clean(path: str) - pd.DataFrame: 读取监测数据并做基础清洗 df pd.read_csv(path, parse_dates[time]) df df.set_index(time).sort_index() # 删除全空列避免污染特征矩阵 df df.dropna(axis1, howall) # 数值列做插值填充浓度短时缺失用线性插值 df df.interpolate(methodlinear, limit12, limit_directionboth) # 剔除非数值行 df df[~df.isin([np.inf, -np.inf]).any(axis1)] return df def create_sequences(data: np.ndarray, n_lookback: int, n_forecast: int): 构造滑动窗口样本对 (X, y) X, y [], [] for i in range(len(data) - n_lookback - n_forecast 1): X.append(data[i : i n_lookback, :]) y.append(data[i n_lookback : i n_lookback n_forecast, 0]) return np.array(X), np.array(y) # 特征列目标变量排在第 0 列其余为辅助特征 feature_cols [PM2.5, PM10, SO2, NO2, CO, O3, TEMP, RH, WIND_SPD] df load_and_clean(monitor_hourly.csv)[feature_cols] # 归一化LSTM 对尺度敏感必须使用 sklearn MinMaxScaler scaler MinMaxScaler(feature_range(0, 1)) scaled scaler.fit_transform(df.values) # 用过去 24 小时预测未来 3 小时 LOOKBACK, FORECAST 24, 3 X, y create_sequences(scaled, LOOKBACK, FORECAST) # 8:2 时间顺序切分不允许洗牌 split int(len(X) * 0.8) X_train, X_test X[:split], X[split:] y_train, y_test y[:split], y[split:] print(f训练集形状: {X_train.shape}, 测试集形状: {X_test.shape})代码里有三个工程细节需要注意dropna(axis1, howall)针对的是长时间停运的监测列避免全空列被插值算法填充成毫无意义的常量limit12限制了连续插值的跨度超过 12 个小时的数据断档宁可保留缺失也不该人工造数滑窗循环中range的上界计算确保X和y在时间轴上严格对齐这是初学者最容易写错的地方。3.2 用 PyTorch 构建可训练的 LSTM 回归模型PyTorch 在这个场景下比 Keras 更灵活可以精确控制训练循环、在验证集上做早停、自由调整优化器参数。模型结构不复杂LSTM 层提取时序特征全连接层映射到输出维度。关键在配置细节不是层数多少。import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset class LSTMPredictor(nn.Module): def __init__(self, n_features: int, hidden_dim: int 64, num_layers: int 2, dropout: float 0.2, forecast_len: int 3): super().__init__() self.lstm nn.LSTM( input_sizen_features, hidden_sizehidden_dim, num_layersnum_layers, batch_firstTrue, dropoutdropout ) self.regressor nn.Sequential( nn.Linear(hidden_dim, 32), nn.ReLU(), nn.Linear(32, forecast_len) ) def forward(self, x): # x shape: (batch, seq_len, n_features) lstm_out, _ self.lstm(x) # 取最后一个时间步的隐状态做预测 last_hidden lstm_out[:, -1, :] return self.regressor(last_hidden) # 超参数设定 N_FEATURES X.shape[2] # 9 个特征 HIDDEN_DIM 64 # LSTM 隐层维度 NUM_LAYERS 2 # 双层 LSTM增强非线性表达能力 FORECAST_LEN 3 # 预测未来 3 小时 BATCH_SIZE 64 EPOCHS 100 LEARNING_RATE 0.001 # 数据载入 X_train_t torch.tensor(X_train, dtypetorch.float32) y_train_t torch.tensor(y_train, dtypetorch.float32) X_test_t torch.tensor(X_test, dtypetorch.float32) y_test_t torch.tensor(y_test, dtypetorch.float32) train_dataset TensorDataset(X_train_t, y_train_t) train_loader DataLoader(train_dataset, batch_sizeBATCH_SIZE, shuffleTrue) model LSTMPredictor( n_featuresN_FEATURES, hidden_dimHIDDEN_DIM, num_layersNUM_LAYERS, dropout0.2, forecast_lenFORECAST_LEN ) # 回归任务用 HuberLoss对异常浓度尖峰不敏感 criterion nn.HuberLoss(delta1.0) optimizer torch.optim.Adam(model.parameters(), lrLEARNING_RATE, weight_decay1e-5)batch_firstTrue让输入张量的维度顺序变成(batch, seq_len, features)这样代码可读性和排错效率都会大幅提升。取lstm_out[:, -1, :]是最主流的做法——用最后一个时间步的隐状态“浓缩”整个序列的信息。HuberLoss则是一个容易被人忽略但很关键的选型空气质量数据偶发极端峰值如突发污染事件如果使用 MSE这些尖峰会主导梯度更新导致模型为了追上极端值而牺牲整体预测精度。3.3 训练循环与模型保存训练过程需要同时监控训练损失和验证损失验证损失连续多轮不下降就应该提前停止避免过拟合。下面这段代码包含早停逻辑和最终的模型持久化best_val_loss float(inf) patience, trigger 10, 0 for epoch in range(EPOCHS): model.train() train_loss 0.0 for X_batch, y_batch in train_loader: optimizer.zero_grad() y_pred model(X_batch) loss criterion(y_pred, y_batch) loss.backward() # 梯度裁剪防止 LSTM 训练时的梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() train_loss loss.item() * X_batch.size(0) # 验证 model.eval() with torch.no_grad(): val_pred model(X_test_t) val_loss criterion(val_pred, y_test_t).item() train_loss / len(train_dataset) if epoch % 10 0: print(fEpoch {epoch:3d} | Train Loss: {train_loss:.5f} | Val Loss: {val_loss:.5f}) # 早停逻辑 if val_loss best_val_loss: best_val_loss val_loss trigger 0 torch.save(model.state_dict(), best_lstm_model.pt) else: trigger 1 if trigger patience: print(fEarly stop at epoch {epoch}) break两个行为值得解释clip_grad_norm_把所有参数的梯度范数限制在 1.0 以内这是时间序列任务里防止训练发散最有效的手段torch.save保存的是state_dict而非整个模型便于后续加载时调整结构或在其他环境中做推理。模型保存后下一步要关心的是“预测准不准”和“准到什么程度”。4. 模型评估与预测结果的工程化验证4.1 多步预测的逐时评估策略LSTM 预测模型不能只看一个总误差。预测未来 3 小时第 1 小时和第 3 小时的误差性质完全不同——远期预测的不确定性天然更高。评估时必须分步计算指标否则会掩盖模型“短期好用但长期失真”的问题。以下是完整的评估代码覆盖 RMSE、MAE 和 R² 三个维度from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score import numpy as np # 反归一化以还原真实浓度 y_test_inv scaler.inverse_transform( np.concatenate([y_test, np.zeros((len(y_test), N_FEATURES - 1))], axis1) )[:, :FORECAST_LEN] y_pred_inv scaler.inverse_transform( np.concatenate([y_pred_np, np.zeros((len(y_pred_np), N_FEATURES - 1))], axis1) )[:, :FORECAST_LEN] # 分步评估 horizon_names [fh{i1}h for i in range(FORECAST_LEN)] metrics_table {} for i in range(FORECAST_LEN): y_true_i y_test_inv[:, i] y_pred_i y_pred_inv[:, i] rmse np.sqrt(mean_squared_error(y_true_i, y_pred_i)) mae mean_absolute_error(y_true_i, y_pred_i) r2 r2_score(y_true_i, y_pred_i) metrics_table[horizon_names[i]] {RMSE(μg/m³): round(rmse, 3), MAE(μg/m³): round(mae, 3), R²: round(r2, 4)} for k, v in metrics_table.items(): print(f{k}: RMSE{v[RMSE(μg/m³)]}, MAE{v[MAE(μg/m³)]}, R²{v[R²]})一个常见误区是直接对y_pred与y_test计算误差指标忽略了它们仍处于 0~1 的归一化区间。上面代码里的inverse_transform过程先把预测结果补零到原特征维度再进行反归一化恢复真实浓度这样算出的 RMSE 才是以 μg/m³ 为单位的物理量可以给环保业务人员直接解读。注意如果 R² 为负说明模型预测比直接用测试集均值更差。此时不要急着调网络结构先检查特征是否包含目标变量的未来信息泄漏再检查训练集和测试集的分布漂移。4.2 与简单基线模型对比LSTM 的工程价值需要对照才能显现。常见的基线是“持续预测”persistence forecast——直接拿当前时刻的浓度作为未来 1 小时的预测值。这是时序预测领域公认的最低基准。如果 LSTM 连这个基线都跑不过说明要么数据量不够要么特征工程有问题。# 基线持续性预测用当前时刻 PM2.5 预测未来 1 小时 persistence_pred X_test[:, -1, 0].flatten() # 取每个样本最后一个时刻的目标值 persistence_pred_inv scaler.inverse_transform( np.concatenate([persistence_pred.reshape(-1, 1), np.zeros((len(persistence_pred), N_FEATURES - 1))], axis1) )[:, 0] y_test_1h y_test_inv[:, 0] from sklearn.metrics import mean_absolute_error base_mae mean_absolute_error(y_test_1h, persistence_pred_inv) lstm_mae metrics_table[h1h][MAE(μg/m³)] print(fPersistence MAE: {base_mae:.3f}, LSTM MAE: {lstm_mae:.3f}) print(fLSTM 相对提升: {(1 - lstm_mae / base_mae) * 100:.1f}%)这一步在项目实施中往往决定模型能否上线。如果持续预测的 MAE 是 12 μg/m³而 LSTM 是 11 μg/m³那么投入产出的性价比就很低。从业者需要用这组数字与业务方沟通预期而不是把“用了 LSTM”当作效果本身。5. 超参数调优与迁移部署的关键约束5.1 一组可复现的参考超参数组合调参与其靠直觉不如先建一个基础配置再围绕它做小范围搜索。以下是我在空气监测数据上验证过比较稳妥的起点参数推荐范围说明hidden_dim32~128小于 32 欠拟合大于 128 在中期数据上易过拟合num_layers1~32 层是性价比最高的起点3 层需要更多数据支撑dropout0.1~0.3过拟合时优先调这个而不是加数据learning_rate0.0005~0.002Adam 优化器下这个区间最稳定batch_size32~128按数据量匹配样本少用小 batchn_lookback12~24按小时覆盖至少一个完整日周期clip_grad_norm0.5~1.0超过 1.0 容易训练发散早停容忍轮数8~15小于 8 容易过早停大于 15 浪费时间一个实用的做法是先用 64 个隐藏单元、2 层 LSTM、24 小时回看窗口跑通 Baseline然后固定其他参数只调n_lookback对比 6/12/24/48 四个值的验证集 loss选最优后再调hidden_dim。逐参数网格搜索的效率远高于随机组合。5.2 从 Notebook 到接口服务模型训练完成后需要把它做成能响应实时请求的预测接口。Flask 足以应对单站点场景多站点并发请求时再考虑 FastAPI 的异步能力。以下是一个最小可用的预测接口实现把数据装载、缩放、推理封装为一个独立函数from flask import Flask, jsonify, request import pandas as pd import numpy as np import torch app Flask(__name__) # 全局加载模型与 scaler device torch.device(cuda if torch.cuda.is_available() else cpu) model LSTMPredictor(n_features9, hidden_dim64, num_layers2, dropout0.2, forecast_len3) model.load_state_dict(torch.load(best_lstm_model.pt, map_locationdevice)) model.to(device).eval() scaler joblib.load(scaler.pkl) def predict_next_hours(recent_data: dict) - list: recent_data 包含最近 24 小时的 9 个特征序列 df pd.DataFrame(recent_data) scaled scaler.transform(df[feature_cols].values) # 构造模型输入: (1, lookback, n_features) X_input torch.tensor(scaled[-LOOKBACK:, :].reshape(1, LOOKBACK, -1), dtypetorch.float32).to(device) with torch.no_grad(): pred_scaled model(X_input).cpu().numpy().flatten() # 反归一化目标变量 pred_inv scaler.inverse_transform( np.concatenate([pred_scaled.reshape(1, -1), np.zeros((1, N_FEATURES - 1))], axis1) )[0, :FORECAST_LEN] return np.round(pred_inv, 2).tolist() app.route(/api/aqi/predict, methods[POST]) def predict_api(): payload request.get_json() preds predict_next_hours(payload[recent_series]) return jsonify({pm25_forecast: preds, unit: μg/m³, horizon_hours: FORECAST_LEN})部署后必须做一次延迟压测和批量回放验证从历史数据中截取若干连续时段模拟线上请求记录接口延迟和预测误差。迟超过 500ms单次推理就说明模型或服务配置有问题推理误差与训练时测试集误差差距超过 30%则说明线上数据分布发生变化需要触发重训练。模型重训练的频率也是上线前要明确的约束。空气质量存在季节性变化冬季采暖、夏季光化学污染模型不可能一次训练用一年。常用的做法是每周增量重训一次或者设一个监控阈值——当最近 7 天预测误差超过训练集 MAE 的 1.5 倍时自动触发重训。5.3 现场部署的 3 个常被忽视的坑第一个坑是时间对齐。监测平台返回的序列必须严格按时间递增排列且缺失值不能保留NaN直接送进模型。推理服务里要做一次时间校验间隔超过设定采样周期 2 倍以上时返回错误码而不是用脏数据凑出一个预测结果。第二个坑是特征顺序。训练时feature_cols的顺序就是模型输入的顺序预测接口里特征拼装必须保持完全一致。一个安全事故级的问题某项目在重构接口时把RH湿度和WIND_SPD风速顺序写反模型没有报错但预测结果全面偏移。第三个坑是归一化参数的一致性。线上预测必须使用训练时持久化的scaler.pkl而不是重新拟合一个 scaler。每次新数据进来都重新 fit会让归一化范围不断漂移模型输入分布逐渐失真。6. 用 5 分钟检查模型是否真正可用模型跑完测试集、损失也不错了但离上线还差最后一道验证。这里提供一个可操作的检查流程让从业者快速判断模型是否值得进入部署阶段。先看三个数字h1h 的 MAE 占训练集中 PM2.5 均值的比例一般应小于 30%h3h 的 R² 是否仍大于 0.5持续预测对比中 LSTM 是否至少有 10% 的 MAE 提升。三个条件都满足模型才有上线意义。再看预测曲线的形态这一步比看数字更直观。把测试集最后 72 小时的预测结果和真实值画在同一张图上观察三点峰值处是否整体偏低LSTM 的常见回归偏差夜间低浓度段是否出现不合理的负值需要检查反归一化和激活函数曲线是否比真实值平滑很多可能隐蔽层过大把噪声也学进去了。最后做一次样本级验证从测试集里挑出浓度变化最剧烈的一天比如从 20 μg/m³ 两小时升到 180 μg/m³单独计算该日的预测误差。如果这天误差远高于整体均值说明模型对污染积累过程的建模能力不足在有突发污染源场景下不能直接依赖预测结果做决策至少需要人工复核。还有一个提高线上可信度的小技巧把模型输出加上置信区间而非单点预测。做法是使用 MC Dropout——在推理时保持 dropout 层开启跑 20 到 30 次前向计算从结果的方差推断预测不确定性。浓度波动大且预测方差高的时段接口返回confidence: low监测平台可以用不同颜色标注提示业务人员谨慎处置。空气监测领域的 LSTM 预测系统从来不是“训练一个模型交付完事”的静态产物。监测站点的传感器漂移、季节性的污染源变化、城市新增施工工地都会让历史模型逐渐失效。把训练、验证、部署、监控、重训这条链路建成自动化管道是模型上线后运维部分里更重要的一步。这也正是标题里“系统”二字的分量所在——不只是一段 LSTM 代码而是一条持续进化的预测闭环。本文还有配套的精品资源点击获取