1. 项目概述时间序列回归在数学建模中的核心地位在数学建模竞赛和实际数据分析工作中我们常常会遇到一类特殊的数据它们按时间顺序排列前后观测值之间存在依赖关系。比如预测未来一个月的商品销量、分析城市每日的PM2.5浓度变化、研究股票价格的波动趋势。处理这类数据传统回归模型往往束手无策因为它假设数据点是独立同分布的而这与时间序列数据的内在连续性相悖。这时“时间序列回归”就成为了我们工具箱里的一把利器。它并不是一个单一的模型而是一套融合了时间序列分析与回归分析思想的方法论框架旨在揭示一个或多个时间序列变量之间的动态关系并用于预测。简单来说时间序列回归要解决的核心问题是如何量化“过去”如何影响“现在”与“未来”。它不仅关心自变量如促销活动、天气温度对因变量如销量的即时影响更关注因变量自身的历史值自回归、历史误差移动平均以及其他时间序列变量的滞后影响。从热词中频繁出现的ARIMA、SARIMA、STL分解、XGBoost回归、Transformer等都是这一框架下的不同实现路径。对于参加数学建模竞赛的队员而言掌握时间序列回归意味着在面对诸如“销量预测”、“环境指标分析”、“经济发展评估”这类赛题时能够构建出更稳健、更符合数据特性的模型从而在论文中展现深刻的数据洞察力和扎实的建模功底。2. 核心思路解析为什么混合方法更强大纯粹的经典时间序列模型如ARIMA和纯粹的机器学习回归模型如线性回归、随机森林在处理时间序列预测时各有优劣。时间序列回归的精髓在于“融合”其设计思路主要围绕以下几个关键考量展开2.1 捕捉时间依赖性与外部因素经典时间序列模型如ARIMA擅长捕捉数据内在的时间依赖结构趋势、季节性、自相关性但它通常只处理单变量序列难以直接纳入其他有预测价值的外部变量称为“外生变量”或“协变量”。例如预测冰淇淋销量ARIMA可以很好地学习销量自身的夏季高峰规律但无法量化“气温突然升高5度”对销量的具体影响。而传统的回归模型可以方便地加入多个自变量但它默认数据是独立的。如果我们直接把历史销量作为自变量放入线性回归模型无法正确处理序列相关性会导致标准误估计错误统计检验失效也就是所谓的“伪回归”问题。时间序列回归模型如ARIMAX、带外生变量的回归模型的设计正是为了同时解决这两个问题在模型框架内显式地刻画时间序列的依赖结构并允许外生变量的加入。其基本形式可以理解为Y(t) f( Y(t-1), Y(t-2), ..., X1(t), X2(t), ..., 误差结构 )。这里的f可以是线性函数也可以是非线性的如机器学习模型。2.2 处理复杂的季节性模式许多时间序列具有多重季节性。例如电力负荷数据同时存在日内周期24小时、周周期7天和年周期365天。简单的季节性ARIMASARIMA参数会变得非常复杂。此时STLSeasonal and Trend decomposition using Loess分解法等先分解再回归的策略就显得尤为有效。其思路是先将原始序列Y(t)分解为趋势项T(t)、季节性项S(t)和残差项R(t)。然后可以对相对平稳的残差项R(t)建立ARIMA等模型或者将分解出的趋势和季节性成分作为特征与其他外部变量一起放入一个回归模型如XGBoost进行预测最后将各成分的预测结果加回。这种方法降低了建模难度提高了对复杂季节性的拟合能力。2.3 利用机器学习增强非线性拟合能力现实中的关系往往是非线性的。气温对销量的影响可能存在阈值效应营销投入的回报也可能存在边际递减。线性时间序列回归模型难以捕捉这些复杂模式。因此引入XGBoost、随机森林、梯度提升回归GBQR等机器学习模型成为自然选择。这些模型本身不具备时间意识所以我们需要通过特征工程将“时间”信息转化为模型可识别的特征。这包括滞后特征创建Y(t-1),Y(t-2),Y(t-7)等变量让模型学习自回归规律。滑动统计特征如过去3天的均值、标准差、最大值滚动窗口统计。时间戳特征从日期中提取“小时”、“是否周末”、“月份”、“季度”等。外部变量及其滞后项加入当期的气温也加入前一天的气温。通过这种方式我们实际上是用机器学习模型来实现一个“非线性自回归分布滞后模型”。热词中提到的Transformer模型则是更高级的架构它通过自注意力机制直接建模整个序列的全局依赖关系在长序列预测任务中表现出了强大潜力但在数学建模中应用需考虑数据量和计算资源的限制。3. 核心模型与算法选型指南面对具体问题模型选型是第一步。下表对比了几种在数学建模中常用的时间序列回归方法及其适用场景模型/方法核心思想关键参数/配置适用场景注意事项ARIMAX在ARIMA基础上增加外生变量。是线性模型。(p,d,q)阶数外生变量矩阵。序列线性关系明显外生变量影响直接且样本量不大。需严格满足平稳性假设。外生变量也需是时间序列且需要未来值用于预测。线性回归 时序特征将滞后项、时间特征等作为自变量用OLS等回归。特征工程滞后阶数、交互项。快速基线模型关系近似线性适合探索性分析。必须处理序列自相关如用Newey-West调整标准误否则推断不可靠。XGBoost / LightGBM 时序特征将时序特征工程后输入梯度提升树模型。树深度、学习率、子样本比例、滞后特征窗口。最通用和推荐。能处理非线性、交互效应对缺失值、异常值稳健。小心过拟合需用时序交叉验证。特征重要性分析可解释性强。Prophet加法模型拟合趋势、季节性和假日效应。季节性的傅里叶级数阶数变点先验尺度。具有强季节性、假日效应且趋势变化明显的商业序列。黑盒程度相对较高自定义外部变量回归项的能力有限。LSTM/GRU循环神经网络天然适合序列建模。隐藏层维度、时间步长、丢弃率。序列长、依赖关系复杂有充足数据通常1000样本。需要大量数据调参训练慢解释性差。数学建模中慎用除非赛题明确或数据量极大。Transformer基于自注意力机制捕捉长程依赖。头数、编码/解码器层数、注意力维度。超长序列依赖关系跨越很远的时间点。数据需求极大计算资源要求高在传统统计预测问题上可能“杀鸡用牛刀”。实操心得在数学建模的有限时间内“XGBoost/LightGBM 精心设计的时序特征”往往是性价比最高的选择。它既能捕捉非线性又比深度学习模型更容易调参和解释结果也通常不差。可以先用它建立一个强基准模型如果时间允许再尝试更复杂的模型。3.1 模型选择的具体决策流程数据审视首先绘制序列图观察是否存在明显的趋势、季节性、周期性波动和异常点。计算自相关函数ACF和偏自相关函数PACF初步判断自回归和移动平均的阶数。平稳性检验使用ADF检验或KPSS检验。如果序列不平稳优先考虑通过差分对应ARIMA的d或分解如STL使其平稳。对于树模型虽然对平稳性要求不高但平稳数据通常能提升性能。基线模型建立简单起见先建立一个带时序特征的线性回归模型作为性能底线。使用statsmodels库的SARIMAX函数拟合一个ARIMAX模型通过AIC/BIC准则选择(p,d,q)阶数。进阶模型尝试将构建好的时序特征数据集包含滞后项、滚动统计、时间特征、外部变量放入XGBoost中进行训练。使用时序交叉验证评估。模型融合如果单一模型表现遇到瓶颈可以考虑简单加权平均或堆叠StackingARIMAX和XGBoost的预测结果这常常能提升最终预测的稳健性。4. 特征工程构建模型识别的“时间语言”特征工程是时间序列回归尤其是机器学习方法成功的关键。以下是一套系统的特征构建方案4.1 基础滞后与窗口特征这是最核心的特征。假设我们要预测Y(t)。滞后特征直接使用过去的值如Y(t-1),Y(t-2), ...,Y(t-n)。n的选择可以基于PACF图或尝试一个固定值如7、30。滚动窗口统计特征计算过去一个窗口期的统计量作为新特征。滚动均值/中位数反映近期平均水平。滚动标准差/变异系数反映近期波动性。滚动最大值/最小值反映近期极值。窗口大小可设为[3, 7, 14, 30]等以捕捉不同时间尺度的影响。扩展窗口统计特征从序列起点到当前时刻的累计统计量如累计均值、累计标准差反映长期水平。4.2 时间戳衍生特征从日期时间索引中提取丰富的信息。周期性编码将“一天中的小时”、“一年中的第几天”等转化为正弦/余弦对以捕捉循环特性。# 例如对于月份周期12个月 df[month_sin] np.sin(2 * np.pi * df[month]/12) df[month_cos] np.cos(2 * np.pi * df[month]/12)分类特征是否周末、是否节假日、季度、月份、周几。这些需要进行独热编码或标签编码。时间流逝特征距离某个特定起点如项目开始、年初的天数。可以捕捉潜在的趋势。4.3 外部变量与交互特征直接引入与目标变量可能相关的其他时序数据如气温、湿度、油价、汇率、竞争对手价格等。滞后引入外部变量也可能有滞后效应。例如今天的广告投入可能影响未来几天的销量。因此需要创建外部变量的滞后特征。交互特征创建滞后目标变量与外部变量的交互项。例如Y(t-1) * 是否周末可以衡量周末效应是否改变了自回归的强度。4.4 基于分解的特征使用STL或移动平均法将原序列分解后可以将分解出的趋势成分、季节性成分甚至残差成分的滞后项作为特征。这相当于让模型分别学习不同成分的演变规律。注意事项构建滞后特征会导致数据前几行出现缺失值NaN。需要谨慎处理对于训练集通常直接删除这些行对于预测则需要用历史真实值或预测值来填充这些滞后项。务必确保在交叉验证和最终预测时绝不使用未来信息来填充当前的特征。5. 建模全流程实操与核心代码解析我们以一个虚构的“便利店每日销售额预测”赛题为例演示完整流程。假设我们有sales销售额、temperature气温、is_holiday是否假日三个时序变量。5.1 数据准备与探索性分析import pandas as pd import numpy as np import matplotlib.pyplot as plt from statsmodels.tsa.stattools import adfuller from statsmodels.graphics.tsaplots import plot_acf, plot_pacf # 1. 加载数据确保索引为DatetimeIndex df pd.read_csv(store_sales.csv, parse_dates[date], index_coldate) df df.sort_index() # 2. 可视化 fig, axes plt.subplots(3, 1, figsize(15, 10)) df[sales].plot(axaxes[0], titleDaily Sales) df[temperature].plot(axaxes[1], titleDaily Temperature, colororange) df[is_holiday].astype(int).plot(axaxes[2], titleHoliday Indicator, drawstylesteps-post) plt.tight_layout() plt.show() # 3. 平稳性检验 (ADF) def adf_test(series): result adfuller(series.dropna()) print(fADF Statistic: {result[0]:.4f}) print(fp-value: {result[1]:.4f}) print(Critical Values:) for key, value in result[4].items(): print(f\t{key}: {value:.4f}) if result[1] 0.05: print(- 序列平稳 (拒绝原假设)) else: print(- 序列非平稳) print(Sales ADF Test:) adf_test(df[sales]) # 4. 查看自相关和偏自相关 fig, (ax1, ax2) plt.subplots(2, 1, figsize(12, 8)) plot_acf(df[sales].dropna(), lags40, axax1) plot_pacf(df[sales].dropna(), lags40, axax2) plt.show()5.2 构建时序特征数据集这是连接原始数据和机器学习模型的关键桥梁。def create_time_series_features(df, target_col, lags7, window_sizes[3, 7, 14]): 为时间序列回归创建特征 df: 原始DataFrame target_col: 目标列名 lags: 滞后阶数 window_sizes: 滚动窗口大小列表 df_feat df.copy() # 1. 滞后特征 for lag in range(1, lags1): df_feat[f{target_col}_lag_{lag}] df_feat[target_col].shift(lag) # 2. 滚动窗口特征 for window in window_sizes: df_feat[f{target_col}_roll_mean_{window}] df_feat[target_col].shift(1).rolling(windowwindow).mean() df_feat[f{target_col}_roll_std_{window}] df_feat[target_col].shift(1).rolling(windowwindow).std() df_feat[f{target_col}_roll_max_{window}] df_feat[target_col].shift(1).rolling(windowwindow).max() # 可以添加更多中位数、分位数、偏度等 # 3. 时间戳特征 df_feat[day_of_week] df_feat.index.dayofweek df_feat[month] df_feat.index.month df_feat[is_weekend] (df_feat.index.dayofweek 5).astype(int) # 周期性编码 df_feat[month_sin] np.sin(2 * np.pi * df_feat[month]/12) df_feat[month_cos] np.cos(2 * np.pi * df_feat[month]/12) # 4. 外部变量滞后假设气温也有滞后效应 for lag in [1, 2, 3]: df_feat[ftemperature_lag_{lag}] df_feat[temperature].shift(lag) # 5. 交互特征示例 df_feat[lag1_weekend] df_feat[f{target_col}_lag_1] * df_feat[is_weekend] # 删除因创建滞后和滚动特征产生的NaN行 df_feat df_feat.dropna() return df_feat # 应用函数 df_features create_time_series_features(df, target_colsales, lags14, window_sizes[3, 7, 14, 30]) print(f特征数据集形状: {df_features.shape})5.3 划分数据集与时序交叉验证绝对禁止使用随机划分必须保持时间顺序。from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import mean_absolute_error, mean_squared_error # 定义特征和目标 X df_features.drop(columns[sales]) # 确保目标列不在特征中 y df_features[sales] # 使用时序交叉验证 tscv TimeSeriesSplit(n_splits5) fold_scores [] for fold, (train_idx, val_idx) in enumerate(tscv.split(X)): X_train, X_val X.iloc[train_idx], X.iloc[val_idx] y_train, y_val y.iloc[train_idx], y.iloc[val_idx] print(fFold {fold1}: Train size: {len(X_train)}, Val size: {len(X_val)}) # 在这里训练和评估模型... # model.fit(X_train, y_train) # preds model.predict(X_val) # score mean_absolute_error(y_val, preds) # fold_scores.append(score)5.4 训练XGBoost回归模型import xgboost as xgb from sklearn.preprocessing import StandardScaler # 假设我们使用最后一个fold进行演示实际应用应循环所有fold train_idx, val_idx list(tscv.split(X))[-1] # 取最后一个划分 X_train, X_val X.iloc[train_idx], X.iloc[val_idx] y_train, y_val y.iloc[train_idx], y.iloc[val_idx] # 标准化对树模型非必须但有时有助稳定 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_val_scaled scaler.transform(X_val) # 定义并训练模型 model xgb.XGBRegressor( n_estimators300, # 树的数量 learning_rate0.05, # 学习率 max_depth6, # 树的最大深度 subsample0.8, # 每棵树使用的样本比例 colsample_bytree0.8, # 每棵树使用的特征比例 random_state42, n_jobs-1 ) model.fit(X_train_scaled, y_train, eval_set[(X_val_scaled, y_val)], early_stopping_rounds20, # 早停防止过拟合 verboseFalse) # 预测与评估 y_pred model.predict(X_val_scaled) mae mean_absolute_error(y_val, y_pred) rmse np.sqrt(mean_squared_error(y_val, y_pred)) print(fValidation MAE: {mae:.2f}) print(fValidation RMSE: {rmse:.2f}) # 特征重要性分析 feature_importance pd.DataFrame({ feature: X.columns, importance: model.feature_importances_ }).sort_values(importance, ascendingFalse) print(\nTop 10 重要特征:) print(feature_importance.head(10))5.5 建立ARIMAX基准模型from statsmodels.tsa.statespace.sarimax import SARIMAX # 注意statsmodels的SARIMAX要求外生变量在预测期也有值。 # 这里我们只用训练集拟合并假设我们已知验证集的外生变量值。 exog_train X_train[[temperature, is_holiday]] # 选择部分外生变量 exog_val X_val[[temperature, is_holiday]] # 拟合ARIMAX(1,1,1)模型 其中 order(p,d,q) arimax_model SARIMAX(y_train, exogexog_train, order(1, 1, 1), # 根据ACF/PACF图选择 seasonal_order(0, 0, 0, 0), # 无季节性 enforce_stationarityFalse, enforce_invertibilityFalse) arimax_result arimax_model.fit(dispFalse) print(arimax_result.summary()) # 预测需要提供预测期的外生变量 arimax_pred arimax_result.get_forecast(stepslen(y_val), exogexog_val).predicted_mean arimax_mae mean_absolute_error(y_val, arimax_pred) print(fARIMAX Validation MAE: {arimax_mae:.2f})6. 模型评估、调优与结果分析6.1 超越简单误差指标除了MAE、RMSE在时间序列预测中我们更应关注MAPE平均绝对百分比误差mean(abs((y_true - y_pred) / y_true)) * 100。易于理解但y_true接近0时不稳定。sMAPE对称MAPE对MAPE的改进。MASE平均绝对标度误差用朴素预测如季节性朴素预测的误差作为基准比值小于1说明模型优于基准。这是非常稳健的指标。预测区间不仅要有点预测还要有区间预测如95%置信区间。XGBoost可通过分位数回归或Conformal Prediction实现ARIMAX可直接输出置信区间。6.2 模型诊断与调优XGBoost调优使用网格搜索或贝叶斯优化对max_depth,learning_rate,n_estimators,subsample,colsample_bytree等关键参数进行调优。务必使用时序交叉验证评估。残差分析对最佳模型的预测残差进行分析。绘制残差序列图、残差ACF图。理想的残差应类似于白噪声无自相关、均值为0、方差恒定。如果残差存在自相关说明模型未能完全捕捉时间依赖结构需要增加滞后特征或尝试更复杂的模型。可视化对比将真实值、XGBoost预测值、ARIMAX预测值绘制在同一张图上直观比较模型在趋势转折点、峰值等关键位置的表现。6.3 特征重要性解读与故事构建XGBoost输出的特征重要性是建模的宝贵副产品。它告诉你模型做决策时最依赖哪些信息。在数学建模论文中这可以转化为深刻的“业务洞察”或“物理机制解释”。例如如果“销售额_滞后_7”和“是否周末”重要性很高你可以论述“模型揭示了销售额具有强烈的周周期性且周末效应对销售模式有显著调制作用。” 如果“气温_滞后_1”很重要可以论述“气温对销售额的影响存在一天的滞后效应可能是由于天气变化影响人们的出行计划进而影响次日消费。”7. 数学建模实战避坑指南与常见问题7.1 数据预处理中的陷阱缺失值处理时间序列的缺失值不能简单用全局均值填充。应采用前向填充、线性插值或基于时间序列模型如ARIMA的预测填充。对于外部变量缺失需根据其特性处理。异常值处理不要盲目删除。需区分是数据错误应修正或删除还是真实事件如促销、疫情应将其作为特征或单独建模。数据频率不一致例如销售额是日度广告投入是周度。需要将低频数据通过前向填充等方式匹配到高频或者将高频数据聚合到低频。7.2 模型训练与评估的陷阱数据泄露这是最常见且最严重的问题。确保在构建任何基于历史的特征滞后、滚动统计时只使用该时间点之前的信息。在代码中shift()函数必须在任何滚动计算之前。交叉验证必须严格按时序分割。过拟合树模型很容易过拟合时序中的噪声。除了使用早停、正则化参数reg_alpha,reg_lambda精简特征和增加验证集比例是关键。避免使用过长的滞后阶数。外生变量未来值问题在预测未来时ARIMAX等模型需要未来时间段的外生变量值。如果无法获得一种策略是对外生变量也建立预测模型但这会引入新的误差。另一种策略是只使用滞后的外生变量作为特征这样在预测时只需要其历史值。7.3 比赛策略与论文写作要点从简到繁先建立线性回归时序特征的基线模型再上XGBoost最后尝试复杂模型。确保每一步都有性能提升。融合模型单一模型可能在某些时段表现好另一些时段差。简单地将ARIMAX擅长线性趋势和XGBoost擅长非线性的预测结果进行加权平均往往能获得更稳定、排名更高的结果。论文可视化除了预测对比图务必包含序列分解图STL展示你对数据结构的理解。特征重要性水平条形图直观展示核心驱动因素。预测区间图展示未来预测的不确定性体现建模深度。残差诊断图ACF/PACF of residuals证明模型充分提取了信息。解释性数学建模看重“模型物理意义”。即使使用XGBoost这样的“黑盒”也要通过特征重要性、SHAP值等工具尽力解释模型行为将数据结论与现实逻辑挂钩。时间序列回归是一个融合了统计思维与机器学习技术的领域其魅力在于用模型语言翻译时间的韵律。在数学建模中它既是解决预测类问题的重器也是展示参赛者综合建模能力的舞台。从理解数据的内在节奏开始精心构建能够被模型识别的时间特征选择合适的算法框架并时刻警惕数据泄露的陷阱最终你将得到一个不仅预测准确而且逻辑清晰、解释性强的优秀模型。 
长河君 · 2026/8/24 10:13:22 · 阅读 1.2k 时间序列回归建模：融合ARIMA与XGBoost的实战指南
1. 项目概述时间序列回归在数学建模中的核心地位在数学建模竞赛和实际数据分析工作中我们常常会遇到一类特殊的数据它们按时间顺序排列前后观测值之间存在依赖关系。比如预测未来一个月的商品销量、分析城市每日的PM2.5浓度变化、研究股票价格的波动趋势。处理这类数据传统回归模型往往束手无策因为它假设数据点是独立同分布的而这与时间序列数据的内在连续性相悖。这时“时间序列回归”就成为了我们工具箱里的一把利器。它并不是一个单一的模型而是一套融合了时间序列分析与回归分析思想的方法论框架旨在揭示一个或多个时间序列变量之间的动态关系并用于预测。简单来说时间序列回归要解决的核心问题是如何量化“过去”如何影响“现在”与“未来”。它不仅关心自变量如促销活动、天气温度对因变量如销量的即时影响更关注因变量自身的历史值自回归、历史误差移动平均以及其他时间序列变量的滞后影响。从热词中频繁出现的ARIMA、SARIMA、STL分解、XGBoost回归、Transformer等都是这一框架下的不同实现路径。对于参加数学建模竞赛的队员而言掌握时间序列回归意味着在面对诸如“销量预测”、“环境指标分析”、“经济发展评估”这类赛题时能够构建出更稳健、更符合数据特性的模型从而在论文中展现深刻的数据洞察力和扎实的建模功底。2. 核心思路解析为什么混合方法更强大纯粹的经典时间序列模型如ARIMA和纯粹的机器学习回归模型如线性回归、随机森林在处理时间序列预测时各有优劣。时间序列回归的精髓在于“融合”其设计思路主要围绕以下几个关键考量展开2.1 捕捉时间依赖性与外部因素经典时间序列模型如ARIMA擅长捕捉数据内在的时间依赖结构趋势、季节性、自相关性但它通常只处理单变量序列难以直接纳入其他有预测价值的外部变量称为“外生变量”或“协变量”。例如预测冰淇淋销量ARIMA可以很好地学习销量自身的夏季高峰规律但无法量化“气温突然升高5度”对销量的具体影响。而传统的回归模型可以方便地加入多个自变量但它默认数据是独立的。如果我们直接把历史销量作为自变量放入线性回归模型无法正确处理序列相关性会导致标准误估计错误统计检验失效也就是所谓的“伪回归”问题。时间序列回归模型如ARIMAX、带外生变量的回归模型的设计正是为了同时解决这两个问题在模型框架内显式地刻画时间序列的依赖结构并允许外生变量的加入。其基本形式可以理解为Y(t) f( Y(t-1), Y(t-2), ..., X1(t), X2(t), ..., 误差结构 )。这里的f可以是线性函数也可以是非线性的如机器学习模型。2.2 处理复杂的季节性模式许多时间序列具有多重季节性。例如电力负荷数据同时存在日内周期24小时、周周期7天和年周期365天。简单的季节性ARIMASARIMA参数会变得非常复杂。此时STLSeasonal and Trend decomposition using Loess分解法等先分解再回归的策略就显得尤为有效。其思路是先将原始序列Y(t)分解为趋势项T(t)、季节性项S(t)和残差项R(t)。然后可以对相对平稳的残差项R(t)建立ARIMA等模型或者将分解出的趋势和季节性成分作为特征与其他外部变量一起放入一个回归模型如XGBoost进行预测最后将各成分的预测结果加回。这种方法降低了建模难度提高了对复杂季节性的拟合能力。2.3 利用机器学习增强非线性拟合能力现实中的关系往往是非线性的。气温对销量的影响可能存在阈值效应营销投入的回报也可能存在边际递减。线性时间序列回归模型难以捕捉这些复杂模式。因此引入XGBoost、随机森林、梯度提升回归GBQR等机器学习模型成为自然选择。这些模型本身不具备时间意识所以我们需要通过特征工程将“时间”信息转化为模型可识别的特征。这包括滞后特征创建Y(t-1),Y(t-2),Y(t-7)等变量让模型学习自回归规律。滑动统计特征如过去3天的均值、标准差、最大值滚动窗口统计。时间戳特征从日期中提取“小时”、“是否周末”、“月份”、“季度”等。外部变量及其滞后项加入当期的气温也加入前一天的气温。通过这种方式我们实际上是用机器学习模型来实现一个“非线性自回归分布滞后模型”。热词中提到的Transformer模型则是更高级的架构它通过自注意力机制直接建模整个序列的全局依赖关系在长序列预测任务中表现出了强大潜力但在数学建模中应用需考虑数据量和计算资源的限制。3. 核心模型与算法选型指南面对具体问题模型选型是第一步。下表对比了几种在数学建模中常用的时间序列回归方法及其适用场景模型/方法核心思想关键参数/配置适用场景注意事项ARIMAX在ARIMA基础上增加外生变量。是线性模型。(p,d,q)阶数外生变量矩阵。序列线性关系明显外生变量影响直接且样本量不大。需严格满足平稳性假设。外生变量也需是时间序列且需要未来值用于预测。线性回归 时序特征将滞后项、时间特征等作为自变量用OLS等回归。特征工程滞后阶数、交互项。快速基线模型关系近似线性适合探索性分析。必须处理序列自相关如用Newey-West调整标准误否则推断不可靠。XGBoost / LightGBM 时序特征将时序特征工程后输入梯度提升树模型。树深度、学习率、子样本比例、滞后特征窗口。最通用和推荐。能处理非线性、交互效应对缺失值、异常值稳健。小心过拟合需用时序交叉验证。特征重要性分析可解释性强。Prophet加法模型拟合趋势、季节性和假日效应。季节性的傅里叶级数阶数变点先验尺度。具有强季节性、假日效应且趋势变化明显的商业序列。黑盒程度相对较高自定义外部变量回归项的能力有限。LSTM/GRU循环神经网络天然适合序列建模。隐藏层维度、时间步长、丢弃率。序列长、依赖关系复杂有充足数据通常1000样本。需要大量数据调参训练慢解释性差。数学建模中慎用除非赛题明确或数据量极大。Transformer基于自注意力机制捕捉长程依赖。头数、编码/解码器层数、注意力维度。超长序列依赖关系跨越很远的时间点。数据需求极大计算资源要求高在传统统计预测问题上可能“杀鸡用牛刀”。实操心得在数学建模的有限时间内“XGBoost/LightGBM 精心设计的时序特征”往往是性价比最高的选择。它既能捕捉非线性又比深度学习模型更容易调参和解释结果也通常不差。可以先用它建立一个强基准模型如果时间允许再尝试更复杂的模型。3.1 模型选择的具体决策流程数据审视首先绘制序列图观察是否存在明显的趋势、季节性、周期性波动和异常点。计算自相关函数ACF和偏自相关函数PACF初步判断自回归和移动平均的阶数。平稳性检验使用ADF检验或KPSS检验。如果序列不平稳优先考虑通过差分对应ARIMA的d或分解如STL使其平稳。对于树模型虽然对平稳性要求不高但平稳数据通常能提升性能。基线模型建立简单起见先建立一个带时序特征的线性回归模型作为性能底线。使用statsmodels库的SARIMAX函数拟合一个ARIMAX模型通过AIC/BIC准则选择(p,d,q)阶数。进阶模型尝试将构建好的时序特征数据集包含滞后项、滚动统计、时间特征、外部变量放入XGBoost中进行训练。使用时序交叉验证评估。模型融合如果单一模型表现遇到瓶颈可以考虑简单加权平均或堆叠StackingARIMAX和XGBoost的预测结果这常常能提升最终预测的稳健性。4. 特征工程构建模型识别的“时间语言”特征工程是时间序列回归尤其是机器学习方法成功的关键。以下是一套系统的特征构建方案4.1 基础滞后与窗口特征这是最核心的特征。假设我们要预测Y(t)。滞后特征直接使用过去的值如Y(t-1),Y(t-2), ...,Y(t-n)。n的选择可以基于PACF图或尝试一个固定值如7、30。滚动窗口统计特征计算过去一个窗口期的统计量作为新特征。滚动均值/中位数反映近期平均水平。滚动标准差/变异系数反映近期波动性。滚动最大值/最小值反映近期极值。窗口大小可设为[3, 7, 14, 30]等以捕捉不同时间尺度的影响。扩展窗口统计特征从序列起点到当前时刻的累计统计量如累计均值、累计标准差反映长期水平。4.2 时间戳衍生特征从日期时间索引中提取丰富的信息。周期性编码将“一天中的小时”、“一年中的第几天”等转化为正弦/余弦对以捕捉循环特性。# 例如对于月份周期12个月 df[month_sin] np.sin(2 * np.pi * df[month]/12) df[month_cos] np.cos(2 * np.pi * df[month]/12)分类特征是否周末、是否节假日、季度、月份、周几。这些需要进行独热编码或标签编码。时间流逝特征距离某个特定起点如项目开始、年初的天数。可以捕捉潜在的趋势。4.3 外部变量与交互特征直接引入与目标变量可能相关的其他时序数据如气温、湿度、油价、汇率、竞争对手价格等。滞后引入外部变量也可能有滞后效应。例如今天的广告投入可能影响未来几天的销量。因此需要创建外部变量的滞后特征。交互特征创建滞后目标变量与外部变量的交互项。例如Y(t-1) * 是否周末可以衡量周末效应是否改变了自回归的强度。4.4 基于分解的特征使用STL或移动平均法将原序列分解后可以将分解出的趋势成分、季节性成分甚至残差成分的滞后项作为特征。这相当于让模型分别学习不同成分的演变规律。注意事项构建滞后特征会导致数据前几行出现缺失值NaN。需要谨慎处理对于训练集通常直接删除这些行对于预测则需要用历史真实值或预测值来填充这些滞后项。务必确保在交叉验证和最终预测时绝不使用未来信息来填充当前的特征。5. 建模全流程实操与核心代码解析我们以一个虚构的“便利店每日销售额预测”赛题为例演示完整流程。假设我们有sales销售额、temperature气温、is_holiday是否假日三个时序变量。5.1 数据准备与探索性分析import pandas as pd import numpy as np import matplotlib.pyplot as plt from statsmodels.tsa.stattools import adfuller from statsmodels.graphics.tsaplots import plot_acf, plot_pacf # 1. 加载数据确保索引为DatetimeIndex df pd.read_csv(store_sales.csv, parse_dates[date], index_coldate) df df.sort_index() # 2. 可视化 fig, axes plt.subplots(3, 1, figsize(15, 10)) df[sales].plot(axaxes[0], titleDaily Sales) df[temperature].plot(axaxes[1], titleDaily Temperature, colororange) df[is_holiday].astype(int).plot(axaxes[2], titleHoliday Indicator, drawstylesteps-post) plt.tight_layout() plt.show() # 3. 平稳性检验 (ADF) def adf_test(series): result adfuller(series.dropna()) print(fADF Statistic: {result[0]:.4f}) print(fp-value: {result[1]:.4f}) print(Critical Values:) for key, value in result[4].items(): print(f\t{key}: {value:.4f}) if result[1] 0.05: print(- 序列平稳 (拒绝原假设)) else: print(- 序列非平稳) print(Sales ADF Test:) adf_test(df[sales]) # 4. 查看自相关和偏自相关 fig, (ax1, ax2) plt.subplots(2, 1, figsize(12, 8)) plot_acf(df[sales].dropna(), lags40, axax1) plot_pacf(df[sales].dropna(), lags40, axax2) plt.show()5.2 构建时序特征数据集这是连接原始数据和机器学习模型的关键桥梁。def create_time_series_features(df, target_col, lags7, window_sizes[3, 7, 14]): 为时间序列回归创建特征 df: 原始DataFrame target_col: 目标列名 lags: 滞后阶数 window_sizes: 滚动窗口大小列表 df_feat df.copy() # 1. 滞后特征 for lag in range(1, lags1): df_feat[f{target_col}_lag_{lag}] df_feat[target_col].shift(lag) # 2. 滚动窗口特征 for window in window_sizes: df_feat[f{target_col}_roll_mean_{window}] df_feat[target_col].shift(1).rolling(windowwindow).mean() df_feat[f{target_col}_roll_std_{window}] df_feat[target_col].shift(1).rolling(windowwindow).std() df_feat[f{target_col}_roll_max_{window}] df_feat[target_col].shift(1).rolling(windowwindow).max() # 可以添加更多中位数、分位数、偏度等 # 3. 时间戳特征 df_feat[day_of_week] df_feat.index.dayofweek df_feat[month] df_feat.index.month df_feat[is_weekend] (df_feat.index.dayofweek 5).astype(int) # 周期性编码 df_feat[month_sin] np.sin(2 * np.pi * df_feat[month]/12) df_feat[month_cos] np.cos(2 * np.pi * df_feat[month]/12) # 4. 外部变量滞后假设气温也有滞后效应 for lag in [1, 2, 3]: df_feat[ftemperature_lag_{lag}] df_feat[temperature].shift(lag) # 5. 交互特征示例 df_feat[lag1_weekend] df_feat[f{target_col}_lag_1] * df_feat[is_weekend] # 删除因创建滞后和滚动特征产生的NaN行 df_feat df_feat.dropna() return df_feat # 应用函数 df_features create_time_series_features(df, target_colsales, lags14, window_sizes[3, 7, 14, 30]) print(f特征数据集形状: {df_features.shape})5.3 划分数据集与时序交叉验证绝对禁止使用随机划分必须保持时间顺序。from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import mean_absolute_error, mean_squared_error # 定义特征和目标 X df_features.drop(columns[sales]) # 确保目标列不在特征中 y df_features[sales] # 使用时序交叉验证 tscv TimeSeriesSplit(n_splits5) fold_scores [] for fold, (train_idx, val_idx) in enumerate(tscv.split(X)): X_train, X_val X.iloc[train_idx], X.iloc[val_idx] y_train, y_val y.iloc[train_idx], y.iloc[val_idx] print(fFold {fold1}: Train size: {len(X_train)}, Val size: {len(X_val)}) # 在这里训练和评估模型... # model.fit(X_train, y_train) # preds model.predict(X_val) # score mean_absolute_error(y_val, preds) # fold_scores.append(score)5.4 训练XGBoost回归模型import xgboost as xgb from sklearn.preprocessing import StandardScaler # 假设我们使用最后一个fold进行演示实际应用应循环所有fold train_idx, val_idx list(tscv.split(X))[-1] # 取最后一个划分 X_train, X_val X.iloc[train_idx], X.iloc[val_idx] y_train, y_val y.iloc[train_idx], y.iloc[val_idx] # 标准化对树模型非必须但有时有助稳定 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_val_scaled scaler.transform(X_val) # 定义并训练模型 model xgb.XGBRegressor( n_estimators300, # 树的数量 learning_rate0.05, # 学习率 max_depth6, # 树的最大深度 subsample0.8, # 每棵树使用的样本比例 colsample_bytree0.8, # 每棵树使用的特征比例 random_state42, n_jobs-1 ) model.fit(X_train_scaled, y_train, eval_set[(X_val_scaled, y_val)], early_stopping_rounds20, # 早停防止过拟合 verboseFalse) # 预测与评估 y_pred model.predict(X_val_scaled) mae mean_absolute_error(y_val, y_pred) rmse np.sqrt(mean_squared_error(y_val, y_pred)) print(fValidation MAE: {mae:.2f}) print(fValidation RMSE: {rmse:.2f}) # 特征重要性分析 feature_importance pd.DataFrame({ feature: X.columns, importance: model.feature_importances_ }).sort_values(importance, ascendingFalse) print(\nTop 10 重要特征:) print(feature_importance.head(10))5.5 建立ARIMAX基准模型from statsmodels.tsa.statespace.sarimax import SARIMAX # 注意statsmodels的SARIMAX要求外生变量在预测期也有值。 # 这里我们只用训练集拟合并假设我们已知验证集的外生变量值。 exog_train X_train[[temperature, is_holiday]] # 选择部分外生变量 exog_val X_val[[temperature, is_holiday]] # 拟合ARIMAX(1,1,1)模型 其中 order(p,d,q) arimax_model SARIMAX(y_train, exogexog_train, order(1, 1, 1), # 根据ACF/PACF图选择 seasonal_order(0, 0, 0, 0), # 无季节性 enforce_stationarityFalse, enforce_invertibilityFalse) arimax_result arimax_model.fit(dispFalse) print(arimax_result.summary()) # 预测需要提供预测期的外生变量 arimax_pred arimax_result.get_forecast(stepslen(y_val), exogexog_val).predicted_mean arimax_mae mean_absolute_error(y_val, arimax_pred) print(fARIMAX Validation MAE: {arimax_mae:.2f})6. 模型评估、调优与结果分析6.1 超越简单误差指标除了MAE、RMSE在时间序列预测中我们更应关注MAPE平均绝对百分比误差mean(abs((y_true - y_pred) / y_true)) * 100。易于理解但y_true接近0时不稳定。sMAPE对称MAPE对MAPE的改进。MASE平均绝对标度误差用朴素预测如季节性朴素预测的误差作为基准比值小于1说明模型优于基准。这是非常稳健的指标。预测区间不仅要有点预测还要有区间预测如95%置信区间。XGBoost可通过分位数回归或Conformal Prediction实现ARIMAX可直接输出置信区间。6.2 模型诊断与调优XGBoost调优使用网格搜索或贝叶斯优化对max_depth,learning_rate,n_estimators,subsample,colsample_bytree等关键参数进行调优。务必使用时序交叉验证评估。残差分析对最佳模型的预测残差进行分析。绘制残差序列图、残差ACF图。理想的残差应类似于白噪声无自相关、均值为0、方差恒定。如果残差存在自相关说明模型未能完全捕捉时间依赖结构需要增加滞后特征或尝试更复杂的模型。可视化对比将真实值、XGBoost预测值、ARIMAX预测值绘制在同一张图上直观比较模型在趋势转折点、峰值等关键位置的表现。6.3 特征重要性解读与故事构建XGBoost输出的特征重要性是建模的宝贵副产品。它告诉你模型做决策时最依赖哪些信息。在数学建模论文中这可以转化为深刻的“业务洞察”或“物理机制解释”。例如如果“销售额_滞后_7”和“是否周末”重要性很高你可以论述“模型揭示了销售额具有强烈的周周期性且周末效应对销售模式有显著调制作用。” 如果“气温_滞后_1”很重要可以论述“气温对销售额的影响存在一天的滞后效应可能是由于天气变化影响人们的出行计划进而影响次日消费。”7. 数学建模实战避坑指南与常见问题7.1 数据预处理中的陷阱缺失值处理时间序列的缺失值不能简单用全局均值填充。应采用前向填充、线性插值或基于时间序列模型如ARIMA的预测填充。对于外部变量缺失需根据其特性处理。异常值处理不要盲目删除。需区分是数据错误应修正或删除还是真实事件如促销、疫情应将其作为特征或单独建模。数据频率不一致例如销售额是日度广告投入是周度。需要将低频数据通过前向填充等方式匹配到高频或者将高频数据聚合到低频。7.2 模型训练与评估的陷阱数据泄露这是最常见且最严重的问题。确保在构建任何基于历史的特征滞后、滚动统计时只使用该时间点之前的信息。在代码中shift()函数必须在任何滚动计算之前。交叉验证必须严格按时序分割。过拟合树模型很容易过拟合时序中的噪声。除了使用早停、正则化参数reg_alpha,reg_lambda精简特征和增加验证集比例是关键。避免使用过长的滞后阶数。外生变量未来值问题在预测未来时ARIMAX等模型需要未来时间段的外生变量值。如果无法获得一种策略是对外生变量也建立预测模型但这会引入新的误差。另一种策略是只使用滞后的外生变量作为特征这样在预测时只需要其历史值。7.3 比赛策略与论文写作要点从简到繁先建立线性回归时序特征的基线模型再上XGBoost最后尝试复杂模型。确保每一步都有性能提升。融合模型单一模型可能在某些时段表现好另一些时段差。简单地将ARIMAX擅长线性趋势和XGBoost擅长非线性的预测结果进行加权平均往往能获得更稳定、排名更高的结果。论文可视化除了预测对比图务必包含序列分解图STL展示你对数据结构的理解。特征重要性水平条形图直观展示核心驱动因素。预测区间图展示未来预测的不确定性体现建模深度。残差诊断图ACF/PACF of residuals证明模型充分提取了信息。解释性数学建模看重“模型物理意义”。即使使用XGBoost这样的“黑盒”也要通过特征重要性、SHAP值等工具尽力解释模型行为将数据结论与现实逻辑挂钩。时间序列回归是一个融合了统计思维与机器学习技术的领域其魅力在于用模型语言翻译时间的韵律。在数学建模中它既是解决预测类问题的重器也是展示参赛者综合建模能力的舞台。从理解数据的内在节奏开始精心构建能够被模型识别的时间特征选择合适的算法框架并时刻警惕数据泄露的陷阱最终你将得到一个不仅预测准确而且逻辑清晰、解释性强的优秀模型。