1. 从线性回归的“完美”困境说起如果你参加过数学建模竞赛或者做过任何涉及预测、分析的课程设计线性回归大概率是你接触的第一个“正经”模型。它的逻辑清晰得令人着迷找到一条直线或超平面让所有数据点到这条线的距离之和最小。我们通常用最小二乘法OLS来求解公式漂亮计算直接在理想情况下它给出的结果堪称完美。但现实数据往往不按教科书出牌。我印象很深的是几年前带队参加国赛处理一个经济预测问题。我们收集了十几个可能影响GDP的指标信心满满地构建了一个多元线性回归模型。结果呢模型在训练集上表现近乎完美R²高达0.99可一旦用新数据验证预测结果就离谱得让人怀疑人生——这就是典型的过拟合。更麻烦的是当我们试图解释模型时发现好几个自变量的系数大得惊人甚至出现了违背经济常识的符号比如“通货膨胀率”对经济增长的贡献为负。这显然不合理。问题的根源在于多重共线性和模型复杂度过高。当自变量之间高度相关时比如“城市人口”和“汽车保有量”最小二乘估计会变得极其不稳定系数的方差会爆炸式增长。此时微小的数据扰动就可能导致系数估计值发生巨大变化甚至改变符号使得模型失去解释性。同时当我们引入大量特征时模型会拼命去“记忆”训练数据中的噪声而非学习普遍规律导致泛化能力骤降。岭回归Ridge Regression和LASSO回归Least Absolute Shrinkage and Selection Operator就是为了解决上述困境而诞生的“正则化”技术。它们不是在推翻OLS而是在其基础上增加了一个“约束项”像一位严厉的教练防止模型在训练中“过度发挥”。接下来我会结合具体的建模场景拆解这两种方法的原理、区别、实现细节以及最重要的——如何在数学建模中正确选择和使用它们。2. 岭回归稳定性优先的“平滑”大师岭回归的核心思想非常直观既然OLS在共线性下系数估计不稳定方差大那我们就给它的优化目标加个“紧箍咒”限制系数的大小换取估计的稳定性。2.1 原理拆解从损失函数到几何解释线性回归的OLS估计是求解使残差平方和RSS最小的参数βMinimize: RSS Σ(y_i - β_0 - Σβ_j * x_ij)^2岭回归在此基础上增加了一个L2范数惩罚项所有系数平方和Minimize: RSS λ * Σβ_j^2 (j1 to p)其中λ (lambda) 是一个大于0的超参数称为正则化强度。λ越大惩罚力度越强系数会被压缩得越接近于0但通常不会等于0。为什么L2惩罚能解决共线性我们可以从两个角度理解数学角度在OLS中当存在多重共线性时设计矩阵X^T X接近奇异行列式接近0求逆会变得非常不稳定导致系数方差无穷大。岭回归通过给X^T X矩阵的对角线元素都加上一个正数λ使其变成X^T X λI这个矩阵一定是满秩、可逆的从而得到了一个稳定的解。这相当于给病态的系统注入了一点“噪声”使其变得良态。几何角度可以把损失函数RSS惩罚项的等高线和约束条件系数平方和小于某个常数t画出来。OLS的解是RSS等高线的中心。岭回归的解则是RSS等高线与L2约束球一个圆或超球体的切点。这个切点处的系数其绝对值会被整体压缩但所有系数都得以保留。2.2 实操步骤与Python代码实现在数学建模中我们通常用Python的scikit-learn库来实现。假设我们正在处理“2024年高教社杯全国大学生数学建模竞赛C题”中关于农业生产数据分析的子问题特征包括降雨量、施肥量、温度、土壤pH值等这些特征间可能存在相关性。import numpy as np import pandas as pd from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.linear_model import Ridge from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_squared_error, r2_score # 1. 数据准备与预处理 # 假设df是我们的DataFrameyield是目标变量‘产量’其他是特征 X df.drop(columns[yield]) y df[yield] # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 2. 特征标准化非常重要 # 因为L2惩罚项是对所有系数进行平方和惩罚如果特征量纲不同量级大的特征会天然主导惩罚项导致模型不公平地压缩量级小的特征。 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 注意使用训练集的均值和方差来转换测试集 # 3. 模型训练与超参数调优 # 岭回归的关键在于选择最优的λ。我们可以使用交叉验证网格搜索。 ridge Ridge() parameters {alpha: np.logspace(-3, 3, 13)} # alpha就是sklearn中的λ这里测试从0.001到1000的值 grid_search GridSearchCV(ridge, parameters, cv5, scoringneg_mean_squared_error) grid_search.fit(X_train_scaled, y_train) # 输出最佳参数 print(fBest alpha (λ): {grid_search.best_params_[alpha]}) print(fBest CV score (negative MSE): {grid_search.best_score_}) # 4. 使用最佳模型进行预测和评估 best_ridge grid_search.best_estimator_ y_pred best_ridge.predict(X_test_scaled) mse mean_squared_error(y_test, y_pred) r2 r2_score(y_test, y_pred) print(fTest MSE: {mse:.4f}) print(fTest R²: {r2:.4f}) # 5. 查看模型系数 coef_df pd.DataFrame({ feature: X.columns, coefficient: best_ridge.coef_ }) print(coef_df.sort_values(bycoefficient, keyabs, ascendingFalse))2.3 核心经验如何解读与调参系数解读经过岭回归拟合后系数不再是无偏估计而是有偏估计。这意味着我们不能像解读OLS系数那样严格地说“保持其他变量不变X每增加1单位Y平均变化β单位”。它的解释更倾向于在存在共线性的情况下各变量对目标的一个相对稳定的贡献度排序。在论文中可以这样表述“为了缓解多重共线性对模型稳定性的影响采用岭回归进行估计。结果显示在控制其他因素后特征A和特征B对因变量Y表现出最强的正向关联。”超参数λ的选择λ0退化为普通线性回归。λ→∞所有系数被压缩至0模型变成只包含截距项的均值模型。最佳λ需要通过交叉验证寻找。通常的做法是绘制岭迹图。import matplotlib.pyplot as plt alphas np.logspace(-3, 3, 50) coefs [] for a in alphas: ridge Ridge(alphaa) ridge.fit(X_train_scaled, y_train) coefs.append(ridge.coef_) plt.figure(figsize(10, 6)) ax plt.gca() ax.plot(alphas, coefs) ax.set_xscale(log) ax.set_xlabel(alpha (λ) - Log Scale) ax.set_ylabel(coefficients) ax.set_title(Ridge Coefficients as a Function of Regularization) plt.legend(X.columns, locupper right) plt.grid(True) plt.show()在岭迹图上随着λ增大观察各系数变化趋势。选择一个λ值使得各系数基本稳定不再发生剧烈波动同时模型的预测误差通过交叉验证得到也较小。注意特征标准化是岭回归和LASSO回归前的必需步骤。如果不做标准化量纲大的特征如“GDP万亿元”的系数会被惩罚项过度压缩而量纲小的特征如“利率0.05”则几乎不受影响导致模型失真。3. LASSO回归兼具特征选择的“稀疏”高手如果说岭回归是一位追求稳定的“老成”派那么LASSO回归就是一位追求简洁的“犀利”派。它不仅能处理共线性还能自动进行特征选择生成一个稀疏模型即很多系数为0的模型这在特征数量很多高维数据时极具价值。3.1 原理对比L1惩罚与特征压缩LASSO的损失函数是在OLS基础上增加L1范数惩罚项系数绝对值之和Minimize: RSS λ * Σ|β_j| (j1 to p)这个小小的改动平方和变绝对值之和带来了质的变化几何解释LASSO的约束条件是一个菱形L1范数球。这个菱形在坐标轴上有“尖角”。当RSS等高线与这个菱形相切时切点有很大概率正好落在菱形的尖角上而尖角的位置意味着某些坐标系数为0。这就实现了特征选择。数学特性L1惩罚项导致损失函数在零点不可导使得优化问题的解具有稀疏性。它是凸优化问题可以用坐标下降法等高效算法求解。3.2 实操步骤与关键差异继续使用之前的农业数据例子我们来看看LASSO如何操作。from sklearn.linear_model import Lasso, LassoCV # 1. 2. 数据预处理和标准化与岭回归完全相同此处省略 # 3. 使用LassoCV进行自动化调参内置交叉验证 # LassoCV会沿着一条路径计算不同λ下的系数并选择交叉验证误差最小的λ。 lasso_cv LassoCV(alphasnp.logspace(-4, 0, 50), cv5, max_iter10000, random_state42) lasso_cv.fit(X_train_scaled, y_train) print(fBest alpha (λ) from LassoCV: {lasso_cv.alpha_}) # 4. 评估最佳模型 y_pred_lasso lasso_cv.predict(X_test_scaled) mse_lasso mean_squared_error(y_test, y_pred_lasso) r2_lasso r2_score(y_test, y_pred_lasso) print(fLasso Test MSE: {mse_lasso:.4f}) print(fLasso Test R²: {r2_lasso:.4f}) # 5. 查看系数观察稀疏性 coef_lasso_df pd.DataFrame({ feature: X.columns, coefficient: lasso_cv.coef_ }) selected_features coef_lasso_df[coef_lasso_df[coefficient] ! 0] print(fNumber of features selected by Lasso: {len(selected_features)}) print(selected_features.sort_values(bycoefficient, keyabs, ascendingFalse))3.3 踩坑实录LASSO的局限性与我常用的变体在实际使用中我踩过几个典型的坑坑一特征高度相关时LASSO可能随机选择。 如果有一组高度相关的特征LASSO倾向于只从中选择一个而将其他相关的特征系数压缩为0。这个选择过程可能具有随机性依赖于数据微小的扰动。这在某些需要保留所有相关特征的场景如基于模型的推断下是不利的。解决方案使用弹性网络Elastic Net。它结合了L1和L2惩罚公式为RSS λ1 * Σ|β_j| λ2 * Σβ_j^2。弹性网络既鼓励稀疏性像LASSO又在高度相关的特征上表现出分组效应像岭回归让它们的系数趋于相等。scikit-learn中的ElasticNetCV可以方便地使用。from sklearn.linear_model import ElasticNetCV en_cv ElasticNetCV(l1_ratio[.1, .5, .7, .9, .95, .99, 1], # l1_ratio控制L1惩罚的比例1为纯LASSO alphasnp.logspace(-4, 0, 30), cv5, max_iter10000, random_state42) en_cv.fit(X_train_scaled, y_train) print(fBest l1_ratio: {en_cv.l1_ratio_}, Best alpha: {en_cv.alpha_})坑二超参数λ对结果极其敏感且没有闭式解。 LASSO的解没有像岭回归那样的解析表达式只能通过迭代算法求解。不同的λ值可能得到完全不同的特征子集。交叉验证是必须的而且最好结合稳定性选择Stability Selection等方法来评估特征被选中的概率增加结果的可靠性。坑三当特征数p远大于样本数n时。 这是高维数据的典型场景例如基因芯片数据。此时LASSO最多只能选择n个非零特征。如果真实的重要特征多于n个LASSO就无法全部找出。在这种情况下需要结合领域知识进行初步筛选或者使用专门针对高维数据设计的变体。4. 数学建模实战如何根据场景做选择与结果呈现在数学建模竞赛的短短几天里模型选择必须果断且有据可依。岭回归和LASSO不是二选一而是一个从“稳定”到“简洁”的谱系。4.1 选择策略流程图与决策依据面对一个回归问题我的决策流程通常是这样的数据诊断先行计算特征间的方差膨胀因子VIF。通常VIF10表明存在严重共线性。观察特征数量(p)与样本数量(n)的比例。如果p与n相当或pn优先考虑LASSO或弹性网络。思考建模目标是追求预测精度还是追求模型解释性和特征重要性排序模型尝试与对比基准模型先跑一个普通的线性回归或带逐步回归记录其训练集和测试集表现如R², MSE。岭回归用交叉验证确定最佳λ记录性能。观察岭迹图看系数是否稳定。LASSO/弹性网络用交叉验证确定参数记录性能。重点关注被选中的特征集合是否具有业务/理论意义。性能对比表格这是论文中的加分项。模型最佳超参数训练集R²测试集R²测试集MSE入选特征数主要特点OLS-0.9820.72315.4212基准过拟合严重Ridgeλ1.20.9010.8458.7112系数稳定共线性缓解Lassoλ0.050.8800.8588.017模型简洁特征选择Elastic Netλ0.1, l1_ratio0.70.8920.8627.899平衡稀疏性与稳定性最终抉择如果测试集性能相差不大但模型解释性至关重要比如需要向评委或甲方解释哪些因素关键选择LASSO或弹性网络并详细分析入选的特征。如果所有特征理论上都可能有贡献你不想丢弃任何信息且共线性是主要矛盾选择岭回归。如果追求极致的预测性能且计算资源允许可以将岭回归和LASSO的预测结果进行加权平均集成有时能获得更好的效果。4.2 论文中的表述与可视化技巧在数学建模论文中不能只扔出一个结果必须清晰地展示你的分析过程。1. 共线性诊断展示from statsmodels.stats.outliers_influence import variance_inflation_factor from statsmodels.tools.tools import add_constant X_with_const add_constant(X) # 计算VIF需要添加常数项 vif_data pd.DataFrame() vif_data[feature] X_with_const.columns vif_data[VIF] [variance_inflation_factor(X_with_const.values, i) for i in range(X_with_const.shape[1])] print(vif_data)将VIF结果以表格形式放入论文附录并指出“特征X1与X2的VIF值均大于10表明数据存在多重共线性因此采用正则化回归方法”。2. 正则化路径图 对于LASSO绘制系数随λ变化的路径图能直观展示特征被逐步压缩至0的过程。from sklearn.linear_model import lasso_path alphas_lasso, coefs_lasso, _ lasso_path(X_train_scaled, y_train, alphasnp.logspace(-3, 1, 50)) plt.figure(figsize(10, 6)) for i in range(coefs_lasso.shape[0]): plt.plot(alphas_lasso, coefs_lasso[i], labelX.columns[i]) plt.xscale(log) plt.xlabel(alpha (λ)) plt.ylabel(coefficients) plt.title(LASSO Coefficient Paths) plt.legend(locupper right) plt.grid(True) plt.show()3. 结果分析对于岭回归“随着正则化强度α增大各系数估计值趋于稳定见岭迹图附件最终模型在α1.2时取得最优交叉验证性能。与OLS相比特征‘化肥用量’的系数从15.8降至9.3估计更为稳健。”对于LASSO“LASSO模型在λ0.05时从12个原始特征中自动筛选出7个重要特征见表2。其中‘有效积温’和‘播种密度’被剔除这与农学常识相符因该品种对积温不敏感且实验播种密度范围较窄。最终模型在保证精度的同时大幅提升了简洁性和可解释性。”4.3 一个综合案例预测城市房价假设我们拿到一个类似“波士顿房价”的数据集特征包括人均犯罪率、住宅平均房间数、到中心区距离等。我们的目标是预测房价中位数。探索性分析发现“房间数”和“住宅数量”存在较强相关性VIF高。基准模型OLS回归训练集R²高但测试集表现差且“到中心区距离”的系数为正违背常识。应用岭回归系数稳定性增强“到中心区距离”系数变为合理的负值。测试集R²提升。应用LASSO它自动剔除了“一氧化氮浓度”等对房价直接影响较弱的特征保留了“房间数”、“学区评分”、“低收入人群比例”等核心特征模型更简洁。最终提交在论文中我们选择弹性网络模型作为最终模型。理由是房价影响因素复杂特征间存在相关性如房间数和面积弹性网络的L2部分能处理这种相关性同时我们也希望模型有一定简洁性弹性网络的L1部分可以剔除一些次要特征。我们给出了弹性网络的系数表、特征重要性排序并对比了不同模型的交叉验证分数论证了最终选择的合理性。最后一点心得在数学建模中岭回归和LASSO不仅是工具更是你应对数据缺陷共线性、高维的策略。理解其背后的统计思想偏差-方差权衡比记住sklearn的调用语句更重要。当你向评委解释为什么放弃OLS而选择正则化模型时从“模型稳定性”和“泛化能力”的角度论述会显得非常专业。永远记住没有最好的模型只有最适合当前数据与问题的模型。 
长河君 · 2026/8/21 14:48:58 · 阅读 1.2k 从过拟合到正则化：岭回归与LASSO在数学建模中的实战解析
1. 从线性回归的“完美”困境说起如果你参加过数学建模竞赛或者做过任何涉及预测、分析的课程设计线性回归大概率是你接触的第一个“正经”模型。它的逻辑清晰得令人着迷找到一条直线或超平面让所有数据点到这条线的距离之和最小。我们通常用最小二乘法OLS来求解公式漂亮计算直接在理想情况下它给出的结果堪称完美。但现实数据往往不按教科书出牌。我印象很深的是几年前带队参加国赛处理一个经济预测问题。我们收集了十几个可能影响GDP的指标信心满满地构建了一个多元线性回归模型。结果呢模型在训练集上表现近乎完美R²高达0.99可一旦用新数据验证预测结果就离谱得让人怀疑人生——这就是典型的过拟合。更麻烦的是当我们试图解释模型时发现好几个自变量的系数大得惊人甚至出现了违背经济常识的符号比如“通货膨胀率”对经济增长的贡献为负。这显然不合理。问题的根源在于多重共线性和模型复杂度过高。当自变量之间高度相关时比如“城市人口”和“汽车保有量”最小二乘估计会变得极其不稳定系数的方差会爆炸式增长。此时微小的数据扰动就可能导致系数估计值发生巨大变化甚至改变符号使得模型失去解释性。同时当我们引入大量特征时模型会拼命去“记忆”训练数据中的噪声而非学习普遍规律导致泛化能力骤降。岭回归Ridge Regression和LASSO回归Least Absolute Shrinkage and Selection Operator就是为了解决上述困境而诞生的“正则化”技术。它们不是在推翻OLS而是在其基础上增加了一个“约束项”像一位严厉的教练防止模型在训练中“过度发挥”。接下来我会结合具体的建模场景拆解这两种方法的原理、区别、实现细节以及最重要的——如何在数学建模中正确选择和使用它们。2. 岭回归稳定性优先的“平滑”大师岭回归的核心思想非常直观既然OLS在共线性下系数估计不稳定方差大那我们就给它的优化目标加个“紧箍咒”限制系数的大小换取估计的稳定性。2.1 原理拆解从损失函数到几何解释线性回归的OLS估计是求解使残差平方和RSS最小的参数βMinimize: RSS Σ(y_i - β_0 - Σβ_j * x_ij)^2岭回归在此基础上增加了一个L2范数惩罚项所有系数平方和Minimize: RSS λ * Σβ_j^2 (j1 to p)其中λ (lambda) 是一个大于0的超参数称为正则化强度。λ越大惩罚力度越强系数会被压缩得越接近于0但通常不会等于0。为什么L2惩罚能解决共线性我们可以从两个角度理解数学角度在OLS中当存在多重共线性时设计矩阵X^T X接近奇异行列式接近0求逆会变得非常不稳定导致系数方差无穷大。岭回归通过给X^T X矩阵的对角线元素都加上一个正数λ使其变成X^T X λI这个矩阵一定是满秩、可逆的从而得到了一个稳定的解。这相当于给病态的系统注入了一点“噪声”使其变得良态。几何角度可以把损失函数RSS惩罚项的等高线和约束条件系数平方和小于某个常数t画出来。OLS的解是RSS等高线的中心。岭回归的解则是RSS等高线与L2约束球一个圆或超球体的切点。这个切点处的系数其绝对值会被整体压缩但所有系数都得以保留。2.2 实操步骤与Python代码实现在数学建模中我们通常用Python的scikit-learn库来实现。假设我们正在处理“2024年高教社杯全国大学生数学建模竞赛C题”中关于农业生产数据分析的子问题特征包括降雨量、施肥量、温度、土壤pH值等这些特征间可能存在相关性。import numpy as np import pandas as pd from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.linear_model import Ridge from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_squared_error, r2_score # 1. 数据准备与预处理 # 假设df是我们的DataFrameyield是目标变量‘产量’其他是特征 X df.drop(columns[yield]) y df[yield] # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 2. 特征标准化非常重要 # 因为L2惩罚项是对所有系数进行平方和惩罚如果特征量纲不同量级大的特征会天然主导惩罚项导致模型不公平地压缩量级小的特征。 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 注意使用训练集的均值和方差来转换测试集 # 3. 模型训练与超参数调优 # 岭回归的关键在于选择最优的λ。我们可以使用交叉验证网格搜索。 ridge Ridge() parameters {alpha: np.logspace(-3, 3, 13)} # alpha就是sklearn中的λ这里测试从0.001到1000的值 grid_search GridSearchCV(ridge, parameters, cv5, scoringneg_mean_squared_error) grid_search.fit(X_train_scaled, y_train) # 输出最佳参数 print(fBest alpha (λ): {grid_search.best_params_[alpha]}) print(fBest CV score (negative MSE): {grid_search.best_score_}) # 4. 使用最佳模型进行预测和评估 best_ridge grid_search.best_estimator_ y_pred best_ridge.predict(X_test_scaled) mse mean_squared_error(y_test, y_pred) r2 r2_score(y_test, y_pred) print(fTest MSE: {mse:.4f}) print(fTest R²: {r2:.4f}) # 5. 查看模型系数 coef_df pd.DataFrame({ feature: X.columns, coefficient: best_ridge.coef_ }) print(coef_df.sort_values(bycoefficient, keyabs, ascendingFalse))2.3 核心经验如何解读与调参系数解读经过岭回归拟合后系数不再是无偏估计而是有偏估计。这意味着我们不能像解读OLS系数那样严格地说“保持其他变量不变X每增加1单位Y平均变化β单位”。它的解释更倾向于在存在共线性的情况下各变量对目标的一个相对稳定的贡献度排序。在论文中可以这样表述“为了缓解多重共线性对模型稳定性的影响采用岭回归进行估计。结果显示在控制其他因素后特征A和特征B对因变量Y表现出最强的正向关联。”超参数λ的选择λ0退化为普通线性回归。λ→∞所有系数被压缩至0模型变成只包含截距项的均值模型。最佳λ需要通过交叉验证寻找。通常的做法是绘制岭迹图。import matplotlib.pyplot as plt alphas np.logspace(-3, 3, 50) coefs [] for a in alphas: ridge Ridge(alphaa) ridge.fit(X_train_scaled, y_train) coefs.append(ridge.coef_) plt.figure(figsize(10, 6)) ax plt.gca() ax.plot(alphas, coefs) ax.set_xscale(log) ax.set_xlabel(alpha (λ) - Log Scale) ax.set_ylabel(coefficients) ax.set_title(Ridge Coefficients as a Function of Regularization) plt.legend(X.columns, locupper right) plt.grid(True) plt.show()在岭迹图上随着λ增大观察各系数变化趋势。选择一个λ值使得各系数基本稳定不再发生剧烈波动同时模型的预测误差通过交叉验证得到也较小。注意特征标准化是岭回归和LASSO回归前的必需步骤。如果不做标准化量纲大的特征如“GDP万亿元”的系数会被惩罚项过度压缩而量纲小的特征如“利率0.05”则几乎不受影响导致模型失真。3. LASSO回归兼具特征选择的“稀疏”高手如果说岭回归是一位追求稳定的“老成”派那么LASSO回归就是一位追求简洁的“犀利”派。它不仅能处理共线性还能自动进行特征选择生成一个稀疏模型即很多系数为0的模型这在特征数量很多高维数据时极具价值。3.1 原理对比L1惩罚与特征压缩LASSO的损失函数是在OLS基础上增加L1范数惩罚项系数绝对值之和Minimize: RSS λ * Σ|β_j| (j1 to p)这个小小的改动平方和变绝对值之和带来了质的变化几何解释LASSO的约束条件是一个菱形L1范数球。这个菱形在坐标轴上有“尖角”。当RSS等高线与这个菱形相切时切点有很大概率正好落在菱形的尖角上而尖角的位置意味着某些坐标系数为0。这就实现了特征选择。数学特性L1惩罚项导致损失函数在零点不可导使得优化问题的解具有稀疏性。它是凸优化问题可以用坐标下降法等高效算法求解。3.2 实操步骤与关键差异继续使用之前的农业数据例子我们来看看LASSO如何操作。from sklearn.linear_model import Lasso, LassoCV # 1. 2. 数据预处理和标准化与岭回归完全相同此处省略 # 3. 使用LassoCV进行自动化调参内置交叉验证 # LassoCV会沿着一条路径计算不同λ下的系数并选择交叉验证误差最小的λ。 lasso_cv LassoCV(alphasnp.logspace(-4, 0, 50), cv5, max_iter10000, random_state42) lasso_cv.fit(X_train_scaled, y_train) print(fBest alpha (λ) from LassoCV: {lasso_cv.alpha_}) # 4. 评估最佳模型 y_pred_lasso lasso_cv.predict(X_test_scaled) mse_lasso mean_squared_error(y_test, y_pred_lasso) r2_lasso r2_score(y_test, y_pred_lasso) print(fLasso Test MSE: {mse_lasso:.4f}) print(fLasso Test R²: {r2_lasso:.4f}) # 5. 查看系数观察稀疏性 coef_lasso_df pd.DataFrame({ feature: X.columns, coefficient: lasso_cv.coef_ }) selected_features coef_lasso_df[coef_lasso_df[coefficient] ! 0] print(fNumber of features selected by Lasso: {len(selected_features)}) print(selected_features.sort_values(bycoefficient, keyabs, ascendingFalse))3.3 踩坑实录LASSO的局限性与我常用的变体在实际使用中我踩过几个典型的坑坑一特征高度相关时LASSO可能随机选择。 如果有一组高度相关的特征LASSO倾向于只从中选择一个而将其他相关的特征系数压缩为0。这个选择过程可能具有随机性依赖于数据微小的扰动。这在某些需要保留所有相关特征的场景如基于模型的推断下是不利的。解决方案使用弹性网络Elastic Net。它结合了L1和L2惩罚公式为RSS λ1 * Σ|β_j| λ2 * Σβ_j^2。弹性网络既鼓励稀疏性像LASSO又在高度相关的特征上表现出分组效应像岭回归让它们的系数趋于相等。scikit-learn中的ElasticNetCV可以方便地使用。from sklearn.linear_model import ElasticNetCV en_cv ElasticNetCV(l1_ratio[.1, .5, .7, .9, .95, .99, 1], # l1_ratio控制L1惩罚的比例1为纯LASSO alphasnp.logspace(-4, 0, 30), cv5, max_iter10000, random_state42) en_cv.fit(X_train_scaled, y_train) print(fBest l1_ratio: {en_cv.l1_ratio_}, Best alpha: {en_cv.alpha_})坑二超参数λ对结果极其敏感且没有闭式解。 LASSO的解没有像岭回归那样的解析表达式只能通过迭代算法求解。不同的λ值可能得到完全不同的特征子集。交叉验证是必须的而且最好结合稳定性选择Stability Selection等方法来评估特征被选中的概率增加结果的可靠性。坑三当特征数p远大于样本数n时。 这是高维数据的典型场景例如基因芯片数据。此时LASSO最多只能选择n个非零特征。如果真实的重要特征多于n个LASSO就无法全部找出。在这种情况下需要结合领域知识进行初步筛选或者使用专门针对高维数据设计的变体。4. 数学建模实战如何根据场景做选择与结果呈现在数学建模竞赛的短短几天里模型选择必须果断且有据可依。岭回归和LASSO不是二选一而是一个从“稳定”到“简洁”的谱系。4.1 选择策略流程图与决策依据面对一个回归问题我的决策流程通常是这样的数据诊断先行计算特征间的方差膨胀因子VIF。通常VIF10表明存在严重共线性。观察特征数量(p)与样本数量(n)的比例。如果p与n相当或pn优先考虑LASSO或弹性网络。思考建模目标是追求预测精度还是追求模型解释性和特征重要性排序模型尝试与对比基准模型先跑一个普通的线性回归或带逐步回归记录其训练集和测试集表现如R², MSE。岭回归用交叉验证确定最佳λ记录性能。观察岭迹图看系数是否稳定。LASSO/弹性网络用交叉验证确定参数记录性能。重点关注被选中的特征集合是否具有业务/理论意义。性能对比表格这是论文中的加分项。模型最佳超参数训练集R²测试集R²测试集MSE入选特征数主要特点OLS-0.9820.72315.4212基准过拟合严重Ridgeλ1.20.9010.8458.7112系数稳定共线性缓解Lassoλ0.050.8800.8588.017模型简洁特征选择Elastic Netλ0.1, l1_ratio0.70.8920.8627.899平衡稀疏性与稳定性最终抉择如果测试集性能相差不大但模型解释性至关重要比如需要向评委或甲方解释哪些因素关键选择LASSO或弹性网络并详细分析入选的特征。如果所有特征理论上都可能有贡献你不想丢弃任何信息且共线性是主要矛盾选择岭回归。如果追求极致的预测性能且计算资源允许可以将岭回归和LASSO的预测结果进行加权平均集成有时能获得更好的效果。4.2 论文中的表述与可视化技巧在数学建模论文中不能只扔出一个结果必须清晰地展示你的分析过程。1. 共线性诊断展示from statsmodels.stats.outliers_influence import variance_inflation_factor from statsmodels.tools.tools import add_constant X_with_const add_constant(X) # 计算VIF需要添加常数项 vif_data pd.DataFrame() vif_data[feature] X_with_const.columns vif_data[VIF] [variance_inflation_factor(X_with_const.values, i) for i in range(X_with_const.shape[1])] print(vif_data)将VIF结果以表格形式放入论文附录并指出“特征X1与X2的VIF值均大于10表明数据存在多重共线性因此采用正则化回归方法”。2. 正则化路径图 对于LASSO绘制系数随λ变化的路径图能直观展示特征被逐步压缩至0的过程。from sklearn.linear_model import lasso_path alphas_lasso, coefs_lasso, _ lasso_path(X_train_scaled, y_train, alphasnp.logspace(-3, 1, 50)) plt.figure(figsize(10, 6)) for i in range(coefs_lasso.shape[0]): plt.plot(alphas_lasso, coefs_lasso[i], labelX.columns[i]) plt.xscale(log) plt.xlabel(alpha (λ)) plt.ylabel(coefficients) plt.title(LASSO Coefficient Paths) plt.legend(locupper right) plt.grid(True) plt.show()3. 结果分析对于岭回归“随着正则化强度α增大各系数估计值趋于稳定见岭迹图附件最终模型在α1.2时取得最优交叉验证性能。与OLS相比特征‘化肥用量’的系数从15.8降至9.3估计更为稳健。”对于LASSO“LASSO模型在λ0.05时从12个原始特征中自动筛选出7个重要特征见表2。其中‘有效积温’和‘播种密度’被剔除这与农学常识相符因该品种对积温不敏感且实验播种密度范围较窄。最终模型在保证精度的同时大幅提升了简洁性和可解释性。”4.3 一个综合案例预测城市房价假设我们拿到一个类似“波士顿房价”的数据集特征包括人均犯罪率、住宅平均房间数、到中心区距离等。我们的目标是预测房价中位数。探索性分析发现“房间数”和“住宅数量”存在较强相关性VIF高。基准模型OLS回归训练集R²高但测试集表现差且“到中心区距离”的系数为正违背常识。应用岭回归系数稳定性增强“到中心区距离”系数变为合理的负值。测试集R²提升。应用LASSO它自动剔除了“一氧化氮浓度”等对房价直接影响较弱的特征保留了“房间数”、“学区评分”、“低收入人群比例”等核心特征模型更简洁。最终提交在论文中我们选择弹性网络模型作为最终模型。理由是房价影响因素复杂特征间存在相关性如房间数和面积弹性网络的L2部分能处理这种相关性同时我们也希望模型有一定简洁性弹性网络的L1部分可以剔除一些次要特征。我们给出了弹性网络的系数表、特征重要性排序并对比了不同模型的交叉验证分数论证了最终选择的合理性。最后一点心得在数学建模中岭回归和LASSO不仅是工具更是你应对数据缺陷共线性、高维的策略。理解其背后的统计思想偏差-方差权衡比记住sklearn的调用语句更重要。当你向评委解释为什么放弃OLS而选择正则化模型时从“模型稳定性”和“泛化能力”的角度论述会显得非常专业。永远记住没有最好的模型只有最适合当前数据与问题的模型。