正则化教程

正则化（Regularization）是机器学习中用于防止模型过拟合的一种技术，通过增加对模型复杂度的约束，使模型在训练数据和未见数据上都有更好的泛化能力。常用的正则化方法包括 L1 正则化（Lasso）、L2 正则化（Ridge）、以及更复杂的 Dropout 等方法。

这里我为你提供一个关于 L1 和 L2 正则化的详细教程，包括代码示例。

1. 正则化原理

L1 正则化（Lasso）

L1 正则化会在损失函数中加入权重系数绝对值的和，鼓励稀疏模型（即部分权重为 0）。其损失函数为：
[ Loss = \text{MSE} + \lambda \sum_{i=1}^{n} |w_i| ]
其中，( \lambda ) 是正则化参数，用于控制正则化的强度，( w_i ) 是模型的权重。

L2 正则化（Ridge）

L2 正则化则是将权重的平方和加入到损失函数中，鼓励模型的权重较小，但不会使权重完全为 0。其损失函数为：
[ Loss = \text{MSE} + \lambda \sum_{i=1}^{n} w_i^2 ]

2. L1 和 L2 正则化的实现（使用 Scikit-learn）

我们将通过 Python 的 Scikit-learn 库来演示如何实现 L1 和 L2 正则化。

数据准备

我们使用一个简单的线性回归问题进行演示，首先加载并准备数据。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_regression# 生成样本数据
X, y = make_regression(n_samples=100, n_features=10, noise=0.1, random_state=42)# 拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

L1 正则化（Lasso）

L1 正则化可以使用 Scikit-learn 的 Lasso 模型进行实现。

from sklearn.linear_model import Lasso
from sklearn.metrics import mean_squared_error# L1 正则化
lasso = Lasso(alpha=0.1)  # alpha 为正则化强度，类似于 λ
lasso.fit(X_train, y_train)# 预测
y_pred_lasso = lasso.predict(X_test)# 评估
mse_lasso = mean_squared_error(y_test, y_pred_lasso)
print(f"Lasso MSE: {mse_lasso}")# 查看模型的系数（部分系数会被压缩为 0）
print(f"Lasso Coefficients: {lasso.coef_}")

L2 正则化（Ridge）

L2 正则化可以使用 Scikit-learn 的 Ridge 模型进行实现。

from sklearn.linear_model import Ridge# L2 正则化
ridge = Ridge(alpha=0.1)
ridge.fit(X_train, y_train)# 预测
y_pred_ridge = ridge.predict(X_test)# 评估
mse_ridge = mean_squared_error(y_test, y_pred_ridge)
print(f"Ridge MSE: {mse_ridge}")# 查看模型的系数（权重更小但不会为 0）
print(f"Ridge Coefficients: {ridge.coef_}")

L1 和 L2 的区别

L1 正则化倾向于产生稀疏解，即部分特征的权重会被压缩为零，因此适用于特征选择。
L2 正则化会均匀地减小权重，但不会使它们完全为零，更适用于需要控制模型复杂度但不希望稀疏解的场景。

3. 结合 L1 和 L2 正则化（ElasticNet）

有时，我们希望同时结合 L1 和 L2 正则化，这可以通过 ElasticNet 模型实现。

from sklearn.linear_model import ElasticNet# L1 + L2 正则化
elastic_net = ElasticNet(alpha=0.1, l1_ratio=0.5)  # l1_ratio 控制 L1 与 L2 的比例
elastic_net.fit(X_train, y_train)# 预测
y_pred_en = elastic_net.predict(X_test)# 评估
mse_en = mean_squared_error(y_test, y_pred_en)
print(f"ElasticNet MSE: {mse_en}")# 查看模型的系数
print(f"ElasticNet Coefficients: {elastic_net.coef_}")

4. 正则化参数的选择

选择合适的正则化强度 ( \lambda )（即 alpha）非常重要。可以使用交叉验证（cross-validation）来调节这个参数。

from sklearn.model_selection import GridSearchCV# 定义参数范围
param_grid = {'alpha': [0.001, 0.01, 0.1, 1, 10]}# 使用 GridSearch 进行超参数调优
grid = GridSearchCV(Ridge(), param_grid, cv=5)
grid.fit(X_train, y_train)print(f"Best alpha: {grid.best_params_}")