详细步骤说明β₃如何在LASSO回归中变为零

为了深入理解LASSO回归如何将回归系数β₃缩减为零，我们将通过更详细的步骤，结合数学推导和计算，来演示这一过程。

1. 问题描述

我们有一个用于预测房屋价格 $y$ 的数据集，包含以下特征：

• 面积 ($x_1$)
• 卧室数量 ($x_2$)
• 距市中心距离 ($x_3$)

数据集如下：

样本编号	面积 ($x_1$)	卧室数量 ($x_2$)	距市中心距离 ($x_3$)	价格 ($y$)
1	50	2	10	200
2	60	3	9	250
3	70	3	7	300
4	80	4	6	350
5	90	4	4	400

我们希望建立一个线性回归模型：
$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+{\beta }_3{x}_3$$

并使用LASSO回归来估计参数，使得β₃被缩减为零。

2. 数据标准化

在进行LASSO回归前，我们需要对数据进行标准化，以确保各特征在同一尺度上，防止正则化项对不同量级的特征产生不平衡影响。

2.1 计算均值和标准差

计算均值：

• ${\bar{x}}_1=\frac{50+60+70+80+90}{5}=70$
• ${\bar{x}}_2=\frac{2+3+3+4+4}{5}=3.2$
• ${\bar{x}}_3=\frac{10+9+7+6+4}{5}=7.2$
• $\bar{y}=\frac{200+250+300+350+400}{5}=300$

计算标准差：

• $s_{x_1}=\sqrt{\frac{\sum (x_{1i}-{\bar{x}}_1{)}^2}{n}}=14.1421$
• $s_{x_2}=\sqrt{\frac{\sum (x_{2i}-{\bar{x}}_2{)}^2}{n}}=0.7483$
• $s_{x_3}=\sqrt{\frac{\sum (x_{3i}-{\bar{x}}_3{)}^2}{n}}=2.1360$
• $s_y=\sqrt{\frac{\sum (y_i-\bar{y}{)}^2}{n}}=70.7107$

2.2 标准化数据

对于每个特征和目标变量，计算标准化值：
$$x_{ij}^{\text{std}}=\frac{x_{ij}-{\bar{x}}_j}{s_{x_j}}$$

$$y_i^{\text{std}}=\frac{y_i-\bar{y}}{s_y}$$

标准化后的数据如下：

样本编号	$x_1^{\text{std}}$	$x_2^{\text{std}}$	$x_3^{\text{std}}$	$y^{\text{std}}$
1	-1.4142	-1.6036	1.3093	-1.4142
2	-0.7071	-0.2673	0.8433	-0.7071
3	0	-0.2673	-0.0937	0
4	0.7071	1.0690	-0.5619	0.7071
5	1.4142	1.0690	-1.4970	1.4142

3. 建立LASSO回归模型

标准化后，我们的模型为：
$$y^{\text{std}}={\beta }_1{x}_1^{\text{std}}+{\beta }_2{x}_2^{\text{std}}+{\beta }_3{x}_3^{\text{std}}$$

由于数据已中心化，截距项为零。

LASSO的目标函数为：
$$\underset{\beta }{\min }\left\{\frac{1}{2n}\sum _{i=1}^n{\left(y_i^{\text{std}}-\sum _{j=1}^3{\beta }_j{x}_{ij}^{\text{std}}\right)}^2+\lambda \sum _{j=1}^3|{\beta }_j|\right\}$$

4. 选择正则化参数 λ

为了使β₃缩减为零，需要选择合适的λ值。为了演示，我们将尝试不同的λ值，观察β₃的变化。

5. 使用坐标下降法求解

由于LASSO的目标函数是凸的且可分离，我们可以使用坐标下降法逐步更新每个参数。

5.1 计算必要的量

首先，计算每个特征与目标变量的相关性（即协方差）：
$${\tilde{z}}_j=\frac{1}{n}\sum _{i=1}^n{x}_{ij}^{\text{std}}{y}_i^{\text{std}}$$

• 计算 ${\tilde{z}}_1$：
  $${\tilde{z}}_1=\frac{1}{5}\left((-1.4142)(-1.4142)+(-0.7071)(-0.7071)+0+0.7071\times 0.7071+1.4142\times 1.4142\right)=1$$
• 计算 ${\tilde{z}}_2$：
  $${\tilde{z}}_2=\frac{1}{5}\left((-1.6036)(-1.4142)+(-0.2673)(-0.7071)+0+1.0690\times 0.7071+1.0690\times 1.4142\right)\approx 0.946$$
• 计算 ${\tilde{z}}_3$：
  $${\tilde{z}}_3=\frac{1}{5}\left(1.3093\times (-1.4142)+0.8433\times (-0.7071)+0+(-0.5619)(0.7071)+(-1.4970)(1.4142)\right)\approx -0.993$$

5.2 更新公式

对于每个参数βₖ，更新公式为：
$${\beta }_k=\frac{S\left({\tilde{z}}_k,\lambda \right)}{1}$$

其中 $S(z,\lambda )$ 是软阈值函数：
$$S(z,\lambda )=\{\begin{array}{ll}z-\lambda ,& \text{if }z>\lambda \\ 0,& \text{if }|z|\le \lambda \\ z+\lambda ,& \text{if }z<-\lambda \end{array}$$

5.3 尝试不同的 λ 值

5.3.1 λ = 0.5

• 更新 β₁：
  $${\beta }_1=S(1,0.5)=1-0.5=0.5$$
• 更新 β₂：
  $${\beta }_2=S(0.946,0.5)=0.946-0.5=0.446$$
• 更新 β₃：
  $${\beta }_3=S(-0.993,0.5)=-0.993+0.5=-0.493$$

结果： β₃未缩减为零。

5.3.2 λ = 0.993

• 更新 β₁：
  $${\beta }_1=S(1,0.993)=1-0.993=0.007$$
• 更新 β₂：
  $${\beta }_2=S(0.946,0.993)=0(\text{因为 }|0.946|<0.993)$$
• 更新 β₃：
  $${\beta }_3=S(-0.993,0.993)=-0.993+0.993=0$$

结果： β₃被缩减为零，但β₂也被缩减为零，β₁非常小。

5.3.3 λ = 0.7

• 更新 β₁：
  $${\beta }_1=S(1,0.7)=1-0.7=0.3$$
• 更新 β₂：
  $${\beta }_2=S(0.946,0.7)=0.946-0.7=0.246$$
• 更新 β₃：
  $${\beta }_3=S(-0.993,0.7)=-0.993+0.7=-0.293$$

结果： β₃仍未缩减为零。

5.3.4 λ = 0.993

此时λ等于β₃的绝对值。

• 更新 β₃：
  $${\beta }_3=S(-0.993,0.993)=0$$

结果： β₃被缩减为零。

5.4 结论

当 λ ≥ 0.993 时，β₃会被缩减为零。然而，过大的 λ 也会导致其他参数缩减过多，模型可能无法很好地拟合数据。

6. 验证模型性能

为了验证模型性能，我们可以计算残差平方和（RSS）：
$$\text{RSS}=\sum _{i=1}^n{\left(y_i^{\text{std}}-\sum _{j=1}^3{\beta }_j{x}_{ij}^{\text{std}}\right)}^2$$

对于 λ = 0.993，参数为：

• β₁ = 0.007
• β₂ = 0
• β₃ = 0

代入计算，可以发现模型无法很好地拟合数据。

7. 权衡与选择

为了在变量选择和模型拟合之间取得平衡，我们需要选择一个合适的 λ，使得：

• β₃被缩减为零，达到变量选择的目的。
• 其他参数（β₁和β₂）仍能保持较大的值，保证模型的拟合能力。

通过尝试 λ = 0.8，我们得到：

• β₁ = 1 - 0.8 = 0.2
• β₂ = 0.946 - 0.8 = 0.146
• β₃ = -0.993 + 0.8 = -0.193

此时 β₃ 仍未为零，但值已经较小。

8. 最终选择

根据模型的实际需求，我们可能接受一个较小但非零的 β₃，或者通过交叉验证等方法找到最佳的 λ。

9. 总结

通过以上详细的计算步骤，我们可以得出：

• LASSO回归通过增加正则化参数 λ，逐渐缩减回归系数的值。
• 当 λ 达到某个阈值时，特定的系数（如 β₃）会被精确地缩减为零，实现变量选择。
• 选择合适的 λ 需要在模型的复杂度和拟合效果之间进行权衡，通常通过交叉验证来确定。

10. 结论

通过更详细的步骤，我们展示了在LASSO回归中，如何通过调整正则化参数 λ，使得回归系数 β₃ 精确地缩减为零。这一过程体现了LASSO回归在变量选择和模型稀疏性方面的独特优势。