线性回归的数学原理从公式到代码实现做机器学习的朋友应该都有这种体会调包调参调得再溜一旦涉及到为什么这个模型有效什么时候该用哪种方法报错或者结果诡异的时候该从哪里排查这类问题数学基础就成了分水岭。线性回归作为最基础、最经典、也是解释性最强的回归算法正是啃下这块硬骨头的最佳入口。哪怕你现在的方向是深度学习、计算机视觉还是大模型底层的线性代数、梯度求解、矩阵运算逻辑追根溯源都能跟线性回归挂上钩。这篇内容我就从数学推导和代码落地两条线一起走把线性回归从公式到实现的每个环节掰开揉碎顺便把我实际踩过的坑也一并交代清楚。内容不算短建议收藏后照着敲尤其适合刚入门机器学习、或者学完理论但写不出代码的同学老手也能在细节里对照一下自己的理解。1. 线性回归到底在做什么从问题定义到数学建模1.1 用一个小例子说清楚回归任务假设你在帮一家租房平台做租金预测你手上有每套房子的面积、卧室数量、楼龄以及对应的月租金。现在来了一个新房源面积78平米、2个卧室、楼龄8年你要预估它能租多少钱。这就是一个典型的回归问题——输出是一个连续数值而不是是否类别这样的离散标签。线性回归做这件事的基本假设非常简单输出变量和输入特征之间可以用一条在特征空间里拉伸开的直线或者超平面来近似描述。换句话说它认为租金大体上等于每个特征乘上一个权重然后求和再加一个偏置项。你可能会觉得这个假设太强了实际情况中面积对租金的影响不一定是一条直线大面积房子的单价可能更低这就是非线性。但即便在深度学习大行其道的今天线性回归依然有不可替代的位置它是许多复杂模型的退化和起点是理解模型如何学习的最佳切片而且当数据量不大、特征关系确实接近线性时它的表现和可解释性往往是更优的选择。从数学上我们把这个关系写成一个函数f(X) w1*x1 w2*x2 w3*x3 b其中w1、w2、w3是特征的权重b是偏置。训练线性回归模型的过程就是根据已有的历史数据找到一组让预测误差尽可能小的w和b。整个过程的核心就是下面要讲的损失函数和求解方法。1.2 向量化表示从求和符号到矩阵乘法上面那个式子如果特征很多比如100个特征写成求和形式就太啰嗦了。我们把所有特征拼成一个向量权重也拼成一个向量这样预测函数就非常简洁f(X) X * w b在代码里我们通常把b也吸收进w做法是给X增加一列全1的常数列。于是预测就变成了纯粹的矩阵乘法y_pred X * w这里X是一个n行(m1)列的矩阵n是样本数量m是原始特征数量多出来的一列是常数项w是一个(m1)维的列向量。这样整体预测就是一个矩阵乘向量操作。为什么要做向量化因为矩阵乘法不仅在数学表达上紧凑更重要的是在计算上可以利用底层BLAS库的优化、多核并行、甚至GPU加速比写一个双层for循环快几个数量级。我在实际编码里见过不少人一开始习惯用循环去累加每个特征的加权和数据量小感觉不出来一旦跑到几万样本几十个特征速度差距就非常明显了。1.3 损失函数为什么偏偏用均方误差有了模型表达式我们还需要一个量化预测得不好的指标这就是损失函数。线性回归最经典的损失函数是均方误差MSEL(w) (1/(2*n)) * sum((y_i - X_i*w)^2)选择均方误差并不是拍脑袋决定的。原因有这么几个首先它处处可导而且导数的形式非常干净方便我们后续做梯度下降解析求解。其次从统计学的角度看当误差项服从独立同分布的高斯分布时最小化均方误差等价于极大似然估计也就是说它带有统计学上的合理性。第三平方操作会放大误差大的样本的惩罚力度让模型优先去纠正那些偏差很大的预测。有同学可能会问为什么不用绝对误差MAE绝对误差在0点不可导导致部分梯度恒为常数优化行为会出现震荡而且它没有放大特大误差的特性。当然MAE也有自己的优势对离群点更鲁棒。所以在实际工程中如果数据里离群点很多可以考虑Huber Loss这样的折中方案。但作为最基础的模型从MSE入手去理解线性回归是最顺的路径。2. 正规方程求解最小二乘法的完整推导与实现2.1 从损失函数出发一步步推出正规方程现在问题变成了找一组w让L(w)最小。这是一个无约束优化问题。因为L(w)是w的二次函数凸函数它有唯一的全局最小值而且这个最小值点可以通过令导数为零直接求出解析解。我们先展开损失函数写成矩阵形式。定义X为n行d列的特征矩阵已包含常数项列y为n维标签向量w为d维权值向量L(w) (1/(2*n)) * (X*w - y)^T * (X*w - y)展开这个表达式L(w) (1/(2*n)) * (w^T * X^T * X * w - 2*w^T * X^T * y y^T * y)这里用到了矩阵转置的运算法则(AB)^T B^TA^T以及标量对向量的求导规则。我们对w求梯度把1/(2*n)暂时放一边因为常数不影响极值点位置∇L(w) (1/(2*n)) * (2*X^T*X*w - 2*X^T*y) (1/n) * (X^T*X*w - X^T*y)令梯度为零得到正规方程X^T*X*w X^T*y如果X^T*X是可逆的也就是满秩我们就可以直接解出w (X^T*X)^(-1) * X^T*y这就是所谓的最小二乘解。整个过程可以说是一气呵成只需要线性代数里基础的求导和矩阵运算规则不需要任何迭代。2.2 正规方程的Python代码实现理论推导完了代码实现起来其实非常短。使用numpy可以这样实现import numpy as np def linear_regression_normal_equation(X, y): # 添加常数项列 X_with_bias np.c_[np.ones(X.shape[0]), X] # 正规方程w (X^T*X)^{-1} * X^T * y XtX X_with_bias.T.dot(X_with_bias) XtX_inv np.linalg.inv(XtX) Xt_y X_with_bias.T.dot(y) w XtX_inv.dot(Xt_y) return w如果你不想手动求逆更推荐用np.linalg.solve它在数值上更稳定速度也更快w np.linalg.solve(XtX, Xt_y)两者区别在于显式求逆需要计算完整的逆矩阵计算量是O(d^3)而且当矩阵接近奇异时求逆的数值误差会放大而solve直接做矩阵分解和消元通常更稳。我个人的经验是只要不是教学演示需要看到逆矩阵一律直接用solve。等数据量大了之后最推荐的方式是用最小二乘法函数w, residuals, rank, s np.linalg.lstsq(X_with_bias, y, rcondNone)lstsq内部会根据矩阵的奇异值判断秩对于秩亏缺或接近秩亏缺的情况处理得更鲁棒不会直接报singular matrix错误。2.3 计算复杂度与实际应用边界正规方程看起来很美好一步到位不需要调学习率不需要迭代。但它的代价很快就暴露出来——X^T*X是一个d乘d的矩阵d是特征数量求逆的复杂度大约是O(d^3)。当特征是几百维时这个计算量还能接受但到了上万维比如文本TF-IDF特征d的立方就是一个天文数字机器内存可能直接爆掉。另外当特征之间高度相关多重共线性时X^T*X会接近奇异矩阵求逆的结果会非常不稳定w的各个分量可能会变得巨大且符号剧烈振荡。这种情况下更合适的做法是用梯度下降进行迭代优化或者用后面会提到的岭回归加入正则项。所以正规方程的应用边界大概是特征维度在几千以内、数据量在十万以下、特征间相关性不强的场景。超过这个范围就轮到梯度下降登场了。3. 梯度下降求解另一条通向最优解的路3.1 梯度下降的核心思想与下山类比既然很多时候不能直接解方程我们就换一种思路不追求一步到位而是从一个初始的w出发沿着损失函数下降最快的方向逐步修正。这张地图是L(w)在参数空间中构成的一个高维曲面我们站在某个位置想往最低点走最自然的策略就是看当前位置哪个方向下坡最陡朝那个方向跨一步然后再看、再走直到走到低处。哪个方向下坡最陡在数学上就是梯度的反方向。梯度是一个向量每个分量是L对对应参数w_j的偏导数。参数更新公式因此写成w_j : w_j - learning_rate * (∂L/∂w_j)对于均方误差损失我们可以求出偏导数的具体形式。先看单个样本的误差e_i y_i - X_i*w那么大部分教材都会给出这个结果∂L/∂w_j (1/n) * sum_{i1}^{n} ((X_i*w - y_i) * X_{i,j})这里X_{i,j}是第i个样本的第j个特征值。更新公式可以统一写成w w - learning_rate * (1/n) * X^T * (X*w - y)这个向量化的写法在代码里实现非常方便先算出所有样本的预测值与真实值的差一个n维向量然后左乘X^T再加权平均就得到梯度向量。3.2 批量梯度下降的代码实现先来看最标准、最稳定的批量梯度下降BGD即每轮迭代用全部样本计算梯度import numpy as np def linear_regression_gd(X, y, learning_rate0.01, epochs1000): X_with_bias np.c_[np.ones(X.shape[0]), X] n, d X_with_bias.shape w np.zeros(d) losses [] for epoch in range(epochs): y_pred X_with_bias.dot(w) error y_pred - y gradient (1/n) * X_with_bias.T.dot(error) w w - learning_rate * gradient loss (1/(2*n)) * np.sum(error**2) losses.append(loss) if epoch % 100 0: print(fepoch {epoch}, loss {loss:.6f}) return w, losses这段代码里有几个关键细节值得展开说一下。第一w初始化为全零向量对于线性回归这种凸优化问题零向量是一个完全可行的起点因为不管从哪里开始最终都会收敛到同一个全局最优解。但对于非凸问题比如神经网络初始化的影响就非常大了。第二learning_rate是每次更新的步长设置太大可能越过最优点甚至发散设置太小收敛速度非常慢。后面我会详细讲学习率的调整经验。第三epochs是迭代轮数需要配合loss的变化来判断是否已经收敛不能一味地跑满固定轮数——这也是一种常见的看着数字小了但实际没学好的陷阱。为了验证实现的正确性建议用一个小数据集做数值梯度检查def numerical_gradient(X, y, w, epsilon1e-6): grad np.zeros_like(w) for j in range(len(w)): w_plus w.copy(); w_plus[j] epsilon w_minus w.copy(); w_minus[j] - epsilon loss_plus loss_fn(X, y, w_plus) loss_minus loss_fn(X, y, w_minus) grad[j] (loss_plus - loss_minus) / (2 * epsilon) return grad对比解析梯度和数值梯度如果两者差异在1e-4量级以内就说明推导的公式没有错误。这个技巧在我平时的模型开发中非常常用。3.3 学习率、特征缩放和收敛判断学习率是梯度下降法里最需要手感的超参数。我的经验是先把学习率设成0.01观察loss曲线。如果loss出现剧烈震荡甚至增大说明学习率太大需要把学习率调小到0.001甚至0.0001如果loss下降非常慢几百轮之后还看不出明显收敛可以适当调大。实际项目中更靠谱的做法是使用学习率衰减策略让学习率每隔一段时间自动调小一点前期大步快跑、后期精细收敛。比如learning_rate_epoch learning_rate / (1 decay_rate * epoch)还有一种常用的方式是做学习率热力图扫描用一组对数均匀分布的学习率比如0.1、0.03、0.01、0.003、0.001、0.0003、0.0001各跑50轮画出loss曲线选定那个既能快速下降又不震荡的值。这比拍脑袋调参要科学得多。特征缩放是梯度下降成功的关键。当不同特征的量纲差异极大比如一个特征取值0到100另一个特征取值10000到1000000损失函数会呈现非常狭长的碗状结构梯度方向经常与最优方向不一致导致优化过程像在窄缝里左右横跳收敛极慢。最常用的缩放方法有两种标准化z-score和归一化min-max。标准化X_scaled (X - X.mean(axis0)) / X.std(axis0)归一化X_scaled (X - X.min(axis0)) / (X.max(axis0) - X.min(axis0))提示如果数据里存在异常大的离群值min-max归一化会把正常数据压缩到很小的区间不太合适标准化对离群值的鲁棒性稍好一些但也有限。更稳妥的做法是先做离群点检测和处理再做缩放。在实际工作中我通常会用标准的z-score标准化。注意一个重要细节特征缩放必须只用训练集的均值和标准差去变换验证集或测试集而不能把测试集的统计数据混进来否则会引入数据泄漏导致对模型泛化能力的错误估计。4. 模型好坏怎么评判评估指标与结果解读4.1 常用评价指标MSE、RMSE、MAE、R²训练完模型总得知道它好不好。线性回归最常用的几个指标每个都有自己的特点和适用场景。均方误差MSE就是损失函数本身直接反映了预测值与真实值差的平方的平均水平。它的量纲是标签的量纲平方比如租金预测中误差单位是元²解释起来不够直观。所以更常用的是均方根误差RMSE它把MSE开根号量纲和标签一样比如租金误差400元/月非常好理解。MAE则是绝对误差的平均值对离群点不敏感但它没有放大严重错误的特性。R²决定系数可能是最常用的模型优劣指标公式是R² 1 - SS_res / SS_totSS_res是模型预测误差的平方和SS_tot是标签方差的平方和即用均值预测时的误差平方和。R²的含义是模型相比直接拿均值预测消除了多少误差。R²1表示完美拟合R²0表示模型和直接猜均值一个水平R²为负值说明模型比猜均值还要差。但R²有一个隐蔽的陷阱它随特征数量增加单调不减哪怕新增的特征完全没意义R²也会小幅上升或者至少不降。所以当模型有多个特征时需要看调整R²Adjusted R²它会对特征数量做惩罚。在sklearn的r2_score函数里并没有直接提供adjusted R²需要自己算adjusted_r2 1 - (1 - r2) * (n - 1) / (n - d - 1)其中n是样本数d是特征数。4.2 过拟合与欠拟合怎么从图表中识别模型训练完第一件事是看训练集和验证集测试集上的loss和评估指标对比。如果训练集上R²很高比如0.95但测试集上掉到0.7这几乎可以肯定是过拟合。线性回归特征维度较高时也完全可能过拟合不要以为只有复杂模型才会。相反如果训练集上R²就很低比如0.3而且特征明显不是线性关系那很可能欠拟合说明模型的表达能力不够。此时可以尝试增加特征比如添加多项式特征、引入交互项或者换一个表达能力更强的模型。判断是否过拟合还有一个直观的方法是画学习曲线横轴是训练样本量纵轴是误差。如果训练误差远低于验证误差且两者之间的差距不随样本量增加而缩小就是过拟合的典型信号。解决过拟合在线性回归里最直接的手段一是增加数据量二是降低模型复杂度减少特征、增加正则项三是做交叉验证来评估模型的稳定性。4.3 多重共线性怎么发现和处理多重共线性指的是特征之间存在很强的线性关系比如房屋面积和卧室数量可能高度相关。这个问题在梯度下降法中不会导致无法训练但会影响模型的可解释性和稳定性w的各个分量的方差会被放大微小的数据扰动可能导致权重出现大幅变化。在正规方程里则直接表现为X^T*X接近奇异。检测多重共线性最常用的是方差膨胀因子VIF。每个特征的VIF通过将该特征对其它所有特征做回归然后计算R²得到VIF_j 1 / (1 - R_j²)如果VIF大于10经验阈值通常认为该特征与其他特征存在严重共线性需要处理。处理方式一是删除相关性高的特征之一根据业务含义决定保留哪个二是用PCA等降维方法首先提取主成分消除共线性三是改用岭回归它通过L2正则化收缩权重天然缓解了共线性问题。我自己的经验是优先按业务理解删除冗余特征只在想保留全部特征且更看重预测精度而非解释性时才走PCA或岭回归路线。5. 代码实现进阶与实用技巧从demo走向实际项目5.1 从零实现多项式回归给线性回归插上非线性的翅膀线性回归只能拟合直线关系但实际数据很少这么听话。一个简单而强大的扩展是多项式回归给原始特征添加幂次项和交叉项然后仍然用线性回归去拟合这些新的特征。比如对单变量x可以构造x²、x³等特征然后做工资金额预测拟合出来的就不再是直线而是一条多项式曲线。在代码实现中有两种常见做法。一是手动构造特征列直观但繁琐更推荐用sklearn的PolynomialFeaturesfrom sklearn.preprocessing import PolynomialFeatures from sklearn.linear_model import LinearRegression poly PolynomialFeatures(degree2, include_biasFalse) X_poly poly.fit_transform(X) model LinearRegression() model.fit(X_poly, y)这里必须提醒一个坑多项式的degree不能设置得过高。degree太高时模型会在训练样本的边界区域出现剧烈的振荡导致过拟合和极端的预测值。实践中我会先尝试degree2或3观察训练集和验证集的R²差距再考虑是否需要提升。还有一点生成多项式特征后特征的量纲差异会进一步扩大比如x是kgx²就成了kg²数值可能膨胀到几千此时特征缩放的重要性就显著提升了。通常我会在PolynomialFeatures之后立刻接StandardScaler再进入线性回归。5.2 三大优化变体对比BGD、SGD、Mini-batch GD到这一步我还想专门讲一讲梯度下降的几个变体因为它们在实际项目里更常用而且理解它们能帮你更容易理解深度学习中那些优化器的设计思路。第一种是批量梯度下降BGD前面已经实现了每步用全量样本算梯度。优点是梯度方向准确收敛稳定缺点是每步计算量大数据量一大就吃不消。第二种是随机梯度下降SGD每步随机抽一个样本算梯度然后更新参数。优点是每步计算极快而且由于采样引入的随机性它一定程度上能跳出局部极小值在非凸问题中很有用缺点是梯度噪声大收敛过程震荡明显不容易精确收敛到最优点。第三种是小批量梯度下降Mini-batch GD这是前两者的折中最优选择也是深度学习训练的事实标准。每步用一个batch的样本常见batch size是32、64、128计算梯度。它在计算效率和梯度稳定性之间取得了平衡。在代码里实现其实非常简单核心逻辑就是对数据集做mini-batch切分def linear_regression_mini_batch(X, y, learning_rate0.01, epochs500, batch_size32): X_with_bias np.c_[np.ones(X.shape[0]), X] n, d X_with_bias.shape w np.zeros(d) for epoch in range(epochs): indices np.random.permutation(n) X_shuffled X_with_bias[indices] y_shuffled y[indices] for i in range(0, n, batch_size): X_batch X_shuffled[i:ibatch_size] y_batch y_shuffled[i:ibatch_size] y_pred X_batch.dot(w) error y_pred - y_batch gradient (1/len(y_batch)) * X_batch.T.dot(error) w w - learning_rate * gradient return w注意每次epoch时都做一次数据打乱shuffle这是为了保证每个batch的分布尽可能接近整体分布。我自己在项目里遇到过不打乱数据导致训练结果周期性起伏的问题后来养成了每个epoch随机重排的习惯。三种方法的对比我整理过一张印象很深的速查表方法每个step用到的样本量梯度准确性计算速度收敛稳定性适用场景BGD全部最高最慢最稳定小数据、教学演示SGD1个最低噪声大最快震荡大实时在线学习Mini-batch GD32~256个中等快较稳定常规实际项目、深度学习5.3 从手写代码到sklearn工程中该怎么选前面我们从零实现了各种版本这是为了把原理彻底讲清楚。但在实际工程开发里我更推荐直接用成熟的库比如sklearn的LinearRegression。它内部调用LAPACK库做最小二乘求解数值稳定性比手写的版本要高得多而且接口统一方便跟Pipeline、交叉验证等工具搭配使用。from sklearn.linear_model import LinearRegression from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler model Pipeline([ (scaler, StandardScaler()), (regressor, LinearRegression()) ]) model.fit(X_train, y_train) y_pred model.predict(X_test)但用库不代表你可以不懂底层。一个很典型的例子是当你需要做特征选择或者手动控制正则化强度时如果你不理解X^T*X的含义和岭回归的惩罚项在干什么面对一堆Warning和评估指标就完全无从下手。又比如当sklearn报出Singular matrix或者数值警告时能快速定位到特征矩阵不满秩这个原因的人一定是懂矩阵运算细节的人。所以我一直认为从零手写一遍 在项目里用成熟库并不是矛盾关系而是一条完整的学习路径先理解原理再拥抱工具。这也是我写这篇内容的初衷。最后说一个我自己的习惯每次构建线性回归模型时不管问题多简单我都会先在训练集上跑一个baseline用均值预测拿到一个最笨模型的表现然后再去训练线性回归。这样做有两个好处一是给后续所有模型的性能对比提供了一个绝对基准线二是能快速验证数据本身是不是存在明显规律如果是回归任务连baseline都过不了那首先要做的事情不是优化模型而是检查数据和特征工程环节。线性回归虽然入门简单但几乎所有机器学习必备的感觉——梯度方向、学习率、损失函数、过拟合、特征工程、泛化评估——都能在这个模型上得到完整的体验。把这套从数学推导到代码落地、再到工程实践的链路走通一遍后面再去学逻辑回归、SVM、神经网络你会发现自己比别人多了一层看得见模型在做什么的底气。 
长河君 · 2026/9/24 18:23:09 · 阅读 1.2k 线性回归数学原理与代码实现：从公式推导到梯度下降
线性回归的数学原理从公式到代码实现做机器学习的朋友应该都有这种体会调包调参调得再溜一旦涉及到为什么这个模型有效什么时候该用哪种方法报错或者结果诡异的时候该从哪里排查这类问题数学基础就成了分水岭。线性回归作为最基础、最经典、也是解释性最强的回归算法正是啃下这块硬骨头的最佳入口。哪怕你现在的方向是深度学习、计算机视觉还是大模型底层的线性代数、梯度求解、矩阵运算逻辑追根溯源都能跟线性回归挂上钩。这篇内容我就从数学推导和代码落地两条线一起走把线性回归从公式到实现的每个环节掰开揉碎顺便把我实际踩过的坑也一并交代清楚。内容不算短建议收藏后照着敲尤其适合刚入门机器学习、或者学完理论但写不出代码的同学老手也能在细节里对照一下自己的理解。1. 线性回归到底在做什么从问题定义到数学建模1.1 用一个小例子说清楚回归任务假设你在帮一家租房平台做租金预测你手上有每套房子的面积、卧室数量、楼龄以及对应的月租金。现在来了一个新房源面积78平米、2个卧室、楼龄8年你要预估它能租多少钱。这就是一个典型的回归问题——输出是一个连续数值而不是是否类别这样的离散标签。线性回归做这件事的基本假设非常简单输出变量和输入特征之间可以用一条在特征空间里拉伸开的直线或者超平面来近似描述。换句话说它认为租金大体上等于每个特征乘上一个权重然后求和再加一个偏置项。你可能会觉得这个假设太强了实际情况中面积对租金的影响不一定是一条直线大面积房子的单价可能更低这就是非线性。但即便在深度学习大行其道的今天线性回归依然有不可替代的位置它是许多复杂模型的退化和起点是理解模型如何学习的最佳切片而且当数据量不大、特征关系确实接近线性时它的表现和可解释性往往是更优的选择。从数学上我们把这个关系写成一个函数f(X) w1*x1 w2*x2 w3*x3 b其中w1、w2、w3是特征的权重b是偏置。训练线性回归模型的过程就是根据已有的历史数据找到一组让预测误差尽可能小的w和b。整个过程的核心就是下面要讲的损失函数和求解方法。1.2 向量化表示从求和符号到矩阵乘法上面那个式子如果特征很多比如100个特征写成求和形式就太啰嗦了。我们把所有特征拼成一个向量权重也拼成一个向量这样预测函数就非常简洁f(X) X * w b在代码里我们通常把b也吸收进w做法是给X增加一列全1的常数列。于是预测就变成了纯粹的矩阵乘法y_pred X * w这里X是一个n行(m1)列的矩阵n是样本数量m是原始特征数量多出来的一列是常数项w是一个(m1)维的列向量。这样整体预测就是一个矩阵乘向量操作。为什么要做向量化因为矩阵乘法不仅在数学表达上紧凑更重要的是在计算上可以利用底层BLAS库的优化、多核并行、甚至GPU加速比写一个双层for循环快几个数量级。我在实际编码里见过不少人一开始习惯用循环去累加每个特征的加权和数据量小感觉不出来一旦跑到几万样本几十个特征速度差距就非常明显了。1.3 损失函数为什么偏偏用均方误差有了模型表达式我们还需要一个量化预测得不好的指标这就是损失函数。线性回归最经典的损失函数是均方误差MSEL(w) (1/(2*n)) * sum((y_i - X_i*w)^2)选择均方误差并不是拍脑袋决定的。原因有这么几个首先它处处可导而且导数的形式非常干净方便我们后续做梯度下降解析求解。其次从统计学的角度看当误差项服从独立同分布的高斯分布时最小化均方误差等价于极大似然估计也就是说它带有统计学上的合理性。第三平方操作会放大误差大的样本的惩罚力度让模型优先去纠正那些偏差很大的预测。有同学可能会问为什么不用绝对误差MAE绝对误差在0点不可导导致部分梯度恒为常数优化行为会出现震荡而且它没有放大特大误差的特性。当然MAE也有自己的优势对离群点更鲁棒。所以在实际工程中如果数据里离群点很多可以考虑Huber Loss这样的折中方案。但作为最基础的模型从MSE入手去理解线性回归是最顺的路径。2. 正规方程求解最小二乘法的完整推导与实现2.1 从损失函数出发一步步推出正规方程现在问题变成了找一组w让L(w)最小。这是一个无约束优化问题。因为L(w)是w的二次函数凸函数它有唯一的全局最小值而且这个最小值点可以通过令导数为零直接求出解析解。我们先展开损失函数写成矩阵形式。定义X为n行d列的特征矩阵已包含常数项列y为n维标签向量w为d维权值向量L(w) (1/(2*n)) * (X*w - y)^T * (X*w - y)展开这个表达式L(w) (1/(2*n)) * (w^T * X^T * X * w - 2*w^T * X^T * y y^T * y)这里用到了矩阵转置的运算法则(AB)^T B^TA^T以及标量对向量的求导规则。我们对w求梯度把1/(2*n)暂时放一边因为常数不影响极值点位置∇L(w) (1/(2*n)) * (2*X^T*X*w - 2*X^T*y) (1/n) * (X^T*X*w - X^T*y)令梯度为零得到正规方程X^T*X*w X^T*y如果X^T*X是可逆的也就是满秩我们就可以直接解出w (X^T*X)^(-1) * X^T*y这就是所谓的最小二乘解。整个过程可以说是一气呵成只需要线性代数里基础的求导和矩阵运算规则不需要任何迭代。2.2 正规方程的Python代码实现理论推导完了代码实现起来其实非常短。使用numpy可以这样实现import numpy as np def linear_regression_normal_equation(X, y): # 添加常数项列 X_with_bias np.c_[np.ones(X.shape[0]), X] # 正规方程w (X^T*X)^{-1} * X^T * y XtX X_with_bias.T.dot(X_with_bias) XtX_inv np.linalg.inv(XtX) Xt_y X_with_bias.T.dot(y) w XtX_inv.dot(Xt_y) return w如果你不想手动求逆更推荐用np.linalg.solve它在数值上更稳定速度也更快w np.linalg.solve(XtX, Xt_y)两者区别在于显式求逆需要计算完整的逆矩阵计算量是O(d^3)而且当矩阵接近奇异时求逆的数值误差会放大而solve直接做矩阵分解和消元通常更稳。我个人的经验是只要不是教学演示需要看到逆矩阵一律直接用solve。等数据量大了之后最推荐的方式是用最小二乘法函数w, residuals, rank, s np.linalg.lstsq(X_with_bias, y, rcondNone)lstsq内部会根据矩阵的奇异值判断秩对于秩亏缺或接近秩亏缺的情况处理得更鲁棒不会直接报singular matrix错误。2.3 计算复杂度与实际应用边界正规方程看起来很美好一步到位不需要调学习率不需要迭代。但它的代价很快就暴露出来——X^T*X是一个d乘d的矩阵d是特征数量求逆的复杂度大约是O(d^3)。当特征是几百维时这个计算量还能接受但到了上万维比如文本TF-IDF特征d的立方就是一个天文数字机器内存可能直接爆掉。另外当特征之间高度相关多重共线性时X^T*X会接近奇异矩阵求逆的结果会非常不稳定w的各个分量可能会变得巨大且符号剧烈振荡。这种情况下更合适的做法是用梯度下降进行迭代优化或者用后面会提到的岭回归加入正则项。所以正规方程的应用边界大概是特征维度在几千以内、数据量在十万以下、特征间相关性不强的场景。超过这个范围就轮到梯度下降登场了。3. 梯度下降求解另一条通向最优解的路3.1 梯度下降的核心思想与下山类比既然很多时候不能直接解方程我们就换一种思路不追求一步到位而是从一个初始的w出发沿着损失函数下降最快的方向逐步修正。这张地图是L(w)在参数空间中构成的一个高维曲面我们站在某个位置想往最低点走最自然的策略就是看当前位置哪个方向下坡最陡朝那个方向跨一步然后再看、再走直到走到低处。哪个方向下坡最陡在数学上就是梯度的反方向。梯度是一个向量每个分量是L对对应参数w_j的偏导数。参数更新公式因此写成w_j : w_j - learning_rate * (∂L/∂w_j)对于均方误差损失我们可以求出偏导数的具体形式。先看单个样本的误差e_i y_i - X_i*w那么大部分教材都会给出这个结果∂L/∂w_j (1/n) * sum_{i1}^{n} ((X_i*w - y_i) * X_{i,j})这里X_{i,j}是第i个样本的第j个特征值。更新公式可以统一写成w w - learning_rate * (1/n) * X^T * (X*w - y)这个向量化的写法在代码里实现非常方便先算出所有样本的预测值与真实值的差一个n维向量然后左乘X^T再加权平均就得到梯度向量。3.2 批量梯度下降的代码实现先来看最标准、最稳定的批量梯度下降BGD即每轮迭代用全部样本计算梯度import numpy as np def linear_regression_gd(X, y, learning_rate0.01, epochs1000): X_with_bias np.c_[np.ones(X.shape[0]), X] n, d X_with_bias.shape w np.zeros(d) losses [] for epoch in range(epochs): y_pred X_with_bias.dot(w) error y_pred - y gradient (1/n) * X_with_bias.T.dot(error) w w - learning_rate * gradient loss (1/(2*n)) * np.sum(error**2) losses.append(loss) if epoch % 100 0: print(fepoch {epoch}, loss {loss:.6f}) return w, losses这段代码里有几个关键细节值得展开说一下。第一w初始化为全零向量对于线性回归这种凸优化问题零向量是一个完全可行的起点因为不管从哪里开始最终都会收敛到同一个全局最优解。但对于非凸问题比如神经网络初始化的影响就非常大了。第二learning_rate是每次更新的步长设置太大可能越过最优点甚至发散设置太小收敛速度非常慢。后面我会详细讲学习率的调整经验。第三epochs是迭代轮数需要配合loss的变化来判断是否已经收敛不能一味地跑满固定轮数——这也是一种常见的看着数字小了但实际没学好的陷阱。为了验证实现的正确性建议用一个小数据集做数值梯度检查def numerical_gradient(X, y, w, epsilon1e-6): grad np.zeros_like(w) for j in range(len(w)): w_plus w.copy(); w_plus[j] epsilon w_minus w.copy(); w_minus[j] - epsilon loss_plus loss_fn(X, y, w_plus) loss_minus loss_fn(X, y, w_minus) grad[j] (loss_plus - loss_minus) / (2 * epsilon) return grad对比解析梯度和数值梯度如果两者差异在1e-4量级以内就说明推导的公式没有错误。这个技巧在我平时的模型开发中非常常用。3.3 学习率、特征缩放和收敛判断学习率是梯度下降法里最需要手感的超参数。我的经验是先把学习率设成0.01观察loss曲线。如果loss出现剧烈震荡甚至增大说明学习率太大需要把学习率调小到0.001甚至0.0001如果loss下降非常慢几百轮之后还看不出明显收敛可以适当调大。实际项目中更靠谱的做法是使用学习率衰减策略让学习率每隔一段时间自动调小一点前期大步快跑、后期精细收敛。比如learning_rate_epoch learning_rate / (1 decay_rate * epoch)还有一种常用的方式是做学习率热力图扫描用一组对数均匀分布的学习率比如0.1、0.03、0.01、0.003、0.001、0.0003、0.0001各跑50轮画出loss曲线选定那个既能快速下降又不震荡的值。这比拍脑袋调参要科学得多。特征缩放是梯度下降成功的关键。当不同特征的量纲差异极大比如一个特征取值0到100另一个特征取值10000到1000000损失函数会呈现非常狭长的碗状结构梯度方向经常与最优方向不一致导致优化过程像在窄缝里左右横跳收敛极慢。最常用的缩放方法有两种标准化z-score和归一化min-max。标准化X_scaled (X - X.mean(axis0)) / X.std(axis0)归一化X_scaled (X - X.min(axis0)) / (X.max(axis0) - X.min(axis0))提示如果数据里存在异常大的离群值min-max归一化会把正常数据压缩到很小的区间不太合适标准化对离群值的鲁棒性稍好一些但也有限。更稳妥的做法是先做离群点检测和处理再做缩放。在实际工作中我通常会用标准的z-score标准化。注意一个重要细节特征缩放必须只用训练集的均值和标准差去变换验证集或测试集而不能把测试集的统计数据混进来否则会引入数据泄漏导致对模型泛化能力的错误估计。4. 模型好坏怎么评判评估指标与结果解读4.1 常用评价指标MSE、RMSE、MAE、R²训练完模型总得知道它好不好。线性回归最常用的几个指标每个都有自己的特点和适用场景。均方误差MSE就是损失函数本身直接反映了预测值与真实值差的平方的平均水平。它的量纲是标签的量纲平方比如租金预测中误差单位是元²解释起来不够直观。所以更常用的是均方根误差RMSE它把MSE开根号量纲和标签一样比如租金误差400元/月非常好理解。MAE则是绝对误差的平均值对离群点不敏感但它没有放大严重错误的特性。R²决定系数可能是最常用的模型优劣指标公式是R² 1 - SS_res / SS_totSS_res是模型预测误差的平方和SS_tot是标签方差的平方和即用均值预测时的误差平方和。R²的含义是模型相比直接拿均值预测消除了多少误差。R²1表示完美拟合R²0表示模型和直接猜均值一个水平R²为负值说明模型比猜均值还要差。但R²有一个隐蔽的陷阱它随特征数量增加单调不减哪怕新增的特征完全没意义R²也会小幅上升或者至少不降。所以当模型有多个特征时需要看调整R²Adjusted R²它会对特征数量做惩罚。在sklearn的r2_score函数里并没有直接提供adjusted R²需要自己算adjusted_r2 1 - (1 - r2) * (n - 1) / (n - d - 1)其中n是样本数d是特征数。4.2 过拟合与欠拟合怎么从图表中识别模型训练完第一件事是看训练集和验证集测试集上的loss和评估指标对比。如果训练集上R²很高比如0.95但测试集上掉到0.7这几乎可以肯定是过拟合。线性回归特征维度较高时也完全可能过拟合不要以为只有复杂模型才会。相反如果训练集上R²就很低比如0.3而且特征明显不是线性关系那很可能欠拟合说明模型的表达能力不够。此时可以尝试增加特征比如添加多项式特征、引入交互项或者换一个表达能力更强的模型。判断是否过拟合还有一个直观的方法是画学习曲线横轴是训练样本量纵轴是误差。如果训练误差远低于验证误差且两者之间的差距不随样本量增加而缩小就是过拟合的典型信号。解决过拟合在线性回归里最直接的手段一是增加数据量二是降低模型复杂度减少特征、增加正则项三是做交叉验证来评估模型的稳定性。4.3 多重共线性怎么发现和处理多重共线性指的是特征之间存在很强的线性关系比如房屋面积和卧室数量可能高度相关。这个问题在梯度下降法中不会导致无法训练但会影响模型的可解释性和稳定性w的各个分量的方差会被放大微小的数据扰动可能导致权重出现大幅变化。在正规方程里则直接表现为X^T*X接近奇异。检测多重共线性最常用的是方差膨胀因子VIF。每个特征的VIF通过将该特征对其它所有特征做回归然后计算R²得到VIF_j 1 / (1 - R_j²)如果VIF大于10经验阈值通常认为该特征与其他特征存在严重共线性需要处理。处理方式一是删除相关性高的特征之一根据业务含义决定保留哪个二是用PCA等降维方法首先提取主成分消除共线性三是改用岭回归它通过L2正则化收缩权重天然缓解了共线性问题。我自己的经验是优先按业务理解删除冗余特征只在想保留全部特征且更看重预测精度而非解释性时才走PCA或岭回归路线。5. 代码实现进阶与实用技巧从demo走向实际项目5.1 从零实现多项式回归给线性回归插上非线性的翅膀线性回归只能拟合直线关系但实际数据很少这么听话。一个简单而强大的扩展是多项式回归给原始特征添加幂次项和交叉项然后仍然用线性回归去拟合这些新的特征。比如对单变量x可以构造x²、x³等特征然后做工资金额预测拟合出来的就不再是直线而是一条多项式曲线。在代码实现中有两种常见做法。一是手动构造特征列直观但繁琐更推荐用sklearn的PolynomialFeaturesfrom sklearn.preprocessing import PolynomialFeatures from sklearn.linear_model import LinearRegression poly PolynomialFeatures(degree2, include_biasFalse) X_poly poly.fit_transform(X) model LinearRegression() model.fit(X_poly, y)这里必须提醒一个坑多项式的degree不能设置得过高。degree太高时模型会在训练样本的边界区域出现剧烈的振荡导致过拟合和极端的预测值。实践中我会先尝试degree2或3观察训练集和验证集的R²差距再考虑是否需要提升。还有一点生成多项式特征后特征的量纲差异会进一步扩大比如x是kgx²就成了kg²数值可能膨胀到几千此时特征缩放的重要性就显著提升了。通常我会在PolynomialFeatures之后立刻接StandardScaler再进入线性回归。5.2 三大优化变体对比BGD、SGD、Mini-batch GD到这一步我还想专门讲一讲梯度下降的几个变体因为它们在实际项目里更常用而且理解它们能帮你更容易理解深度学习中那些优化器的设计思路。第一种是批量梯度下降BGD前面已经实现了每步用全量样本算梯度。优点是梯度方向准确收敛稳定缺点是每步计算量大数据量一大就吃不消。第二种是随机梯度下降SGD每步随机抽一个样本算梯度然后更新参数。优点是每步计算极快而且由于采样引入的随机性它一定程度上能跳出局部极小值在非凸问题中很有用缺点是梯度噪声大收敛过程震荡明显不容易精确收敛到最优点。第三种是小批量梯度下降Mini-batch GD这是前两者的折中最优选择也是深度学习训练的事实标准。每步用一个batch的样本常见batch size是32、64、128计算梯度。它在计算效率和梯度稳定性之间取得了平衡。在代码里实现其实非常简单核心逻辑就是对数据集做mini-batch切分def linear_regression_mini_batch(X, y, learning_rate0.01, epochs500, batch_size32): X_with_bias np.c_[np.ones(X.shape[0]), X] n, d X_with_bias.shape w np.zeros(d) for epoch in range(epochs): indices np.random.permutation(n) X_shuffled X_with_bias[indices] y_shuffled y[indices] for i in range(0, n, batch_size): X_batch X_shuffled[i:ibatch_size] y_batch y_shuffled[i:ibatch_size] y_pred X_batch.dot(w) error y_pred - y_batch gradient (1/len(y_batch)) * X_batch.T.dot(error) w w - learning_rate * gradient return w注意每次epoch时都做一次数据打乱shuffle这是为了保证每个batch的分布尽可能接近整体分布。我自己在项目里遇到过不打乱数据导致训练结果周期性起伏的问题后来养成了每个epoch随机重排的习惯。三种方法的对比我整理过一张印象很深的速查表方法每个step用到的样本量梯度准确性计算速度收敛稳定性适用场景BGD全部最高最慢最稳定小数据、教学演示SGD1个最低噪声大最快震荡大实时在线学习Mini-batch GD32~256个中等快较稳定常规实际项目、深度学习5.3 从手写代码到sklearn工程中该怎么选前面我们从零实现了各种版本这是为了把原理彻底讲清楚。但在实际工程开发里我更推荐直接用成熟的库比如sklearn的LinearRegression。它内部调用LAPACK库做最小二乘求解数值稳定性比手写的版本要高得多而且接口统一方便跟Pipeline、交叉验证等工具搭配使用。from sklearn.linear_model import LinearRegression from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler model Pipeline([ (scaler, StandardScaler()), (regressor, LinearRegression()) ]) model.fit(X_train, y_train) y_pred model.predict(X_test)但用库不代表你可以不懂底层。一个很典型的例子是当你需要做特征选择或者手动控制正则化强度时如果你不理解X^T*X的含义和岭回归的惩罚项在干什么面对一堆Warning和评估指标就完全无从下手。又比如当sklearn报出Singular matrix或者数值警告时能快速定位到特征矩阵不满秩这个原因的人一定是懂矩阵运算细节的人。所以我一直认为从零手写一遍 在项目里用成熟库并不是矛盾关系而是一条完整的学习路径先理解原理再拥抱工具。这也是我写这篇内容的初衷。最后说一个我自己的习惯每次构建线性回归模型时不管问题多简单我都会先在训练集上跑一个baseline用均值预测拿到一个最笨模型的表现然后再去训练线性回归。这样做有两个好处一是给后续所有模型的性能对比提供了一个绝对基准线二是能快速验证数据本身是不是存在明显规律如果是回归任务连baseline都过不了那首先要做的事情不是优化模型而是检查数据和特征工程环节。线性回归虽然入门简单但几乎所有机器学习必备的感觉——梯度方向、学习率、损失函数、过拟合、特征工程、泛化评估——都能在这个模型上得到完整的体验。把这套从数学推导到代码落地、再到工程实践的链路走通一遍后面再去学逻辑回归、SVM、神经网络你会发现自己比别人多了一层看得见模型在做什么的底气。