线性回归几乎是所有接触机器学习的人第一站。名字听着像一门数学课说白了就是把一组数据点拟合成一条直线让这条直线在整体上离所有点都尽量近。我最开始做数据处理时用它预测二手手机价格帮朋友算过开店选址的人流量和营业额关系后来才发现很多看起来复杂的模型底层都在拿它当基础模块。这篇内容我会先讲清楚线性回归到底在解决什么问题、为什么“最小二乘”这四个字出现频率这么高然后带你把梯度下降用 Python 从零实现一遍再用 sklearn 做对比最后把实际项目中容易踩的坑和排查经验整理出来。适合刚接触机器学习、看过公式但没跑过代码、或者想真正理解模型内部机制的同学。内容偏实操但每一步我都会解释背后的原因不是只丢一段能跑的代码。1. 线性回归到底在做一件什么事从房价预测说起1.1 模型的语言把业务问题翻译成数学问题先举一个最简单的场景。假设我有 100 套房子的数据每套房子有一个面积x和一个成交价y现在想根据面积预测价格。我们当然可以拍脑袋定一条规则每平米 2 万附带一个基础价格。翻译成公式就是y w * x bw 是斜率也就是“每平米多卖多少钱”b 是截距相当于“房子白送时的基础价”。线性回归要解决的问题就是找到一组最合适的 w 和 b让这条直线的预测值 y_pred 和真实 y 尽可能接近。这样看它一点也不神秘。你初中就画过这种图只不过当时是用尺子找“看起来最像的那条线”现在要换成一个模型来自动找并且给“最像”一个严格定义。多元场景下只是把 x 换成一个向量w 也变成一组权重公式变成y w1x1 w2x2 ... wn*xn b这就是多元线性回归。面积、房龄、楼层、距离地铁站的距离每一个特征都配一个权重最后加权求和。理解了单变量的逻辑多变量只是多算几个数而已。1.2 为什么非要用直线简单、可控、有解释力我经常被问一个问题为什么不用一条弯弯曲曲的曲线“弯曲线”理论上当然能更好地穿过每个点但代价是容易跟着噪声走样本一变模型就完全变样。直线在表达能力上天然受限反而成了一种优点它强逼着模型抓住变量之间的大趋势。更关键的是可解释性。一旦训练完成w 直接告诉你“面积每增加一平米价格平均增加多少”。这在很多业务场景里是可以直接拿去汇报的数字而不是一个黑盒。也正是因为可解释线性回归在金融风控、市场分析、销售预测这些领域到现在仍是主力工具之一而不是被深度学习完全取代。从统计角度再看一层线性回归实际上在估计 y 在给定 x 条件下的均值。换句话说它不预测“这套房子一定卖 300 万”而是预测“所有条件相似的房子价格平均在 300 万附近”。这个视角对理解模型误差很有帮助。1.3 什么样的问题适合用线性回归不是所有问题都适合它我总结了三类信号比较明显的数据可以先用它试水第一自变量和因变量之间大体是线性关系。画个散点图出来点群大致呈一条带子而不是弧线就有做线性回归的基础。第二预测目标是连续型数值。预测明天的气温、销售额、用户停留时长都行如果要判断一封邮件是不是垃圾邮件这叫分类不是回归该直接干的事。第三特征数量适中且特征之间没有太强的交互关系。如果特征间存在复杂的乘法关系比如“健身房收益 会员数 × 客单价”那你应该先把组合特征构造出来再做线性回归。我习惯的做法是先画散点图、算一下相关系数确认这些条件之后再上模型。入门阶段很多人一上来就 fit跳过了检查数据结构这一步后面排查问题时就会很被动。2. 核心原理拆解最小二乘为什么是最小二乘2.1 损失函数给“拟合得好不好”一个明确分数要找到最好的 w 和 b必须先定义什么叫“好”。最直觉的想法是看每个点的真实值和预测值差多少把所有差值加起来。但这里有个问题差值有正有负直接求和会相互抵消。一个点差 50另一个点差 -50加起来为 0你不能说拟合得很完美。于是经典做法是平方。每个点的误差取平方再求平均这就是均方误差 MSEMSE (1/m) * sum((y_pred - y)^2)在数学推导里很多人会在前面加一个 1/2也就是 (1/(2m)) * sum(...)。为什么因为平方项求导后会出来一个 2配上一个 1/2 分子分母正好消掉求梯度时表达式更干净。加不加这个系数不影响最终求出来的 w 和 b因为它只是让目标函数整体缩小了一半。搞清楚这一点看很多教材时就不会被符号吓到。“最小二乘”这个名字就是这么来的我们想找一组参数让误差的平方和最小“二乘”指的就是平方。直观理解平方放大了大误差差一个单位是 1差十个单位是 100。所以最小二乘会优先消灭那些偏差特别大的点这也是它的性格特征——对异常点敏感。2.2 梯度下降闭着眼往山下走有了损失函数问题就变成“怎么找到让损失函数最小的 w 和 b”。如果你学过微积分理论上直接对 w 求偏导并令其等于 0 就行这叫“正规方程”解法。但实际中特征多、数据量大时直接求逆矩阵太慢所以才要用梯度下降。梯度下降的思路很生活化。想象你站在一座山的某个位置面前一片漆黑只知道脚下坡的方向你每迈一步都朝最陡的下坡方向走。迈多大步子由“学习率”决定而这个“最陡方向”就是数学上的负梯度方向。对线性回归来说每一步要做的事就是计算预测值 y_pred w * x b计算梯度dw (1/m) * sum((y_pred - y) * x) db (1/m) * sum(y_pred - y)更新参数w w - 学习率 * dw b b - 学习率 * db从公式能看出梯度其实就是误差对 w 的“敏感度”加权平均。误差大方向一致梯度就大参数更新就猛误差接近零梯度接近零参数基本停下来。这个机制反应很快所以线性回归才能在几十轮迭代里就收敛到不错的结果。2.3 正规方程另一个角度的理解除了梯度下降线性回归还有一个解析解直接一步到位w (X^T X)^(-1) X^T y这里的 X 是特征矩阵注意要在前面拼一列全 1 用来吸收截距项。我第一次看到这个公式的时候觉得它很神奇后来理解了本质它是把 y 投影到 X 的列空间上找到那个让投影误差最小的系数组合。几何上看就是“在 X 的列空间里找离 y 最近的点”。正规方程在小数据量、特征数量少的情况下非常好用不需要调学习率也不需要迭代。但它有两个致命问题一是要计算矩阵逆复杂度随特征数量增加迅速上升特征上万就基本没法用二是当特征之间高度相关时X^T X 不可逆或者条件数极大求出来的结果会非常不稳定。所以工程上我更推荐梯度下降路线但要理解正规方程它有助于你深刻理解最小二乘的几何意义。3. Python 实操先手写一遍再交给 sklearn3.1 造一份带噪声的样本数据为了能精确评估模型是否学对了我习惯先用已知规则生成合成数据。设定真实关系 w_true2.5、b_true1.2然后加一点高斯噪声模拟真实场景中的随机波动import numpy as np np.random.seed(42) x np.linspace(0, 10, 100) true_w, true_b 2.5, 1.2 y true_w * x true_b np.random.normal(0, 1, sizex.shape[0]) print(x[:5]) print(y[:5])噪声的标准差设成 1相对于真实的 y 幅度来说不算大。这样数据既贴合直线又带有真实的随机性非常适合验证代码写没写对。3.2 numpy 手写梯度下降接下来用纯 numpy 实现整个训练过程。定义三个函数预测、计算损失、梯度下降更新。def predict(x, w, b): return w * x b def compute_cost(x, y, w, b): m len(x) y_pred predict(x, w, b) cost np.sum((y_pred - y) ** 2) / (2 * m) return cost def gradient_descent(x, y, initial_w, initial_b, learning_rate, epochs): w, b initial_w, initial_b m len(x) cost_history [] for epoch in range(epochs): y_pred predict(x, w, b) dw np.sum((y_pred - y) * x) / m db np.sum(y_pred - y) / m w - learning_rate * dw b - learning_rate * db if epoch % 100 0: cost compute_cost(x, y, w, b) cost_history.append(cost) print(fepoch {epoch}, w{w:.3f}, b{b:.3f}, cost{cost:.4f}) return w, b, cost_history注意 dw 的写法把每个样本的误差 (y_pred - y) 乘以 x然后求和再除以 m。为什么乘 x因为 y_pred w*x b对 w 求偏导时链式法则会把那个 x 带下来。这是手写实现最容易写错的地方。跑一下w_final, b_final, cost_history gradient_descent( x, y, initial_w0.0, initial_b0.0, learning_rate0.01, epochs1000 ) print(ffinal w {w_final:.4f}, final b {b_final:.4f})真实值是 w2.5、b1.2训练结束后你会看到 w 和 b 都收敛到接近真实值的水平。这种“模型从数据里恢复出真实规律”的感觉是做实验时最有成就感的瞬间。如果模型输出明显偏离通常要检查学习率是不是太大导致发散或者太小导致还没收敛到位。3.3 用 sklearn 三行搞定并验证差异手写一遍理解原理之后真正干活时用轮子就行from sklearn.linear_model import LinearRegression model LinearRegression() model.fit(x.reshape(-1, 1), y) print(fsklearn w {model.coef_[0]:.4f}, b {model.intercept_:.4f})sklearn 内部用的是最小二乘的矩阵解法结果和梯度下降收敛后的值几乎一致。对比一下两者你会发现手写版本 w、b 略有差别那是因为梯度下降迭代只到“近似收敛”。这正是我想强调的一点梯度下降不是唯一解法它是适合大规模场景的近似解法但理解它的迭代过程比你调一堆 API 重要得多。还有一点值得注意fit 时 x 要 reshape 成二维数组因为 sklearn 要求特征必须是矩阵形式哪怕只有一个特征也要写成 (100, 1)不能写成 (100,)。这个细节报错时特别容易让人困惑。3.4 模型评估不能只看线画得贴不贴近模型训练完最忌讳的就是对着拟合直线说“看起来差不多”。必须用数字说话我至少会看三个指标from sklearn.metrics import mean_squared_error, r2_score y_pred model.predict(x.reshape(-1, 1)) mse mean_squared_error(y, y_pred) rmse np.sqrt(mse) r2 r2_score(y, y_pred) print(fMSE {mse:.4f}) print(fRMSE {rmse:.4f}) print(fR2 {r2:.4f})MSE 是平均误差平方量纲是 y 的平方不容易直观理解RMSE 开根号后回到原量纲可以直接说“平均预测偏差大约是多少万元”。R² 则是一个相对指标它衡量模型跟“直接用平均值预测”相比减少了多少误差。R² 为 0.9 意味着模型解释掉了 90% 的方差剩下的 10% 是随机噪声或没被捕捉的规律。我建议把这三个指标一起看。只盯着 R² 高的模型如果 RMSE 依然很大说明预测精度在实际业务里可能不够用R² 本身也不是越高越好它是“解释力”而非“精准度”。3.5 多元线性回归写法从直线到高维增加特征后手写梯度下降的逻辑基本不用改只是把单变量变成向量和矩阵运算。用 sklearn 更简单X_multi np.column_stack([x, np.random.randn(len(x)) * 2]) model_multi LinearRegression() model_multi.fit(X_multi, y) print(model_multi.coef_) print(model_multi.intercept_)多了一个随机噪声特征后真实面积的系数仍然会接近 2.5噪声特征的系数应该接近 0。这可以在一定程度上判断模型有没有“乱抓特征”。不过要注意少样本、多特征时随机特征也可能拿到非零系数这时候就需要更严谨的统计检验或正则化来帮忙。4. 实际项目里最容易踩的坑与排查经验4.1 欠拟合和过拟合损失曲线不是越低越好很多人一看到训练误差下降就觉得万事大吉其实线性回归同样会过拟合。表现是训练集上 R² 很高但换成新数据后预测一塌糊涂。判断方法很简单把数据集划分成训练集和测试集训练结束后同时看两边指标。如果训练 R² 很高、测试 R² 明显偏低就有过拟合嫌疑。线性回归的过拟合往往来自特征太多、特征与特征之间又存在复杂关联。解决办法有三个方向增加样本量、减少无意义的特征、引入正则化。反过来如果训练集和测试集上的指标都很差通常是欠拟合说明模型结构本身不够。比如真实关系是抛物线走势你却硬要拿一条直线去拟合。这时候应该做多项式扩展或者换更灵活的模型而不是继续调学习率。4.2 特征缩放为什么梯度下降在未归一化数据上震荡这是个非常经典的坑。假设一个特征是“面积”取值范围是 20 到 200 平米另一个特征是“房龄”取值范围是 0 到 30 年两个特征的量级差一个数量级。目标函数在这种数据上会变成一个很扁的椭圆梯度下降的更新路线会呈现“之”字形来回震荡收敛速度极慢。解决方法就是标准化让每个特征均值归零、方差为 1from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X)这里有一个我非常想强调的细节scaler 一定要先 fit 训练集再用训练集的参数去转换测试集不能直接对整个数据集 fit 后再划分。因为一旦把测试集信息混进训练过程就等于提前泄露了未来信息。标准化对基于距离的算法是必须对线性回归这种基于权重的模型也很重要。可以做一个对比实验不标准化跑 1000 轮还没收敛标准化后 200 轮就稳稳收敛了。我自己计算机器学习实验时每次都在数据预处理阶段检查一遍缩放状态。4.3 多重共线性系数突然“反常识”工作中最常被问到的问题之一跑完线性回归系数的正负号和业务直觉完全相反怎么回事最可能的原因就是多重共线性。比如数据里同时放进了“房屋总面积”和“居住面积”这两个特征高度相关几乎互为线性组合。模型没法区分它们各自对房价的贡献于是给其中一个分了很大权重另一个判负值来相互抵消。结果就是一个特征系数为正、一个为负看上去很荒谬但模型在数学上确实自洽。排查方法先算相关系数矩阵看特征间的相关性进一步看方差膨胀因子 VIF一般大于 10 就提示存在明显共线性。处理方式包括删除冗余特征、只保留一个相关性强者、或者改用岭回归和 Lasso 这类带惩罚项的模型from sklearn.linear_model import Ridge, Lasso ridge Ridge(alpha0.1) ridge.fit(X_train_scaled, y_train) lasso Lasso(alpha0.01) lasso.fit(X_train_scaled, y_train)岭回归给权重加了 L2 平方惩罚能把系数往小方向压抑制奇异解Lasso 加的是 L1 绝对惩罚极端情况下会把不重要的特征系数直接压成 0自带特征筛选能力。在我做过的几个项目里遇到共线性问题优先试岭回归效果稳定解释起来也不费劲。4.4 数据编排上的三个低级但高频的错误第一个错误是数据划分前没有打乱数据。如果数据本身按时间排序比如前 80% 是某个月、后 20% 是另一个月分布可能完全不同直接划分会让验证结果失真。加一行train_test_split时设置shuffleTrue新版默认是 True即可。第二个错误是忘了处理缺失值。线性回归内部不会帮你处理 NaN一行 NaN 就能让矩阵运算直接报错。训练前用df.isnull().sum()查一遍缺失少的可以考虑均值填充缺失多的建议直接删除这一列并评估影响。第三个错误是只报指标不看残差图。残差图是预测值和真实残差的散点图如果残差围绕 0 随机分布模型基本健康如果呈现喇叭形或者有明确趋势说明模型还有没捕捉到的结构信息。我每训练完一个模型必画残差图这是成本最低的健康检查手段。最后分享一个我工作中一直保留的习惯模型结果出来先别急着写报告把得到的系数和业务常识对一遍。w 是 2.5意味着面积每涨一平房价涨 2.5 万这合理吗不合理就回到数据和预处理去找问题而不是盲信 R² 那一串数字。线性回归最大的价值就在于透明这种透明不光体现在理论上更体现在它能逼着你去理解数据的每一个角落。 
长河君 · 2026/10/11 5:09:27 · 阅读 1.2k 线性回归从原理到实战：最小二乘、梯度下降与工程避坑指南
线性回归几乎是所有接触机器学习的人第一站。名字听着像一门数学课说白了就是把一组数据点拟合成一条直线让这条直线在整体上离所有点都尽量近。我最开始做数据处理时用它预测二手手机价格帮朋友算过开店选址的人流量和营业额关系后来才发现很多看起来复杂的模型底层都在拿它当基础模块。这篇内容我会先讲清楚线性回归到底在解决什么问题、为什么“最小二乘”这四个字出现频率这么高然后带你把梯度下降用 Python 从零实现一遍再用 sklearn 做对比最后把实际项目中容易踩的坑和排查经验整理出来。适合刚接触机器学习、看过公式但没跑过代码、或者想真正理解模型内部机制的同学。内容偏实操但每一步我都会解释背后的原因不是只丢一段能跑的代码。1. 线性回归到底在做一件什么事从房价预测说起1.1 模型的语言把业务问题翻译成数学问题先举一个最简单的场景。假设我有 100 套房子的数据每套房子有一个面积x和一个成交价y现在想根据面积预测价格。我们当然可以拍脑袋定一条规则每平米 2 万附带一个基础价格。翻译成公式就是y w * x bw 是斜率也就是“每平米多卖多少钱”b 是截距相当于“房子白送时的基础价”。线性回归要解决的问题就是找到一组最合适的 w 和 b让这条直线的预测值 y_pred 和真实 y 尽可能接近。这样看它一点也不神秘。你初中就画过这种图只不过当时是用尺子找“看起来最像的那条线”现在要换成一个模型来自动找并且给“最像”一个严格定义。多元场景下只是把 x 换成一个向量w 也变成一组权重公式变成y w1x1 w2x2 ... wn*xn b这就是多元线性回归。面积、房龄、楼层、距离地铁站的距离每一个特征都配一个权重最后加权求和。理解了单变量的逻辑多变量只是多算几个数而已。1.2 为什么非要用直线简单、可控、有解释力我经常被问一个问题为什么不用一条弯弯曲曲的曲线“弯曲线”理论上当然能更好地穿过每个点但代价是容易跟着噪声走样本一变模型就完全变样。直线在表达能力上天然受限反而成了一种优点它强逼着模型抓住变量之间的大趋势。更关键的是可解释性。一旦训练完成w 直接告诉你“面积每增加一平米价格平均增加多少”。这在很多业务场景里是可以直接拿去汇报的数字而不是一个黑盒。也正是因为可解释线性回归在金融风控、市场分析、销售预测这些领域到现在仍是主力工具之一而不是被深度学习完全取代。从统计角度再看一层线性回归实际上在估计 y 在给定 x 条件下的均值。换句话说它不预测“这套房子一定卖 300 万”而是预测“所有条件相似的房子价格平均在 300 万附近”。这个视角对理解模型误差很有帮助。1.3 什么样的问题适合用线性回归不是所有问题都适合它我总结了三类信号比较明显的数据可以先用它试水第一自变量和因变量之间大体是线性关系。画个散点图出来点群大致呈一条带子而不是弧线就有做线性回归的基础。第二预测目标是连续型数值。预测明天的气温、销售额、用户停留时长都行如果要判断一封邮件是不是垃圾邮件这叫分类不是回归该直接干的事。第三特征数量适中且特征之间没有太强的交互关系。如果特征间存在复杂的乘法关系比如“健身房收益 会员数 × 客单价”那你应该先把组合特征构造出来再做线性回归。我习惯的做法是先画散点图、算一下相关系数确认这些条件之后再上模型。入门阶段很多人一上来就 fit跳过了检查数据结构这一步后面排查问题时就会很被动。2. 核心原理拆解最小二乘为什么是最小二乘2.1 损失函数给“拟合得好不好”一个明确分数要找到最好的 w 和 b必须先定义什么叫“好”。最直觉的想法是看每个点的真实值和预测值差多少把所有差值加起来。但这里有个问题差值有正有负直接求和会相互抵消。一个点差 50另一个点差 -50加起来为 0你不能说拟合得很完美。于是经典做法是平方。每个点的误差取平方再求平均这就是均方误差 MSEMSE (1/m) * sum((y_pred - y)^2)在数学推导里很多人会在前面加一个 1/2也就是 (1/(2m)) * sum(...)。为什么因为平方项求导后会出来一个 2配上一个 1/2 分子分母正好消掉求梯度时表达式更干净。加不加这个系数不影响最终求出来的 w 和 b因为它只是让目标函数整体缩小了一半。搞清楚这一点看很多教材时就不会被符号吓到。“最小二乘”这个名字就是这么来的我们想找一组参数让误差的平方和最小“二乘”指的就是平方。直观理解平方放大了大误差差一个单位是 1差十个单位是 100。所以最小二乘会优先消灭那些偏差特别大的点这也是它的性格特征——对异常点敏感。2.2 梯度下降闭着眼往山下走有了损失函数问题就变成“怎么找到让损失函数最小的 w 和 b”。如果你学过微积分理论上直接对 w 求偏导并令其等于 0 就行这叫“正规方程”解法。但实际中特征多、数据量大时直接求逆矩阵太慢所以才要用梯度下降。梯度下降的思路很生活化。想象你站在一座山的某个位置面前一片漆黑只知道脚下坡的方向你每迈一步都朝最陡的下坡方向走。迈多大步子由“学习率”决定而这个“最陡方向”就是数学上的负梯度方向。对线性回归来说每一步要做的事就是计算预测值 y_pred w * x b计算梯度dw (1/m) * sum((y_pred - y) * x) db (1/m) * sum(y_pred - y)更新参数w w - 学习率 * dw b b - 学习率 * db从公式能看出梯度其实就是误差对 w 的“敏感度”加权平均。误差大方向一致梯度就大参数更新就猛误差接近零梯度接近零参数基本停下来。这个机制反应很快所以线性回归才能在几十轮迭代里就收敛到不错的结果。2.3 正规方程另一个角度的理解除了梯度下降线性回归还有一个解析解直接一步到位w (X^T X)^(-1) X^T y这里的 X 是特征矩阵注意要在前面拼一列全 1 用来吸收截距项。我第一次看到这个公式的时候觉得它很神奇后来理解了本质它是把 y 投影到 X 的列空间上找到那个让投影误差最小的系数组合。几何上看就是“在 X 的列空间里找离 y 最近的点”。正规方程在小数据量、特征数量少的情况下非常好用不需要调学习率也不需要迭代。但它有两个致命问题一是要计算矩阵逆复杂度随特征数量增加迅速上升特征上万就基本没法用二是当特征之间高度相关时X^T X 不可逆或者条件数极大求出来的结果会非常不稳定。所以工程上我更推荐梯度下降路线但要理解正规方程它有助于你深刻理解最小二乘的几何意义。3. Python 实操先手写一遍再交给 sklearn3.1 造一份带噪声的样本数据为了能精确评估模型是否学对了我习惯先用已知规则生成合成数据。设定真实关系 w_true2.5、b_true1.2然后加一点高斯噪声模拟真实场景中的随机波动import numpy as np np.random.seed(42) x np.linspace(0, 10, 100) true_w, true_b 2.5, 1.2 y true_w * x true_b np.random.normal(0, 1, sizex.shape[0]) print(x[:5]) print(y[:5])噪声的标准差设成 1相对于真实的 y 幅度来说不算大。这样数据既贴合直线又带有真实的随机性非常适合验证代码写没写对。3.2 numpy 手写梯度下降接下来用纯 numpy 实现整个训练过程。定义三个函数预测、计算损失、梯度下降更新。def predict(x, w, b): return w * x b def compute_cost(x, y, w, b): m len(x) y_pred predict(x, w, b) cost np.sum((y_pred - y) ** 2) / (2 * m) return cost def gradient_descent(x, y, initial_w, initial_b, learning_rate, epochs): w, b initial_w, initial_b m len(x) cost_history [] for epoch in range(epochs): y_pred predict(x, w, b) dw np.sum((y_pred - y) * x) / m db np.sum(y_pred - y) / m w - learning_rate * dw b - learning_rate * db if epoch % 100 0: cost compute_cost(x, y, w, b) cost_history.append(cost) print(fepoch {epoch}, w{w:.3f}, b{b:.3f}, cost{cost:.4f}) return w, b, cost_history注意 dw 的写法把每个样本的误差 (y_pred - y) 乘以 x然后求和再除以 m。为什么乘 x因为 y_pred w*x b对 w 求偏导时链式法则会把那个 x 带下来。这是手写实现最容易写错的地方。跑一下w_final, b_final, cost_history gradient_descent( x, y, initial_w0.0, initial_b0.0, learning_rate0.01, epochs1000 ) print(ffinal w {w_final:.4f}, final b {b_final:.4f})真实值是 w2.5、b1.2训练结束后你会看到 w 和 b 都收敛到接近真实值的水平。这种“模型从数据里恢复出真实规律”的感觉是做实验时最有成就感的瞬间。如果模型输出明显偏离通常要检查学习率是不是太大导致发散或者太小导致还没收敛到位。3.3 用 sklearn 三行搞定并验证差异手写一遍理解原理之后真正干活时用轮子就行from sklearn.linear_model import LinearRegression model LinearRegression() model.fit(x.reshape(-1, 1), y) print(fsklearn w {model.coef_[0]:.4f}, b {model.intercept_:.4f})sklearn 内部用的是最小二乘的矩阵解法结果和梯度下降收敛后的值几乎一致。对比一下两者你会发现手写版本 w、b 略有差别那是因为梯度下降迭代只到“近似收敛”。这正是我想强调的一点梯度下降不是唯一解法它是适合大规模场景的近似解法但理解它的迭代过程比你调一堆 API 重要得多。还有一点值得注意fit 时 x 要 reshape 成二维数组因为 sklearn 要求特征必须是矩阵形式哪怕只有一个特征也要写成 (100, 1)不能写成 (100,)。这个细节报错时特别容易让人困惑。3.4 模型评估不能只看线画得贴不贴近模型训练完最忌讳的就是对着拟合直线说“看起来差不多”。必须用数字说话我至少会看三个指标from sklearn.metrics import mean_squared_error, r2_score y_pred model.predict(x.reshape(-1, 1)) mse mean_squared_error(y, y_pred) rmse np.sqrt(mse) r2 r2_score(y, y_pred) print(fMSE {mse:.4f}) print(fRMSE {rmse:.4f}) print(fR2 {r2:.4f})MSE 是平均误差平方量纲是 y 的平方不容易直观理解RMSE 开根号后回到原量纲可以直接说“平均预测偏差大约是多少万元”。R² 则是一个相对指标它衡量模型跟“直接用平均值预测”相比减少了多少误差。R² 为 0.9 意味着模型解释掉了 90% 的方差剩下的 10% 是随机噪声或没被捕捉的规律。我建议把这三个指标一起看。只盯着 R² 高的模型如果 RMSE 依然很大说明预测精度在实际业务里可能不够用R² 本身也不是越高越好它是“解释力”而非“精准度”。3.5 多元线性回归写法从直线到高维增加特征后手写梯度下降的逻辑基本不用改只是把单变量变成向量和矩阵运算。用 sklearn 更简单X_multi np.column_stack([x, np.random.randn(len(x)) * 2]) model_multi LinearRegression() model_multi.fit(X_multi, y) print(model_multi.coef_) print(model_multi.intercept_)多了一个随机噪声特征后真实面积的系数仍然会接近 2.5噪声特征的系数应该接近 0。这可以在一定程度上判断模型有没有“乱抓特征”。不过要注意少样本、多特征时随机特征也可能拿到非零系数这时候就需要更严谨的统计检验或正则化来帮忙。4. 实际项目里最容易踩的坑与排查经验4.1 欠拟合和过拟合损失曲线不是越低越好很多人一看到训练误差下降就觉得万事大吉其实线性回归同样会过拟合。表现是训练集上 R² 很高但换成新数据后预测一塌糊涂。判断方法很简单把数据集划分成训练集和测试集训练结束后同时看两边指标。如果训练 R² 很高、测试 R² 明显偏低就有过拟合嫌疑。线性回归的过拟合往往来自特征太多、特征与特征之间又存在复杂关联。解决办法有三个方向增加样本量、减少无意义的特征、引入正则化。反过来如果训练集和测试集上的指标都很差通常是欠拟合说明模型结构本身不够。比如真实关系是抛物线走势你却硬要拿一条直线去拟合。这时候应该做多项式扩展或者换更灵活的模型而不是继续调学习率。4.2 特征缩放为什么梯度下降在未归一化数据上震荡这是个非常经典的坑。假设一个特征是“面积”取值范围是 20 到 200 平米另一个特征是“房龄”取值范围是 0 到 30 年两个特征的量级差一个数量级。目标函数在这种数据上会变成一个很扁的椭圆梯度下降的更新路线会呈现“之”字形来回震荡收敛速度极慢。解决方法就是标准化让每个特征均值归零、方差为 1from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X)这里有一个我非常想强调的细节scaler 一定要先 fit 训练集再用训练集的参数去转换测试集不能直接对整个数据集 fit 后再划分。因为一旦把测试集信息混进训练过程就等于提前泄露了未来信息。标准化对基于距离的算法是必须对线性回归这种基于权重的模型也很重要。可以做一个对比实验不标准化跑 1000 轮还没收敛标准化后 200 轮就稳稳收敛了。我自己计算机器学习实验时每次都在数据预处理阶段检查一遍缩放状态。4.3 多重共线性系数突然“反常识”工作中最常被问到的问题之一跑完线性回归系数的正负号和业务直觉完全相反怎么回事最可能的原因就是多重共线性。比如数据里同时放进了“房屋总面积”和“居住面积”这两个特征高度相关几乎互为线性组合。模型没法区分它们各自对房价的贡献于是给其中一个分了很大权重另一个判负值来相互抵消。结果就是一个特征系数为正、一个为负看上去很荒谬但模型在数学上确实自洽。排查方法先算相关系数矩阵看特征间的相关性进一步看方差膨胀因子 VIF一般大于 10 就提示存在明显共线性。处理方式包括删除冗余特征、只保留一个相关性强者、或者改用岭回归和 Lasso 这类带惩罚项的模型from sklearn.linear_model import Ridge, Lasso ridge Ridge(alpha0.1) ridge.fit(X_train_scaled, y_train) lasso Lasso(alpha0.01) lasso.fit(X_train_scaled, y_train)岭回归给权重加了 L2 平方惩罚能把系数往小方向压抑制奇异解Lasso 加的是 L1 绝对惩罚极端情况下会把不重要的特征系数直接压成 0自带特征筛选能力。在我做过的几个项目里遇到共线性问题优先试岭回归效果稳定解释起来也不费劲。4.4 数据编排上的三个低级但高频的错误第一个错误是数据划分前没有打乱数据。如果数据本身按时间排序比如前 80% 是某个月、后 20% 是另一个月分布可能完全不同直接划分会让验证结果失真。加一行train_test_split时设置shuffleTrue新版默认是 True即可。第二个错误是忘了处理缺失值。线性回归内部不会帮你处理 NaN一行 NaN 就能让矩阵运算直接报错。训练前用df.isnull().sum()查一遍缺失少的可以考虑均值填充缺失多的建议直接删除这一列并评估影响。第三个错误是只报指标不看残差图。残差图是预测值和真实残差的散点图如果残差围绕 0 随机分布模型基本健康如果呈现喇叭形或者有明确趋势说明模型还有没捕捉到的结构信息。我每训练完一个模型必画残差图这是成本最低的健康检查手段。最后分享一个我工作中一直保留的习惯模型结果出来先别急着写报告把得到的系数和业务常识对一遍。w 是 2.5意味着面积每涨一平房价涨 2.5 万这合理吗不合理就回到数据和预处理去找问题而不是盲信 R² 那一串数字。线性回归最大的价值就在于透明这种透明不光体现在理论上更体现在它能逼着你去理解数据的每一个角落。