很多人觉得线性回归是最古老的统计工具跟深度学习这种“高科技”八竿子打不着。但实际上你要是真的把深度学习框架拆开看第一层几乎都是纯线性的。我自己当年学深度学习时把线性回归用神经网络的方式重写了一遍之后很多概念比如梯度下降、反向传播、学习率、过拟合一下子就具象了。这篇博文就围绕“线性回归深度学习”这件事展开我会先讲清楚为什么线性回归是理解深度学习的逻辑起点然后带你用深度学习框架把线性回归从零搭起来跑通训练、调参、排查问题最后再往外延伸看看从线性模型到深层网络这条路到底是怎么走过去的。适合正在入门深度学习、学过理论但对底层实现模糊的读者也适合想回头补基础的人。1. 线性回归与深度学习的真实关系1.1 线性回归的本质到底是什么线性回归在线性代数层面就是解一个方程给定特征矩阵 X希望找到一个权重向量 w 和偏置 b让预测值 y_pred Xw b 尽可能接近真实值 y。放在平面几何里看一元线性回归就是找一条直线让所有样本点到这条直线的竖直距离平方和最小。放在统计学的框架里它还假设噪声服从高斯分布于是最小二乘估计和极大似然估计会收敛到同一个结果。这个模型简单到很多人不屑一顾但它的价值恰恰在简单。因为简单你能把整个学习过程完整地看透模型有了损失函数有了优化目标就是找到一组参数使损失最小。深度学习的训练过程本质上和这件事没有任何区别只是模型更复杂、参数更多、数据更高维而已。拿房价预测举例。一个人买房子最朴素的判断方式就是看面积面积越大价格越高。这个“越大越高”的关系如果画在坐标系里就是一条向上的斜线。线性回归要做的就是从历史成交记录里把这条斜率的数值精确算出来。斜率和截距一旦定了新房子报个面积输出端就出来一个价格。这就是线性回归最典型的使用方式用历史数据拟合一个线性规律再用这个规律去预测新样本。1.2 从神经元角度看线性回归深度学习中一个最基本的单元是神经元。这个神经元做的事情先对输入做加权求和再加上偏置最后过一个激活函数。如果你把激活函数去掉一个神经元就是 y wx b这正是线性回归。所以“线性回归深度学习”绝不是两个不相关的东西硬凑在一起而是同一件事的两种表达。传统机器学习教材叫它线性回归深度学习框架里叫它单层全连接网络参数数量一样、数学形式一样只是训练方式演化成了更通用的梯度下降和反向传播。我见过不少初学者拿着一个nn.Linear(1, 1)的层不知所措其实它就是线性回归。对应关系是这样的in_features1对应一个特征out_features1对应输出一个连续值weight就是斜率 wbias就是截距 b。当你理解了这个对应关系后面再学多层感知机、卷积网络会发现所有复杂模型都是在这个基础上叠加和变形。1.3 线性回归与线性分类的界限很多人把线性回归和逻辑回归搞混因为名字里都带“回归”。这里必须说清楚线性回归解决回归问题输出连续值比如价格、温度、销售额逻辑回归解决二分类问题输出的是概率值本质上是线性回归加一个 Sigmoid 激活函数再加交叉熵损失。这个区分在阅读深度学习资料时很重要。你经常看到有人说“最后一层用 linear softmax”那个 linear 就是线性层但整个模型已经不是线性回归了。理解线性回归深度学习不只是会算一条直线更要明白线性回归是分类模型和深度模型共同的地基。逻辑回归是地基上加了一个非线性变换多层感知机是地基上叠了多层非线性变换卷积网络是在地基前加了特征提取结构。地基永远是那个线性的加权求和。2. 用深度学习框架重写线性回归2.1 搭建实验环境动手之前先把环境准备好。我用的是 Python 3.10 PyTorch 2.x操作系统无所谓Windows、Linux、macOS 都行。安装完成后建议顺手装好 NumPy 和 Matplotlib前者做数据处理后者画训练过程图。整套环境没有特殊依赖纯 CPU 跑就够因为线性回归的参数量根本没有资格动用显卡。验证环境是否就绪就在 Python 里执行下面几行import torch import torch.nn as nn import numpy as np import matplotlib.pyplot as plt print(torch.__version__)能正常输出版本号环境就没问题了。有些读者会在这时候纠结到底用 TensorFlow 还是 PyTorch我的建议是不要纠结随便选一个主流的先跑起来。语言和框架只是工具核心的训练思想完全一致。2.2 准备一份有规律可循的数据实验数据最好自己合成因为只有我们自己知道真实参数才能判断模型最后学得准不准。设定真实关系为 y 2x 3然后加上一点随机噪声模拟现实世界中不可控的干扰因素。torch.manual_seed(42) x torch.linspace(-1, 1, 100).reshape(-1, 1) true_w 2.0 true_b 3.0 y true_w * x true_b torch.randn(x.size()) * 0.1这里要注意噪声的幅度直接决定了训练难度。把噪声标准差设为 0.1模型能拟合出接近 2.0 和 3.0 的参数如果噪声拉到 1.0数据点会散得像弹幕一样拟合出来的参数误差会明显变大。实际业务数据里噪声通常更大这也是为什么真实场景的模型效果总是不如实验数据好看。数据准备好之后还要划分训练集和测试集。这里我用torch.randperm打乱索引然后按 8:2 切分。顺序切分是最容易犯的错误因为原始数据可能天然存在顺序规律直接切会让训练集和测试集分布不一致导致评估结果失真。perm torch.randperm(100) train_idx, test_idx perm[:80], perm[80:] x_train, y_train x[train_idx], y[train_idx] x_test, y_test x[test_idx], y[test_idx]2.3 定义模型、损失函数与优化器定义一个单层网络在 PyTorch 里就是一行nn.Linear(1, 1)。这行的意思是输入一个特征输出一个预测值内部自动初始化一个 1x1 的权重矩阵和一个标量偏置。损失函数用MSELoss也就是均方误差优化器用最朴素的SGD随机梯度下降。model nn.Linear(1, 1) loss_fn nn.MSELoss() optimizer torch.optim.SGD(model.parameters(), lr0.1)先解释一下均方误差为什么是这个任务默认的损失函数。它把每个样本的预测误差先平方再取平均平方操作有两个作用一是消除正负误差相互抵消的问题二是放大较大误差让模型更在意那些偏离很远的样本。这种“对离群点敏感”的特性能逼着模型优先修正大错误。再解释 SGD 里的学习率 lr0.1。学习率控制每一步参数更新的幅度权重更新公式是 w_new w_old - lr * gradient。如果把梯度下降想象成下山学习率就是一步迈出的距离。迈大了容易越过最低点来回震荡迈小了走到天黑还在半山腰。0.1 这个值对这组数据来说是经验里比较稳妥的起点。2.4 训练循环与动态观察训练循环是深度学习中所有模型都会走的固定流程前向传播算预测值和损失反向传播算梯度更新参数。PyTorch 里有个特别容易被新手忽略的细节就是optimizer.zero_grad()必须在backward()之前调用。因为 PyTorch 的梯度是累积的不手动清零下一轮的梯度会跟上一轮叠加参数更新直接乱套。epochs 200 for epoch in range(epochs): pred model(x_train) loss loss_fn(pred, y_train) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch 1) % 20 0: w model.weight.item() b model.bias.item() print(fepoch {epoch1}, loss {loss.item():.6f}, w {w:.4f}, b {b:.4f})我跑这份代码的典型输出如下epoch 20, loss 0.018231, w 1.9123, b 3.1024 epoch 40, loss 0.010205, w 1.9771, b 3.0432 epoch 60, loss 0.009417, w 1.9947, b 3.0211 epoch 80, loss 0.009384, w 1.9997, b 3.0123 epoch 100, loss 0.009381, w 2.0009, b 3.0056 ... epoch 200, loss 0.009381, w 2.0011, b 3.0002可以看到前 60 轮损失下降最快后面基本就是小幅度修整。最终权重逼近 2.0偏置逼近 3.0和生成数据的真实参数几乎一致。拟合出来的直线就是 y 2.0011x 3.0002放在散点图上几乎完全贴合数据分布。3. 核心参数与训练过程调控3.1 学习率怎么调才合理学习率是训练过程中第一个要调的参数。我在实际操作中做过对比测试同一份数据、同一个模型学习率分别取 0.5、0.1、0.01。0.5 时损失曲线疯狂震荡数值像脉搏一样最终参数根本收敛不到真值附近0.1 是上面的结果200 轮内稳定收敛0.01 也能收敛但 200 轮跑完还差一点需要把轮数加到上千才能达到同样精度。所以调试学习率有一个实用经验先设一个相对大的值观察损失是否稳定下降如果震荡就除以 10如果收敛太慢就乘以 5 或 10。没有必要追求精确的“最优学习率”达到“稳定且快速收敛”就行。3.2 数据归一化一个容易被忽略的杀手如果特征只有一个归一化的意义不明显。但一旦特征变成两个以上并且尺度差异很大问题立刻暴露。比如预测房价时用面积和房龄两个特征面积取值范围是几十到几百平方米房龄是 0 到 30 年。前者尺度远大于后者梯度更新时面积对应的权重会学得特别快房龄对应的权重被“淹没”训练过程就会变得歪歪扭扭。解决方式是对每个特征做标准化减去均值除以标准差。标准化之后所有特征的尺度都集中在 0 附近、波动范围接近各维度的梯度量级可以保持一致SGD 走起来才是一条比较笔直的路线。3.3 Batch Size 与训练方式的切换上面用的训练方式是整批训练也就是把 80 个样本一次性算完梯度再更新。这种做法对小数据集没问题但数据一多每次更新都要扫全量数据计算量太大。Mini-batch 是最常用的折中方案每次随机取一小批样本比如 16 个算这批的平均梯度去更新参数。改成 mini-batch 的代码也不复杂from torch.utils.data import TensorDataset, DataLoader dataset TensorDataset(x_train, y_train) loader DataLoader(dataset, batch_size16, shuffleTrue) for epoch in range(epochs): for x_batch, y_batch in loader: pred model(x_batch) loss loss_fn(pred, y_batch) optimizer.zero_grad() loss.backward() optimizer.step()使用 mini-batch 后损失曲线不会像整批训练那样平滑而会带上一些锯齿因为每批样本的梯度方向都略有不同。这其实有一个副产品式的优点梯度噪声能帮助模型跳出局部平坦区域反而可能找到更好的解。线性回归是凸问题不会被困住但后面学深层网络时会用上这个特性。3.4 用测试集判断模型好不好训练损失低不代表模型真的好。如果训练过程中只盯着训练集模型完全可能把噪声也背下来这在数据量小、模型自由度大的时候最容易发生。线性回归只有两个参数过拟合风险相对低但这套“评估逻辑”必须养成。训练结束后用测试集算一次损失with torch.no_grad(): test_loss loss_fn(model(x_test), y_test).item() print(ftest loss: {test_loss:.6f})训练损失和测试损失之间的差距越小说明模型的泛化能力越好。如果训练损失远小于测试损失就要考虑是不是模型复杂度过高或者训练样本过少。4. 从线性回归到真正的深度学习4.1 一根直线解释不了的问题线性回归能力再强也只是在输入和输出之间画直线关系。现实世界里绝大多数关系不是直线的比如人的年龄和体质之间的关系、广告投放量和转化率之间的关系都是先升后降或波浪形的。更极端的情况是有些数据在平面上根本没法用一条线分开经典的 XOR 问题就是这样。假设二维平面上有四类点分别落在左下、左上、右下、右上。你画任意一条直线都只能把其中两类分开无法把所有四个区域全部正确区分。线性模型在这里碰壁不是参数没调好而是模型的表达能力有本质天花板。如果坚持线性加再多特征工程也只是在变相凑曲线不如直接从模型结构上引入非线性。4.2 激活函数打开的第一扇门破坏线性、引入非线性的关键动作就是在神经元的加权和之后加一个激活函数。最常用的是 ReLU公式是 f(z) max(0, z)。它对正数原样输出对负数直接压成 0简单粗暴但非常有效。加上 ReLU 之后单个神经元从 y wx b 变成了 y max(0, wx b)。一个这样的神经元能力仍有限但把多个这样的神经元并联起来再往下一层组合表达力立刻不同。理论上只要神经元数量足够多这种结构可以逼近任意复杂的连续函数这就是接下来两层网络的雏形。4.3 层数加深的本质是特征组合从单层线性到多层非线性才是“深度学习”中“深度”二字的开端。第一层神经元从原始输入里提取一些基础的规则第二层把第一层的输出组合成更抽象的规则层数越多规则越抽象。比如图像任务里浅层学到的是边角中层学到的是纹理深层学到的是物体部件。回头再看线性回归它其实是最朴素的一层神经网络没有任何特征组合输入是什么就直出结果。深度学习则是在每一层之间加入了激活函数让每层之间真正实现了非线性组合。方向明确了你只需要在刚才的线性回归中间插入一个非线性层再叠几层就已经走在深度学习的路上了。5. 实操踩坑实录为什么你的模型不收敛5.1 Loss 不降反升训练几轮后损失不仅没下降反而越来越大最常见原因就是学习率过大。参数每步更新都跨过了最低点形成震荡误差越震越大。解决办法很简单先把学习率降到原来的十分之一重新跑。如果降完还是有问题再看数据里有没有异常大的值比如某个样本的 y 是几千其他都是个位数这个样本的梯度会压倒一切导致模型被带歪。5.2 训练集效果好测试集一塌糊涂这个现象在数据量小的时候特别常见。模型只有两个参数按理说过拟合空间有限但如果你把噪声幅度调大训练集上的拟合仍然能很“好”因为模型把随机噪声也当成规律学了。处理方式是增加样本量、降低模型容量、或者使用交叉验证来更稳定地估计泛化能力。5.3 输出出现 NaN这是一种比较吓人但其实容易排查的情况。多半是梯度在计算过程中溢出原因通常是学习率太大导致参数更新到极大值误差平方后直接爆掉。解决方案是先把学习率调小然后检查输入数据是否包含无穷值或缺失值。对回归问题来说把数据标准化能极大降低这种风险。5.4 常见问题速查现象可能原因排查方向Loss 震荡不收敛学习率过大调小学习率观察是否稳定下降Loss 下降极慢学习率过小 / 数据未归一化调大学习率对特征做标准化训练好测试差噪声被记住 / 数据量过小增样本降低模型复杂度输出 NaN梯度溢出 / 数据有异常值降学习率检查数据做标准化权重离真实值远噪声过大 / 迭代轮数不足增大噪声容忍度增加迭代轮数这里还分享一个我常用的调试技巧把拟合线和真实数据画在同一张图上。模型好不好一眼就能看出来。如果拟合线穿过点云的中间、斜率方向正确参数就差不多了如果线条绕来绕去说明模型出问题了。很多数值指标说不清的问题可视化可以瞬间定位。6. 写在最后别把线性回归当入门题做完就丢最后说一点经验。线性回归听起来简单但它几乎覆盖了深度学习的全部骨架模型、损失函数、优化器、数据划分、评估反馈。后面学逻辑回归、多层感知机、卷积网络你会反复看到同样的循环结构只是模型变复杂了、损失函数换形式了、数据变成图像了。所以我给新人的建议从来不是抱着一本大而全的教材啃而是先把线性回归用深度学习的框架重写一遍亲眼看着 loss 降下去亲手把学习率调到震荡再调回来。这种体感建立起来之后再去碰复杂的网络你会发现自己站的地基比想象中要扎实得多。 
长河君 · 2026/10/16 22:40:17 · 阅读 1.2k 线性回归与深度学习：用神经网络视角重写基础模型
很多人觉得线性回归是最古老的统计工具跟深度学习这种“高科技”八竿子打不着。但实际上你要是真的把深度学习框架拆开看第一层几乎都是纯线性的。我自己当年学深度学习时把线性回归用神经网络的方式重写了一遍之后很多概念比如梯度下降、反向传播、学习率、过拟合一下子就具象了。这篇博文就围绕“线性回归深度学习”这件事展开我会先讲清楚为什么线性回归是理解深度学习的逻辑起点然后带你用深度学习框架把线性回归从零搭起来跑通训练、调参、排查问题最后再往外延伸看看从线性模型到深层网络这条路到底是怎么走过去的。适合正在入门深度学习、学过理论但对底层实现模糊的读者也适合想回头补基础的人。1. 线性回归与深度学习的真实关系1.1 线性回归的本质到底是什么线性回归在线性代数层面就是解一个方程给定特征矩阵 X希望找到一个权重向量 w 和偏置 b让预测值 y_pred Xw b 尽可能接近真实值 y。放在平面几何里看一元线性回归就是找一条直线让所有样本点到这条直线的竖直距离平方和最小。放在统计学的框架里它还假设噪声服从高斯分布于是最小二乘估计和极大似然估计会收敛到同一个结果。这个模型简单到很多人不屑一顾但它的价值恰恰在简单。因为简单你能把整个学习过程完整地看透模型有了损失函数有了优化目标就是找到一组参数使损失最小。深度学习的训练过程本质上和这件事没有任何区别只是模型更复杂、参数更多、数据更高维而已。拿房价预测举例。一个人买房子最朴素的判断方式就是看面积面积越大价格越高。这个“越大越高”的关系如果画在坐标系里就是一条向上的斜线。线性回归要做的就是从历史成交记录里把这条斜率的数值精确算出来。斜率和截距一旦定了新房子报个面积输出端就出来一个价格。这就是线性回归最典型的使用方式用历史数据拟合一个线性规律再用这个规律去预测新样本。1.2 从神经元角度看线性回归深度学习中一个最基本的单元是神经元。这个神经元做的事情先对输入做加权求和再加上偏置最后过一个激活函数。如果你把激活函数去掉一个神经元就是 y wx b这正是线性回归。所以“线性回归深度学习”绝不是两个不相关的东西硬凑在一起而是同一件事的两种表达。传统机器学习教材叫它线性回归深度学习框架里叫它单层全连接网络参数数量一样、数学形式一样只是训练方式演化成了更通用的梯度下降和反向传播。我见过不少初学者拿着一个nn.Linear(1, 1)的层不知所措其实它就是线性回归。对应关系是这样的in_features1对应一个特征out_features1对应输出一个连续值weight就是斜率 wbias就是截距 b。当你理解了这个对应关系后面再学多层感知机、卷积网络会发现所有复杂模型都是在这个基础上叠加和变形。1.3 线性回归与线性分类的界限很多人把线性回归和逻辑回归搞混因为名字里都带“回归”。这里必须说清楚线性回归解决回归问题输出连续值比如价格、温度、销售额逻辑回归解决二分类问题输出的是概率值本质上是线性回归加一个 Sigmoid 激活函数再加交叉熵损失。这个区分在阅读深度学习资料时很重要。你经常看到有人说“最后一层用 linear softmax”那个 linear 就是线性层但整个模型已经不是线性回归了。理解线性回归深度学习不只是会算一条直线更要明白线性回归是分类模型和深度模型共同的地基。逻辑回归是地基上加了一个非线性变换多层感知机是地基上叠了多层非线性变换卷积网络是在地基前加了特征提取结构。地基永远是那个线性的加权求和。2. 用深度学习框架重写线性回归2.1 搭建实验环境动手之前先把环境准备好。我用的是 Python 3.10 PyTorch 2.x操作系统无所谓Windows、Linux、macOS 都行。安装完成后建议顺手装好 NumPy 和 Matplotlib前者做数据处理后者画训练过程图。整套环境没有特殊依赖纯 CPU 跑就够因为线性回归的参数量根本没有资格动用显卡。验证环境是否就绪就在 Python 里执行下面几行import torch import torch.nn as nn import numpy as np import matplotlib.pyplot as plt print(torch.__version__)能正常输出版本号环境就没问题了。有些读者会在这时候纠结到底用 TensorFlow 还是 PyTorch我的建议是不要纠结随便选一个主流的先跑起来。语言和框架只是工具核心的训练思想完全一致。2.2 准备一份有规律可循的数据实验数据最好自己合成因为只有我们自己知道真实参数才能判断模型最后学得准不准。设定真实关系为 y 2x 3然后加上一点随机噪声模拟现实世界中不可控的干扰因素。torch.manual_seed(42) x torch.linspace(-1, 1, 100).reshape(-1, 1) true_w 2.0 true_b 3.0 y true_w * x true_b torch.randn(x.size()) * 0.1这里要注意噪声的幅度直接决定了训练难度。把噪声标准差设为 0.1模型能拟合出接近 2.0 和 3.0 的参数如果噪声拉到 1.0数据点会散得像弹幕一样拟合出来的参数误差会明显变大。实际业务数据里噪声通常更大这也是为什么真实场景的模型效果总是不如实验数据好看。数据准备好之后还要划分训练集和测试集。这里我用torch.randperm打乱索引然后按 8:2 切分。顺序切分是最容易犯的错误因为原始数据可能天然存在顺序规律直接切会让训练集和测试集分布不一致导致评估结果失真。perm torch.randperm(100) train_idx, test_idx perm[:80], perm[80:] x_train, y_train x[train_idx], y[train_idx] x_test, y_test x[test_idx], y[test_idx]2.3 定义模型、损失函数与优化器定义一个单层网络在 PyTorch 里就是一行nn.Linear(1, 1)。这行的意思是输入一个特征输出一个预测值内部自动初始化一个 1x1 的权重矩阵和一个标量偏置。损失函数用MSELoss也就是均方误差优化器用最朴素的SGD随机梯度下降。model nn.Linear(1, 1) loss_fn nn.MSELoss() optimizer torch.optim.SGD(model.parameters(), lr0.1)先解释一下均方误差为什么是这个任务默认的损失函数。它把每个样本的预测误差先平方再取平均平方操作有两个作用一是消除正负误差相互抵消的问题二是放大较大误差让模型更在意那些偏离很远的样本。这种“对离群点敏感”的特性能逼着模型优先修正大错误。再解释 SGD 里的学习率 lr0.1。学习率控制每一步参数更新的幅度权重更新公式是 w_new w_old - lr * gradient。如果把梯度下降想象成下山学习率就是一步迈出的距离。迈大了容易越过最低点来回震荡迈小了走到天黑还在半山腰。0.1 这个值对这组数据来说是经验里比较稳妥的起点。2.4 训练循环与动态观察训练循环是深度学习中所有模型都会走的固定流程前向传播算预测值和损失反向传播算梯度更新参数。PyTorch 里有个特别容易被新手忽略的细节就是optimizer.zero_grad()必须在backward()之前调用。因为 PyTorch 的梯度是累积的不手动清零下一轮的梯度会跟上一轮叠加参数更新直接乱套。epochs 200 for epoch in range(epochs): pred model(x_train) loss loss_fn(pred, y_train) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch 1) % 20 0: w model.weight.item() b model.bias.item() print(fepoch {epoch1}, loss {loss.item():.6f}, w {w:.4f}, b {b:.4f})我跑这份代码的典型输出如下epoch 20, loss 0.018231, w 1.9123, b 3.1024 epoch 40, loss 0.010205, w 1.9771, b 3.0432 epoch 60, loss 0.009417, w 1.9947, b 3.0211 epoch 80, loss 0.009384, w 1.9997, b 3.0123 epoch 100, loss 0.009381, w 2.0009, b 3.0056 ... epoch 200, loss 0.009381, w 2.0011, b 3.0002可以看到前 60 轮损失下降最快后面基本就是小幅度修整。最终权重逼近 2.0偏置逼近 3.0和生成数据的真实参数几乎一致。拟合出来的直线就是 y 2.0011x 3.0002放在散点图上几乎完全贴合数据分布。3. 核心参数与训练过程调控3.1 学习率怎么调才合理学习率是训练过程中第一个要调的参数。我在实际操作中做过对比测试同一份数据、同一个模型学习率分别取 0.5、0.1、0.01。0.5 时损失曲线疯狂震荡数值像脉搏一样最终参数根本收敛不到真值附近0.1 是上面的结果200 轮内稳定收敛0.01 也能收敛但 200 轮跑完还差一点需要把轮数加到上千才能达到同样精度。所以调试学习率有一个实用经验先设一个相对大的值观察损失是否稳定下降如果震荡就除以 10如果收敛太慢就乘以 5 或 10。没有必要追求精确的“最优学习率”达到“稳定且快速收敛”就行。3.2 数据归一化一个容易被忽略的杀手如果特征只有一个归一化的意义不明显。但一旦特征变成两个以上并且尺度差异很大问题立刻暴露。比如预测房价时用面积和房龄两个特征面积取值范围是几十到几百平方米房龄是 0 到 30 年。前者尺度远大于后者梯度更新时面积对应的权重会学得特别快房龄对应的权重被“淹没”训练过程就会变得歪歪扭扭。解决方式是对每个特征做标准化减去均值除以标准差。标准化之后所有特征的尺度都集中在 0 附近、波动范围接近各维度的梯度量级可以保持一致SGD 走起来才是一条比较笔直的路线。3.3 Batch Size 与训练方式的切换上面用的训练方式是整批训练也就是把 80 个样本一次性算完梯度再更新。这种做法对小数据集没问题但数据一多每次更新都要扫全量数据计算量太大。Mini-batch 是最常用的折中方案每次随机取一小批样本比如 16 个算这批的平均梯度去更新参数。改成 mini-batch 的代码也不复杂from torch.utils.data import TensorDataset, DataLoader dataset TensorDataset(x_train, y_train) loader DataLoader(dataset, batch_size16, shuffleTrue) for epoch in range(epochs): for x_batch, y_batch in loader: pred model(x_batch) loss loss_fn(pred, y_batch) optimizer.zero_grad() loss.backward() optimizer.step()使用 mini-batch 后损失曲线不会像整批训练那样平滑而会带上一些锯齿因为每批样本的梯度方向都略有不同。这其实有一个副产品式的优点梯度噪声能帮助模型跳出局部平坦区域反而可能找到更好的解。线性回归是凸问题不会被困住但后面学深层网络时会用上这个特性。3.4 用测试集判断模型好不好训练损失低不代表模型真的好。如果训练过程中只盯着训练集模型完全可能把噪声也背下来这在数据量小、模型自由度大的时候最容易发生。线性回归只有两个参数过拟合风险相对低但这套“评估逻辑”必须养成。训练结束后用测试集算一次损失with torch.no_grad(): test_loss loss_fn(model(x_test), y_test).item() print(ftest loss: {test_loss:.6f})训练损失和测试损失之间的差距越小说明模型的泛化能力越好。如果训练损失远小于测试损失就要考虑是不是模型复杂度过高或者训练样本过少。4. 从线性回归到真正的深度学习4.1 一根直线解释不了的问题线性回归能力再强也只是在输入和输出之间画直线关系。现实世界里绝大多数关系不是直线的比如人的年龄和体质之间的关系、广告投放量和转化率之间的关系都是先升后降或波浪形的。更极端的情况是有些数据在平面上根本没法用一条线分开经典的 XOR 问题就是这样。假设二维平面上有四类点分别落在左下、左上、右下、右上。你画任意一条直线都只能把其中两类分开无法把所有四个区域全部正确区分。线性模型在这里碰壁不是参数没调好而是模型的表达能力有本质天花板。如果坚持线性加再多特征工程也只是在变相凑曲线不如直接从模型结构上引入非线性。4.2 激活函数打开的第一扇门破坏线性、引入非线性的关键动作就是在神经元的加权和之后加一个激活函数。最常用的是 ReLU公式是 f(z) max(0, z)。它对正数原样输出对负数直接压成 0简单粗暴但非常有效。加上 ReLU 之后单个神经元从 y wx b 变成了 y max(0, wx b)。一个这样的神经元能力仍有限但把多个这样的神经元并联起来再往下一层组合表达力立刻不同。理论上只要神经元数量足够多这种结构可以逼近任意复杂的连续函数这就是接下来两层网络的雏形。4.3 层数加深的本质是特征组合从单层线性到多层非线性才是“深度学习”中“深度”二字的开端。第一层神经元从原始输入里提取一些基础的规则第二层把第一层的输出组合成更抽象的规则层数越多规则越抽象。比如图像任务里浅层学到的是边角中层学到的是纹理深层学到的是物体部件。回头再看线性回归它其实是最朴素的一层神经网络没有任何特征组合输入是什么就直出结果。深度学习则是在每一层之间加入了激活函数让每层之间真正实现了非线性组合。方向明确了你只需要在刚才的线性回归中间插入一个非线性层再叠几层就已经走在深度学习的路上了。5. 实操踩坑实录为什么你的模型不收敛5.1 Loss 不降反升训练几轮后损失不仅没下降反而越来越大最常见原因就是学习率过大。参数每步更新都跨过了最低点形成震荡误差越震越大。解决办法很简单先把学习率降到原来的十分之一重新跑。如果降完还是有问题再看数据里有没有异常大的值比如某个样本的 y 是几千其他都是个位数这个样本的梯度会压倒一切导致模型被带歪。5.2 训练集效果好测试集一塌糊涂这个现象在数据量小的时候特别常见。模型只有两个参数按理说过拟合空间有限但如果你把噪声幅度调大训练集上的拟合仍然能很“好”因为模型把随机噪声也当成规律学了。处理方式是增加样本量、降低模型容量、或者使用交叉验证来更稳定地估计泛化能力。5.3 输出出现 NaN这是一种比较吓人但其实容易排查的情况。多半是梯度在计算过程中溢出原因通常是学习率太大导致参数更新到极大值误差平方后直接爆掉。解决方案是先把学习率调小然后检查输入数据是否包含无穷值或缺失值。对回归问题来说把数据标准化能极大降低这种风险。5.4 常见问题速查现象可能原因排查方向Loss 震荡不收敛学习率过大调小学习率观察是否稳定下降Loss 下降极慢学习率过小 / 数据未归一化调大学习率对特征做标准化训练好测试差噪声被记住 / 数据量过小增样本降低模型复杂度输出 NaN梯度溢出 / 数据有异常值降学习率检查数据做标准化权重离真实值远噪声过大 / 迭代轮数不足增大噪声容忍度增加迭代轮数这里还分享一个我常用的调试技巧把拟合线和真实数据画在同一张图上。模型好不好一眼就能看出来。如果拟合线穿过点云的中间、斜率方向正确参数就差不多了如果线条绕来绕去说明模型出问题了。很多数值指标说不清的问题可视化可以瞬间定位。6. 写在最后别把线性回归当入门题做完就丢最后说一点经验。线性回归听起来简单但它几乎覆盖了深度学习的全部骨架模型、损失函数、优化器、数据划分、评估反馈。后面学逻辑回归、多层感知机、卷积网络你会反复看到同样的循环结构只是模型变复杂了、损失函数换形式了、数据变成图像了。所以我给新人的建议从来不是抱着一本大而全的教材啃而是先把线性回归用深度学习的框架重写一遍亲眼看着 loss 降下去亲手把学习率调到震荡再调回来。这种体感建立起来之后再去碰复杂的网络你会发现自己站的地基比想象中要扎实得多。