说实话PyTorch 学到第五章的时候很多人会被 Logistic 回归这个名头唬住。明明叫回归结果做的却是分类的事明明代码看着比线性回归就多了一行 sigmoid但里面的坑却比前四章加起来都多。我自己的体会是这一章恰恰是从“会调 PyTorch API”到“真懂模型在干什么”的分水岭。如果你能把这章里的每个细节都吃透后面学 CNN、RNN 甚至 Transformer 时很多训练上的疑难杂症都能提前避开。这篇内容就是围绕“PyTorch 实现 Logistic 回归”这个主题结合我实际跑代码时踩过的坑和验证过的方法把从数据准备、模型搭建到训练调优的完整链路说清楚适合正在学深度学习基础、或者刚看完线性回归想继续往前走的同学。1. 先搞清楚 Logistic 回归到底在解决什么问题1.1 分类问题居然叫“回归”坑了不少人我第一次看到 Logistic 回归这个名字也很懵因为前面刚学完线性回归脑子里全是“预测连续值”的思维。结果 Logistic 回归实际做的是二分类判断一封邮件是不是垃圾邮件、一个用户会不会点击广告、一个病人属于某个风险等级还是不属于。为什么分类模型要叫回归这纯粹是历史遗留问题早期统计学家把这个方法看作是“用回归的思路去拟合一个概率”名字沿用下来了但你要清楚它本质上是分类模型。这里有个特别容易混淆的点Logistic 回归输出的不是类别标签本身而是一个概率值比如 0.73。然后我们再用一个阈值通常取 0.5去决定最终类别大于 0.5 判成正类小于等于 0.5 判成负类。这跟线性回归直接输出房价、温度那种连续数值完全不同。所以初学者常常看着输出“0.73”愣住不知道该怎么解释。我的建议是从一开始就把 Logistic 回归的输出理解为“正类的概率”而不是“分数”。理论上Logistic 回归是最简单的判别式分类器之一它学到的是一条线性决策边界。如果你的数据本身不是线性可分的那你会看到准确率卡在一个尴尬的位置这时候不是模型写错了而是模型表达能力不够。理解了这一点后面学 SVM 的核技巧、神经网络的非线性激活函数时你才知道它们到底在解决什么问题。1.2 从线性回归到 Logistic 回归sigmoid 在做什么线性回归的公式是z w * x b这个 z 的取值范围是整个实数域从负无穷到正无穷。作为连续预测没问题但如果你想把它解释成概率就尴尬了概率必须落在 [0, 1] 区间内你总不能说“通过考试的概率是 3.7”吧。sigmoid 函数干的事情就是把 z 从实数域压缩到 (0, 1) 区间p 1 / (1 exp(-z))z 越大p 越接近 1z 越小p 越接近 0z 0 时p 0.5。这个映射非常平滑而且可导刚好满足梯度下降的要求。我在给新同学讲的时候喜欢用一个类比z 就像是“原始得分”sigmoid 就像是“标准分换算规则”把某个学生在一次很难的考试里的原始得分换算成一个 0 到 1 之间的相对排名。虽然这个类比不完全严谨但能帮你建立直觉。顺带说一句Logistic 回归虽然套了一个 sigmoid但它的决策边界仍然是线性的因为 sigmoid 本身是单调函数它不会改变 z 的线性结构。也就是说模型在特征空间里画出的那条分界线依然是一条直线或一个超平面。所以它叫“线性分类器”。想处理非线性问题要么做特征工程要么换更复杂的模型。1.3 这一章在 PyTorch 学习路线中的定位如果这是你系统学 PyTorch 的第五章那前面大概率已经接触过张量操作、自动求导以及线性回归的完整实现。到 Logistic 回归这里训练流程前向传播、算 loss、反向传播、更新参数几乎一模一样真正新的东西只有两个一个 sigmoid 非线性变换一个交叉熵损失函数。但你别小看这两个新东西。sigmoid 引出的是“激活函数”这个概念这是从线性模型走向神经网络的第一步交叉熵引出的是“分类损失函数”的设计思想这关系到你以后用 PyTorch 做多分类、目标检测等任务时怎么选 loss。我自己带项目的感受是很多同学学完线性回归后觉得 PyTorch 不过如此无非是 forward 里面写几行矩阵运算。到了 Logistic 回归才开始意识到损失函数的选择、数值稳定性、数据分布这些“看不见的东西”才是决定模型好坏的关键。所以这一章值得你放慢速度把每个组件拆开来研究一遍。2. 为什么用 PyTorch 实现 Logistic 回归2.1 自动求导省掉了手推梯度的痛苦如果你完全用 NumPy 手写 Logistic 回归你需要自己推导梯度公式还要小心实现 sigmoid 的导数。逻辑上不算难但很容易在维度匹配或者符号上出 bug。PyTorch 的自动求导机制直接把这个过程封装了你只要把前向计算写清楚然后在 loss 上调用 backward()所有参数的梯度就自动算好了。举个例子模型内部有两个参数 w 和 b你用 nn.Parameter 把它包起来PyTorch 会自动记录对这个张量的所有操作。前向传播结束后loss 是一个标量调用 loss.backward()之后打印 w.grad 就能看到 w 的梯度。这个特性极其实用尤其你在调试“梯度爆炸”或“梯度消失”时可以直接把中间层梯度打印出来观察而不是靠猜。不过自动求导不是万能药它要求你写的前向计算必须“可微且被 PyTorch 跟踪”。如果你在 forward 里用了 NumPy 的 np.exp而不是 torch.exp那梯度流就断了模型会一直报“梯度为 None”之类的错误。这是我的亲身经历新手阶段最容易犯。2.2 nn.Module、优化器与损失函数的组合逻辑PyTorch 官方风格是把模型定义成 nn.Module 的子类。在init里声明参数或层在 forward 里写计算过程。Logistic 回归其实只需要一个线性层但为了思路清晰我通常还是写成一个完整的类class LogisticRegression(nn.Module): def __init__(self, num_features): super().__init__() self.linear nn.Linear(num_features, 1) def forward(self, x): return self.linear(x)注意我这里没有在 forward 里套 sigmoid这不是我忘了而是故意为之我想把 sigmoid 留给损失函数来处理用 PyTorch 里的 BCEWithLogitsLoss。这个函数把 sigmoid 和交叉熵的计算合并在一起并且在数值计算上做了稳定化处理。新手看到这里可能会疑惑说好的 Logistic 回归要有 sigmoid你怎么没有原因下面专门讲这是本章一个非常重要的细节。优化器一般用 SGD 或 Adam。优化器的作用是根据参数的梯度去更新参数它不知道模型长什么样只负责拿着 .grad 去更新 .data。这个分工很有意思它让模型、损失函数、优化三者解耦你可以随意替换其中一个组件而不影响其他部分正常工作。2.3 一个常见误解这里的“训练”到底在训练什么有同学问我训练的时候模型在训练什么是训练数据吗不是。数据自始至终只是被喂给模型的输入模型内部真正被训练的是那一堆参数权重 w 和偏置 b。你可以把参数想象成收音机上的音量旋钮训练过程就是反复微调这些旋钮使得 loss 这个“误差仪表盘”的读数越来越小。具体流程是模型拿着当前参数对样本做预测然后用损失函数衡量预测和真实标签的差距再通过反向传播把差距的“责任”分配到每个参数上最后优化器按着这些责任大小调整参数。一轮一轮循环loss 下降参数慢慢逼近一个较优值。理解这一点后你就知道为什么测试时要调 model.eval()、用 torch.no_grad()因为测试阶段不需要更新参数也就不需要保存计算图和梯度省内存还能加快速度。虽然 Logistic 回归里没有 Dropout 和 BatchNormeval 模式看起来没什么变化但这个习惯要从现在就养成后面用复杂网络才不会漏掉。3. 核心实现从数据到模型的一步步细节3.1 数据准备模拟二分类数据集与归一化分类任务的起点是数据。我讲课总喜欢用模拟数据因为可控性高能清楚知道模型的“标准答案”是什么。比如生成两类数据第一类中心在 (1.5, 1.5) 附近第二类中心在 (-1.5, -1.5) 附近各自加上一些高斯噪声。这样的数据分布是线性可分的Logistic 回归应该能学到接近完美的决策边界。用 PyTorch 生成数据大概长这样import torch torch.manual_seed(42) num_samples 1000 x1 torch.randn(num_samples, 2) torch.tensor([1.5, 1.5]) x0 torch.randn(num_samples, 2) torch.tensor([-1.5, -1.5]) X torch.cat([x0, x1], dim0) y torch.cat([torch.zeros(num_samples), torch.ones(num_samples)], dim0).reshape(-1, 1)在这里数据是 float32 的两个特征之间量级一致不需要额外归一化。但如果是真实场景特征量级可能差很多比如一个特征是 0 到 1 的小数另一个是几千到几万的大数。遇到这种情况一定要先做标准化否则梯度下降会非常慢甚至直接发散。我见过一个真实的失败案例某同学拿真实业务数据跑 Logistic 回归连续几次 loss 变成 NaN。最后排查下来就是因为有特征没有做归一化数值范围从 0.001 到 10000模型一算梯度就爆掉了。把数据改成 z-score 标准化后问题立刻消失。这个坑我希望你不要亲自踩因为查起来真的很花时间。3.2 用 nn.Module 定义模型参数形状与 sigmoid 选择前面说了模型 forward 里只返回线性输出 logits不做 sigmoid。这一步初学者通常会纠结为什么我不在模型里直接输出概率这样看起来更直观原因一个是数值稳定性。BCEWithLogitsLoss 内部使用了 log-sum-exp 的技巧能在计算过程中避免因为 sigmoid 导致概率饱和后 log(0) 的无穷大问题。另一个原因是逻辑清晰模型负责算 logits损失函数负责把它变成 loss评估时再单独对 logits 做 sigmoid 得到概率。这样每一层职责单一出了问题也好排查。参数形状上输入特征是 2 维nn.Linear(2, 1) 输出的形状是 (batch_size, 1)。标签 y 的形状也要是 (batch_size, 1)保持维度和 logits 一致否则可能触发广播机制造成难以察觉的错误。很多同学在这里踩坑y 是形状 (batch_size,) 的一维张量logits 是 (batch_size, 1)两者相减时会自动广播成 (batch_size, batch_size) 矩阵然后 loss 输出一个奇怪的大数梯度也跟着错乱。这种 bug 隐蔽性很强我第一次遇到时查了整整一个晚上。3.3 Dataset 与 DataLoader批次大小怎么定如果你只是做一个小 Demo也可以用“一次性把所有数据喂进去”的方式训练。但更规范的写法是用 TensorDataset 和 DataLoader因为这会为你后面的复杂项目打好基础。from torch.utils.data import TensorDataset, DataLoader dataset TensorDataset(X, y) dataloader DataLoader(dataset, batch_size16, shuffleTrue)DataLoader 的 shuffle 参数很重要。在训练时一定要打开因为如果数据有明显的顺序模型会在相邻批次之间学到错误的关联。测试时不需要 shuffle而且通常模型评估也不需要用小批次直接全量算就行。Batch size 怎么选这个我在实践中总结的经验是数据量大就选 32 或 64数据量小就选 8 或 16。Logistic 回归这种简单模型受 batch size 的影响没那么大但如果你想看训练曲线稳定一些别把 batch size 设得太大。太大的 batch 会让梯度方向平均化虽然每一步更稳但收敛变慢且容易收敛到平坦点。太小的 batch 又会带来很多噪声loss 曲线炸得厉害。4. 训练环节的完整实操4.1 手写训练循环别急着用高层封装现在很多教程会直接教你用 PyTorch Lightning 或者 Trainer 之类的高级封装几行代码就跑完训练。我不反对封装但当你刚开始学 Logistic 回归时一定要手写一次训练循环把每一步都看清zero_grad、forward、loss、backward、step。否则你永远不知道父类帮你做了什么。一个最朴素的训练循环长这样import torch.nn as nn model LogisticRegression(num_features2) loss_fn nn.BCEWithLogitsLoss() optimizer torch.optim.SGD(model.parameters(), lr0.1) num_epochs 100 for epoch in range(num_epochs): for batch_X, batch_y in dataloader: logits model(batch_X) loss loss_fn(logits, batch_y) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch 1) % 10 0: print(fEpoch {epoch 1}, Loss: {loss.item():.4f})这段代码里最容易忽略的坑是 optimizer.zero_grad()。PyTorch 的梯度是累积的如果你不清零每次 backward 都会把新的梯度加到旧的梯度上参数更新方向就会混乱。我一再提醒新同学zero_grad 一定要放在 backward 之前而不是 step 之后。顺序写错不会报错但训练结果会非常诡异。4.2 学习率与优化器的选择实测对比学习率是本章出现频率最高的超参数没有之一。我用一组模拟数据实测过不同学习率的效果结论非常直观学习率优化器行为表现1.0SGDloss 直接发散出现 NaN0.1SGD快速收敛loss 稳步下降0.01SGD收敛较慢但最终结果不错0.001SGD训练 100 轮还在原地几乎没动0.1Adam收敛快且稳定适合大多数情况这个表格我建议你自己也跑一遍亲眼看一下不同学习率在训练曲线上的差异。数值上学习率太大参数会跨过最优点在损失曲面两侧来回弹跳甚至弹到梯度爆炸学习率太小参数挪动速度比蜗牛还慢训练半天 loss 纹丝不动。SGD 和 Adam 的选择也很关键。SGD 需要手动调学习率但泛化能力往往更好Adam 自适应调整每个参数的学习率收敛更快对初始学习率不那么敏感在复杂模型里更省心。对于 Logistic 回归这个规模两者都能做到不错的准确率但我的个人习惯是先用 Adam 快速找到“好区域”再用 SGD 微调。4.3 损失曲线怎么看正常、过拟合与欠拟合训练完成后不要只看准确率一定要把损失曲线画出来。我一般用 matplotlib 记录每个 epoch 的平均训练 loss 和验证 loss。正常情况应该是两条线都下降然后逐渐平缓。欠拟合的特点是训练 loss 和验证 loss 都高说明模型容量不够或特征不好。过拟合的特点是训练 loss 一路走低验证 loss 先降后升表明模型开始死记硬背训练数据。在 Logistic 回归这个模型上过拟合通常没有深层神经网络那么严重因为模型参数少、表达空间有限。但如果你用了高维特征还是有可能出现过拟合。观察到验证 loss 上升后我建议不要等到 loss 降不动才停可以在验证 loss 最低点就把参数保存下来这就是早停的雏形。还有一个我经常用来判断“模型有没有学到东西”的技巧看 loss 有没有突破一个“随机猜测基准”。二分类问题里如果模型的输出约等于 0.5 的均匀猜测BCE loss 大约是 0.693。所以当你看到 loss 卡在 0.69 附近时说明模型基本没在学输出都在瞎猜。看到 loss 明显低于 0.69才说明真的学到了一些信号。5. 评估与调优准确率之外的坑5.1 评估指标查准率、查全率、F1准确率看起来最直观但它是个大坑尤其在正负样本不平衡的时候。比如 100 个样本里 99 个负类、1 个正类模型只要无脑预测全是负类准确率就是 99%。数字好看但模型毫无用处。所以在分类任务里我至少要看三个指标查准率、查全率和 F1 分数。查准率关心的是“我预测为正类的样本里有多少真的是正类”查全率关心的是“真实的正类样本里有多少被我找出来了”。还是拿垃圾邮件过滤举例查准率低意味着你频繁把正常邮件误判为垃圾查全率低意味着很多垃圾邮件漏掉了。两者通常互相牵制所以综合用 F1 分数来评估模型。在 PyTorch 里计算这些指标并不复杂你可以用 sklearn 的 classification_report也可以自己写from sklearn.metrics import classification_report with torch.no_grad(): model.eval() logits model(X) preds (torch.sigmoid(logits) 0.5).float() print(classification_report(y, preds))注意在评估时一定要包上 torch.no_grad()表示我们不需要计算梯度。这既是个习惯也是效率考量如果不关梯度每个前向传播都会保存中间变量内存占用会持续增长跑到后面很容易导致内存不足。5.2 类别不平衡的影响类别不平衡是真实项目里的常态不是模拟数据里那种完美的五五开。打个比方检测金融欺诈时正常交易可能有 99.9%欺诈交易只有 0.1%。如果你直接在这个数据上训练 Logistic 回归模型为了压低整体损失往往会把所有样本都预测成正常交易因为这么做已经能把 loss 降得很低。解决思路有几种最简单的做法是在 DataLoader 里做重采样让每个 batch 里正负样本比例不至于差太远另一种做法是加权损失函数给少数类样本更高的权重PyTorch 里可以在 BCEWithLogitsLoss 里指定 pos_weight 参数让“错分少数类”的代价更大。实际操作中我会先看看标签分布如果比例超过 10 比 1就优先处理不平衡问题否则后面不管怎么调学习率指标都上不去。混淆矩阵值得仔细看一眼。它能告诉你模型到底错在哪里是把负类误判成正类多还是把正类误判成负类多。对业务场景来说这两种错误的代价往往完全不同。比如疾病筛查更怕漏诊这时宁可查准率低一些也要把查全率拉高最简单的办法就是把判断阈值从 0.5 调低到 0.3 或 0.2。5.3 正则化与早停Logistic 回归的参数不多但照样可以用 L2 正则化来降低过拟合风险。在 PyTorch 里你不需要手动改损失函数只需要在实例化优化器时传入 weight_decay 参数。这个参数本质上就是在原有损失上加一项参数的平方和让模型参数不要长得太大。我的经验是对于二分类任务weight_decay 通常设 1e-4 到 1e-2 之间都可以试。设得太大模型会变得过于保守训练 loss 降不下去设得太小正则化形同虚设。你需要结合验证集表现来选。早停的操作方式更简单每个 epoch 结束算一次验证 loss连续多个 epoch 不下降就停下来恢复之前验证 loss 最低时的参数。这个技巧在深层模型里更重要但在 Logistic 回归上训练一样受用。很多同学会把训练轮数设得特别大结果后面几百轮纯属浪费我通常建议加一个早停条件节省时间又防止过拟合。6. 常见问题与排查技巧实录6.1 loss 变成 NaN这是我见过频率最高的问题。出现 NaN 的原因通常是学习率太大梯度更新一步直接越过最优点数值溢出了。排查顺序是先看学习率是不是过大调小一个数量级试试再看数据有没有异常值比如某个特征是 NaN 或者极大然后确认标签是不是只有 0 和 1有时候标签误传成别的值交叉熵检查不通过也会出现 NaN。一个非常典型的场景初始学习率设成 1.0SGD 更新几步之后参数变得非常大logits 也异常大sigmoid 的导数趋近于 0梯度流基本消失但此时 loss 因为 logits 巨大而变得巨大反向传播数值不稳定。解决思路很直接学习率从 0.1 开始不要贪心。数据方面把特征做归一化也能大幅降低出现 NaN 的概率。6.2 准确率卡在 50% 左右二分类模型准确率卡在 50%说明它跟瞎猜差不多。我排查这个问题的思路是先确认训练流程没问题重点检查有没有在 backward 之前忘记 zero_grad然后看 loss 有没有变化如果 loss 一动不动那可能是学习率太小或者模型没有真正连接起来比如你在 forward 里用了 NumPy导致梯度截断了最后看数据本身如果特征对分类目标没有任何区分度模型再怎么训练也学不到有意义的决策边界。还有一个隐蔽的 bug标签和特征顺序不匹配。比如你做随机划分时X 和 y 没有同步打乱模型一直在学习“特征和标签之间的随机关系”那准确率当然就卡在 50% 附近。这个问题特别容易出现在你用 NumPy 手写数据集拼接的时候。我建议构造数据集时把 X 和 y 放入同一个 TensorDataset 里用 DataLoader 的 shuffle 来打乱这样就不会出这种低级错误。6.3 训练越跑越慢数据加载卡顿训练几轮之后越来越慢大多数人第一反应是模型太复杂但 Logistic 回归这么轻量的模型根本不该如此。真正的原因往往是数据加载和内存复制开销过大。比如你在训练循环内部重复创建 DataLoader或者把张量反复从 GPU 搬到 CPU都会导致严重的性能损耗。正确做法是在训练循环开始前就把 DataLoader 定义好尽量让数据保持在同一个设备上。如果你用 GPU 训练把模型和数据都 .to(device)中间不要再跨设备拷贝。我见过最极端的情况是一个同学在每轮循环里都对整个数据集做一次随机索引和切片结果 99% 的时间花在数据整理上模型训练反而只占 1%。6.4 一个容易被忽略的问题PyTorch 的单精度PyTorch 默认的浮点类型是 float32这对深度学习是合理的但代价是计算精度比 float64 低。大部分场景下 float32 完全够用但有些极端情况下比如累积梯度过大、中间结果接近溢出边界单精度会触发数值不稳定表现就是 loss 曲线抖动或者梯度中小数点后多位的不精确。我不建议初学者遇到问题就盲目把所有张量都改成 float64因为那会拖慢训练速度。更合理的做法是出现数值异常时先检查前几轮 loss 的量级如果 loss 的量级就在 1e-7 左右说明模型可能已经收敛得足够好了这种情况不太需要担心。真正要警惕的是 loss 前几轮就出现几百上千的异常值然后再变成 NaN这时候就要回到学习率等基础问题上排查。7. 从 Logistic 回归走向深度学习我的几点体会7.1 为什么说这一章是深度学习的起点一个 Logistic 回归模型如果用网络结构图来表示就是一个只有单个神经元、没有隐藏层的网络输入特征经过加权求和再经过一个 sigmoid 激活函数输出概率。这个结构一切换视角就是深度学习里最基础的“神经元”。当你把它扩展成多个神经元、叠上多个隐藏层之后就得到了一个前馈神经网络。所以这一章表面上是“线性分类器的 PyTorch 实现”实际上是你第一次接触到“激活函数”“损失函数”“训练循环”这些所有深度学习模型共享的骨架。之后学 CNN、RNN、Transformer你会发现它们只是在网络的“消息传递结构”上做了各种创新但训练的基本框架没有变定义模型、前向传播、算损失、反向传播、更新参数。可以说把这章的基础打牢后面的学习会顺利很多。7.2 我在实际项目中踩过的坑与心得最后分享几个我自己真正摔过跟头的经验。第一个就是损失函数别乱换。我见过有同学觉得 BCE 太复杂把二分类问题改成用均方误差结果训练特别慢准确率也上不去。原因在于均方误差假设误差服从高斯分布而分类标签是伯努利分布损失函数和模型分布不匹配梯度更新自然低效。所以二分类就老老实实用 BCELoss 或 BCEWithLogitsLoss。第二个经验是评估的时候别忘了加 model.eval()。虽然 Logistic 回归没有 Dropout 和 BatchNorm这个调用看起来啥都没做但如果你之后把代码扩展成带 Dropout 的神经网络这一行代码会把你的测试结果从“随机的”变成“稳定的”。第三个经验是不要急着追新框架。很多同学跑到这一章就开始问“PyTorch 现在是不是过时了”“要不要学某个新框架”。我的回答是框架只是工具箱关键是理解模型和数据流的本质。你用 PyTorch 写的 Logistic 回归换成别的框架核心逻辑都是一样的。把原理吃透工具随时可以换。如果你能自己动手把这一章的例子完整跑通然后尝试改一改学习率、换一换优化器、把它从二分类扩展到多分类那你的 PyTorch 基础就算真正扎稳了。接下来无论你是去做图像分类还是文本处理这个通用的训练思维都会跟着你走很久。 
长河君 · 2026/10/13 8:28:50 · 阅读 1.2k PyTorch实现Logistic回归：从线性模型到分类实战全解析
说实话PyTorch 学到第五章的时候很多人会被 Logistic 回归这个名头唬住。明明叫回归结果做的却是分类的事明明代码看着比线性回归就多了一行 sigmoid但里面的坑却比前四章加起来都多。我自己的体会是这一章恰恰是从“会调 PyTorch API”到“真懂模型在干什么”的分水岭。如果你能把这章里的每个细节都吃透后面学 CNN、RNN 甚至 Transformer 时很多训练上的疑难杂症都能提前避开。这篇内容就是围绕“PyTorch 实现 Logistic 回归”这个主题结合我实际跑代码时踩过的坑和验证过的方法把从数据准备、模型搭建到训练调优的完整链路说清楚适合正在学深度学习基础、或者刚看完线性回归想继续往前走的同学。1. 先搞清楚 Logistic 回归到底在解决什么问题1.1 分类问题居然叫“回归”坑了不少人我第一次看到 Logistic 回归这个名字也很懵因为前面刚学完线性回归脑子里全是“预测连续值”的思维。结果 Logistic 回归实际做的是二分类判断一封邮件是不是垃圾邮件、一个用户会不会点击广告、一个病人属于某个风险等级还是不属于。为什么分类模型要叫回归这纯粹是历史遗留问题早期统计学家把这个方法看作是“用回归的思路去拟合一个概率”名字沿用下来了但你要清楚它本质上是分类模型。这里有个特别容易混淆的点Logistic 回归输出的不是类别标签本身而是一个概率值比如 0.73。然后我们再用一个阈值通常取 0.5去决定最终类别大于 0.5 判成正类小于等于 0.5 判成负类。这跟线性回归直接输出房价、温度那种连续数值完全不同。所以初学者常常看着输出“0.73”愣住不知道该怎么解释。我的建议是从一开始就把 Logistic 回归的输出理解为“正类的概率”而不是“分数”。理论上Logistic 回归是最简单的判别式分类器之一它学到的是一条线性决策边界。如果你的数据本身不是线性可分的那你会看到准确率卡在一个尴尬的位置这时候不是模型写错了而是模型表达能力不够。理解了这一点后面学 SVM 的核技巧、神经网络的非线性激活函数时你才知道它们到底在解决什么问题。1.2 从线性回归到 Logistic 回归sigmoid 在做什么线性回归的公式是z w * x b这个 z 的取值范围是整个实数域从负无穷到正无穷。作为连续预测没问题但如果你想把它解释成概率就尴尬了概率必须落在 [0, 1] 区间内你总不能说“通过考试的概率是 3.7”吧。sigmoid 函数干的事情就是把 z 从实数域压缩到 (0, 1) 区间p 1 / (1 exp(-z))z 越大p 越接近 1z 越小p 越接近 0z 0 时p 0.5。这个映射非常平滑而且可导刚好满足梯度下降的要求。我在给新同学讲的时候喜欢用一个类比z 就像是“原始得分”sigmoid 就像是“标准分换算规则”把某个学生在一次很难的考试里的原始得分换算成一个 0 到 1 之间的相对排名。虽然这个类比不完全严谨但能帮你建立直觉。顺带说一句Logistic 回归虽然套了一个 sigmoid但它的决策边界仍然是线性的因为 sigmoid 本身是单调函数它不会改变 z 的线性结构。也就是说模型在特征空间里画出的那条分界线依然是一条直线或一个超平面。所以它叫“线性分类器”。想处理非线性问题要么做特征工程要么换更复杂的模型。1.3 这一章在 PyTorch 学习路线中的定位如果这是你系统学 PyTorch 的第五章那前面大概率已经接触过张量操作、自动求导以及线性回归的完整实现。到 Logistic 回归这里训练流程前向传播、算 loss、反向传播、更新参数几乎一模一样真正新的东西只有两个一个 sigmoid 非线性变换一个交叉熵损失函数。但你别小看这两个新东西。sigmoid 引出的是“激活函数”这个概念这是从线性模型走向神经网络的第一步交叉熵引出的是“分类损失函数”的设计思想这关系到你以后用 PyTorch 做多分类、目标检测等任务时怎么选 loss。我自己带项目的感受是很多同学学完线性回归后觉得 PyTorch 不过如此无非是 forward 里面写几行矩阵运算。到了 Logistic 回归才开始意识到损失函数的选择、数值稳定性、数据分布这些“看不见的东西”才是决定模型好坏的关键。所以这一章值得你放慢速度把每个组件拆开来研究一遍。2. 为什么用 PyTorch 实现 Logistic 回归2.1 自动求导省掉了手推梯度的痛苦如果你完全用 NumPy 手写 Logistic 回归你需要自己推导梯度公式还要小心实现 sigmoid 的导数。逻辑上不算难但很容易在维度匹配或者符号上出 bug。PyTorch 的自动求导机制直接把这个过程封装了你只要把前向计算写清楚然后在 loss 上调用 backward()所有参数的梯度就自动算好了。举个例子模型内部有两个参数 w 和 b你用 nn.Parameter 把它包起来PyTorch 会自动记录对这个张量的所有操作。前向传播结束后loss 是一个标量调用 loss.backward()之后打印 w.grad 就能看到 w 的梯度。这个特性极其实用尤其你在调试“梯度爆炸”或“梯度消失”时可以直接把中间层梯度打印出来观察而不是靠猜。不过自动求导不是万能药它要求你写的前向计算必须“可微且被 PyTorch 跟踪”。如果你在 forward 里用了 NumPy 的 np.exp而不是 torch.exp那梯度流就断了模型会一直报“梯度为 None”之类的错误。这是我的亲身经历新手阶段最容易犯。2.2 nn.Module、优化器与损失函数的组合逻辑PyTorch 官方风格是把模型定义成 nn.Module 的子类。在init里声明参数或层在 forward 里写计算过程。Logistic 回归其实只需要一个线性层但为了思路清晰我通常还是写成一个完整的类class LogisticRegression(nn.Module): def __init__(self, num_features): super().__init__() self.linear nn.Linear(num_features, 1) def forward(self, x): return self.linear(x)注意我这里没有在 forward 里套 sigmoid这不是我忘了而是故意为之我想把 sigmoid 留给损失函数来处理用 PyTorch 里的 BCEWithLogitsLoss。这个函数把 sigmoid 和交叉熵的计算合并在一起并且在数值计算上做了稳定化处理。新手看到这里可能会疑惑说好的 Logistic 回归要有 sigmoid你怎么没有原因下面专门讲这是本章一个非常重要的细节。优化器一般用 SGD 或 Adam。优化器的作用是根据参数的梯度去更新参数它不知道模型长什么样只负责拿着 .grad 去更新 .data。这个分工很有意思它让模型、损失函数、优化三者解耦你可以随意替换其中一个组件而不影响其他部分正常工作。2.3 一个常见误解这里的“训练”到底在训练什么有同学问我训练的时候模型在训练什么是训练数据吗不是。数据自始至终只是被喂给模型的输入模型内部真正被训练的是那一堆参数权重 w 和偏置 b。你可以把参数想象成收音机上的音量旋钮训练过程就是反复微调这些旋钮使得 loss 这个“误差仪表盘”的读数越来越小。具体流程是模型拿着当前参数对样本做预测然后用损失函数衡量预测和真实标签的差距再通过反向传播把差距的“责任”分配到每个参数上最后优化器按着这些责任大小调整参数。一轮一轮循环loss 下降参数慢慢逼近一个较优值。理解这一点后你就知道为什么测试时要调 model.eval()、用 torch.no_grad()因为测试阶段不需要更新参数也就不需要保存计算图和梯度省内存还能加快速度。虽然 Logistic 回归里没有 Dropout 和 BatchNormeval 模式看起来没什么变化但这个习惯要从现在就养成后面用复杂网络才不会漏掉。3. 核心实现从数据到模型的一步步细节3.1 数据准备模拟二分类数据集与归一化分类任务的起点是数据。我讲课总喜欢用模拟数据因为可控性高能清楚知道模型的“标准答案”是什么。比如生成两类数据第一类中心在 (1.5, 1.5) 附近第二类中心在 (-1.5, -1.5) 附近各自加上一些高斯噪声。这样的数据分布是线性可分的Logistic 回归应该能学到接近完美的决策边界。用 PyTorch 生成数据大概长这样import torch torch.manual_seed(42) num_samples 1000 x1 torch.randn(num_samples, 2) torch.tensor([1.5, 1.5]) x0 torch.randn(num_samples, 2) torch.tensor([-1.5, -1.5]) X torch.cat([x0, x1], dim0) y torch.cat([torch.zeros(num_samples), torch.ones(num_samples)], dim0).reshape(-1, 1)在这里数据是 float32 的两个特征之间量级一致不需要额外归一化。但如果是真实场景特征量级可能差很多比如一个特征是 0 到 1 的小数另一个是几千到几万的大数。遇到这种情况一定要先做标准化否则梯度下降会非常慢甚至直接发散。我见过一个真实的失败案例某同学拿真实业务数据跑 Logistic 回归连续几次 loss 变成 NaN。最后排查下来就是因为有特征没有做归一化数值范围从 0.001 到 10000模型一算梯度就爆掉了。把数据改成 z-score 标准化后问题立刻消失。这个坑我希望你不要亲自踩因为查起来真的很花时间。3.2 用 nn.Module 定义模型参数形状与 sigmoid 选择前面说了模型 forward 里只返回线性输出 logits不做 sigmoid。这一步初学者通常会纠结为什么我不在模型里直接输出概率这样看起来更直观原因一个是数值稳定性。BCEWithLogitsLoss 内部使用了 log-sum-exp 的技巧能在计算过程中避免因为 sigmoid 导致概率饱和后 log(0) 的无穷大问题。另一个原因是逻辑清晰模型负责算 logits损失函数负责把它变成 loss评估时再单独对 logits 做 sigmoid 得到概率。这样每一层职责单一出了问题也好排查。参数形状上输入特征是 2 维nn.Linear(2, 1) 输出的形状是 (batch_size, 1)。标签 y 的形状也要是 (batch_size, 1)保持维度和 logits 一致否则可能触发广播机制造成难以察觉的错误。很多同学在这里踩坑y 是形状 (batch_size,) 的一维张量logits 是 (batch_size, 1)两者相减时会自动广播成 (batch_size, batch_size) 矩阵然后 loss 输出一个奇怪的大数梯度也跟着错乱。这种 bug 隐蔽性很强我第一次遇到时查了整整一个晚上。3.3 Dataset 与 DataLoader批次大小怎么定如果你只是做一个小 Demo也可以用“一次性把所有数据喂进去”的方式训练。但更规范的写法是用 TensorDataset 和 DataLoader因为这会为你后面的复杂项目打好基础。from torch.utils.data import TensorDataset, DataLoader dataset TensorDataset(X, y) dataloader DataLoader(dataset, batch_size16, shuffleTrue)DataLoader 的 shuffle 参数很重要。在训练时一定要打开因为如果数据有明显的顺序模型会在相邻批次之间学到错误的关联。测试时不需要 shuffle而且通常模型评估也不需要用小批次直接全量算就行。Batch size 怎么选这个我在实践中总结的经验是数据量大就选 32 或 64数据量小就选 8 或 16。Logistic 回归这种简单模型受 batch size 的影响没那么大但如果你想看训练曲线稳定一些别把 batch size 设得太大。太大的 batch 会让梯度方向平均化虽然每一步更稳但收敛变慢且容易收敛到平坦点。太小的 batch 又会带来很多噪声loss 曲线炸得厉害。4. 训练环节的完整实操4.1 手写训练循环别急着用高层封装现在很多教程会直接教你用 PyTorch Lightning 或者 Trainer 之类的高级封装几行代码就跑完训练。我不反对封装但当你刚开始学 Logistic 回归时一定要手写一次训练循环把每一步都看清zero_grad、forward、loss、backward、step。否则你永远不知道父类帮你做了什么。一个最朴素的训练循环长这样import torch.nn as nn model LogisticRegression(num_features2) loss_fn nn.BCEWithLogitsLoss() optimizer torch.optim.SGD(model.parameters(), lr0.1) num_epochs 100 for epoch in range(num_epochs): for batch_X, batch_y in dataloader: logits model(batch_X) loss loss_fn(logits, batch_y) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch 1) % 10 0: print(fEpoch {epoch 1}, Loss: {loss.item():.4f})这段代码里最容易忽略的坑是 optimizer.zero_grad()。PyTorch 的梯度是累积的如果你不清零每次 backward 都会把新的梯度加到旧的梯度上参数更新方向就会混乱。我一再提醒新同学zero_grad 一定要放在 backward 之前而不是 step 之后。顺序写错不会报错但训练结果会非常诡异。4.2 学习率与优化器的选择实测对比学习率是本章出现频率最高的超参数没有之一。我用一组模拟数据实测过不同学习率的效果结论非常直观学习率优化器行为表现1.0SGDloss 直接发散出现 NaN0.1SGD快速收敛loss 稳步下降0.01SGD收敛较慢但最终结果不错0.001SGD训练 100 轮还在原地几乎没动0.1Adam收敛快且稳定适合大多数情况这个表格我建议你自己也跑一遍亲眼看一下不同学习率在训练曲线上的差异。数值上学习率太大参数会跨过最优点在损失曲面两侧来回弹跳甚至弹到梯度爆炸学习率太小参数挪动速度比蜗牛还慢训练半天 loss 纹丝不动。SGD 和 Adam 的选择也很关键。SGD 需要手动调学习率但泛化能力往往更好Adam 自适应调整每个参数的学习率收敛更快对初始学习率不那么敏感在复杂模型里更省心。对于 Logistic 回归这个规模两者都能做到不错的准确率但我的个人习惯是先用 Adam 快速找到“好区域”再用 SGD 微调。4.3 损失曲线怎么看正常、过拟合与欠拟合训练完成后不要只看准确率一定要把损失曲线画出来。我一般用 matplotlib 记录每个 epoch 的平均训练 loss 和验证 loss。正常情况应该是两条线都下降然后逐渐平缓。欠拟合的特点是训练 loss 和验证 loss 都高说明模型容量不够或特征不好。过拟合的特点是训练 loss 一路走低验证 loss 先降后升表明模型开始死记硬背训练数据。在 Logistic 回归这个模型上过拟合通常没有深层神经网络那么严重因为模型参数少、表达空间有限。但如果你用了高维特征还是有可能出现过拟合。观察到验证 loss 上升后我建议不要等到 loss 降不动才停可以在验证 loss 最低点就把参数保存下来这就是早停的雏形。还有一个我经常用来判断“模型有没有学到东西”的技巧看 loss 有没有突破一个“随机猜测基准”。二分类问题里如果模型的输出约等于 0.5 的均匀猜测BCE loss 大约是 0.693。所以当你看到 loss 卡在 0.69 附近时说明模型基本没在学输出都在瞎猜。看到 loss 明显低于 0.69才说明真的学到了一些信号。5. 评估与调优准确率之外的坑5.1 评估指标查准率、查全率、F1准确率看起来最直观但它是个大坑尤其在正负样本不平衡的时候。比如 100 个样本里 99 个负类、1 个正类模型只要无脑预测全是负类准确率就是 99%。数字好看但模型毫无用处。所以在分类任务里我至少要看三个指标查准率、查全率和 F1 分数。查准率关心的是“我预测为正类的样本里有多少真的是正类”查全率关心的是“真实的正类样本里有多少被我找出来了”。还是拿垃圾邮件过滤举例查准率低意味着你频繁把正常邮件误判为垃圾查全率低意味着很多垃圾邮件漏掉了。两者通常互相牵制所以综合用 F1 分数来评估模型。在 PyTorch 里计算这些指标并不复杂你可以用 sklearn 的 classification_report也可以自己写from sklearn.metrics import classification_report with torch.no_grad(): model.eval() logits model(X) preds (torch.sigmoid(logits) 0.5).float() print(classification_report(y, preds))注意在评估时一定要包上 torch.no_grad()表示我们不需要计算梯度。这既是个习惯也是效率考量如果不关梯度每个前向传播都会保存中间变量内存占用会持续增长跑到后面很容易导致内存不足。5.2 类别不平衡的影响类别不平衡是真实项目里的常态不是模拟数据里那种完美的五五开。打个比方检测金融欺诈时正常交易可能有 99.9%欺诈交易只有 0.1%。如果你直接在这个数据上训练 Logistic 回归模型为了压低整体损失往往会把所有样本都预测成正常交易因为这么做已经能把 loss 降得很低。解决思路有几种最简单的做法是在 DataLoader 里做重采样让每个 batch 里正负样本比例不至于差太远另一种做法是加权损失函数给少数类样本更高的权重PyTorch 里可以在 BCEWithLogitsLoss 里指定 pos_weight 参数让“错分少数类”的代价更大。实际操作中我会先看看标签分布如果比例超过 10 比 1就优先处理不平衡问题否则后面不管怎么调学习率指标都上不去。混淆矩阵值得仔细看一眼。它能告诉你模型到底错在哪里是把负类误判成正类多还是把正类误判成负类多。对业务场景来说这两种错误的代价往往完全不同。比如疾病筛查更怕漏诊这时宁可查准率低一些也要把查全率拉高最简单的办法就是把判断阈值从 0.5 调低到 0.3 或 0.2。5.3 正则化与早停Logistic 回归的参数不多但照样可以用 L2 正则化来降低过拟合风险。在 PyTorch 里你不需要手动改损失函数只需要在实例化优化器时传入 weight_decay 参数。这个参数本质上就是在原有损失上加一项参数的平方和让模型参数不要长得太大。我的经验是对于二分类任务weight_decay 通常设 1e-4 到 1e-2 之间都可以试。设得太大模型会变得过于保守训练 loss 降不下去设得太小正则化形同虚设。你需要结合验证集表现来选。早停的操作方式更简单每个 epoch 结束算一次验证 loss连续多个 epoch 不下降就停下来恢复之前验证 loss 最低时的参数。这个技巧在深层模型里更重要但在 Logistic 回归上训练一样受用。很多同学会把训练轮数设得特别大结果后面几百轮纯属浪费我通常建议加一个早停条件节省时间又防止过拟合。6. 常见问题与排查技巧实录6.1 loss 变成 NaN这是我见过频率最高的问题。出现 NaN 的原因通常是学习率太大梯度更新一步直接越过最优点数值溢出了。排查顺序是先看学习率是不是过大调小一个数量级试试再看数据有没有异常值比如某个特征是 NaN 或者极大然后确认标签是不是只有 0 和 1有时候标签误传成别的值交叉熵检查不通过也会出现 NaN。一个非常典型的场景初始学习率设成 1.0SGD 更新几步之后参数变得非常大logits 也异常大sigmoid 的导数趋近于 0梯度流基本消失但此时 loss 因为 logits 巨大而变得巨大反向传播数值不稳定。解决思路很直接学习率从 0.1 开始不要贪心。数据方面把特征做归一化也能大幅降低出现 NaN 的概率。6.2 准确率卡在 50% 左右二分类模型准确率卡在 50%说明它跟瞎猜差不多。我排查这个问题的思路是先确认训练流程没问题重点检查有没有在 backward 之前忘记 zero_grad然后看 loss 有没有变化如果 loss 一动不动那可能是学习率太小或者模型没有真正连接起来比如你在 forward 里用了 NumPy导致梯度截断了最后看数据本身如果特征对分类目标没有任何区分度模型再怎么训练也学不到有意义的决策边界。还有一个隐蔽的 bug标签和特征顺序不匹配。比如你做随机划分时X 和 y 没有同步打乱模型一直在学习“特征和标签之间的随机关系”那准确率当然就卡在 50% 附近。这个问题特别容易出现在你用 NumPy 手写数据集拼接的时候。我建议构造数据集时把 X 和 y 放入同一个 TensorDataset 里用 DataLoader 的 shuffle 来打乱这样就不会出这种低级错误。6.3 训练越跑越慢数据加载卡顿训练几轮之后越来越慢大多数人第一反应是模型太复杂但 Logistic 回归这么轻量的模型根本不该如此。真正的原因往往是数据加载和内存复制开销过大。比如你在训练循环内部重复创建 DataLoader或者把张量反复从 GPU 搬到 CPU都会导致严重的性能损耗。正确做法是在训练循环开始前就把 DataLoader 定义好尽量让数据保持在同一个设备上。如果你用 GPU 训练把模型和数据都 .to(device)中间不要再跨设备拷贝。我见过最极端的情况是一个同学在每轮循环里都对整个数据集做一次随机索引和切片结果 99% 的时间花在数据整理上模型训练反而只占 1%。6.4 一个容易被忽略的问题PyTorch 的单精度PyTorch 默认的浮点类型是 float32这对深度学习是合理的但代价是计算精度比 float64 低。大部分场景下 float32 完全够用但有些极端情况下比如累积梯度过大、中间结果接近溢出边界单精度会触发数值不稳定表现就是 loss 曲线抖动或者梯度中小数点后多位的不精确。我不建议初学者遇到问题就盲目把所有张量都改成 float64因为那会拖慢训练速度。更合理的做法是出现数值异常时先检查前几轮 loss 的量级如果 loss 的量级就在 1e-7 左右说明模型可能已经收敛得足够好了这种情况不太需要担心。真正要警惕的是 loss 前几轮就出现几百上千的异常值然后再变成 NaN这时候就要回到学习率等基础问题上排查。7. 从 Logistic 回归走向深度学习我的几点体会7.1 为什么说这一章是深度学习的起点一个 Logistic 回归模型如果用网络结构图来表示就是一个只有单个神经元、没有隐藏层的网络输入特征经过加权求和再经过一个 sigmoid 激活函数输出概率。这个结构一切换视角就是深度学习里最基础的“神经元”。当你把它扩展成多个神经元、叠上多个隐藏层之后就得到了一个前馈神经网络。所以这一章表面上是“线性分类器的 PyTorch 实现”实际上是你第一次接触到“激活函数”“损失函数”“训练循环”这些所有深度学习模型共享的骨架。之后学 CNN、RNN、Transformer你会发现它们只是在网络的“消息传递结构”上做了各种创新但训练的基本框架没有变定义模型、前向传播、算损失、反向传播、更新参数。可以说把这章的基础打牢后面的学习会顺利很多。7.2 我在实际项目中踩过的坑与心得最后分享几个我自己真正摔过跟头的经验。第一个就是损失函数别乱换。我见过有同学觉得 BCE 太复杂把二分类问题改成用均方误差结果训练特别慢准确率也上不去。原因在于均方误差假设误差服从高斯分布而分类标签是伯努利分布损失函数和模型分布不匹配梯度更新自然低效。所以二分类就老老实实用 BCELoss 或 BCEWithLogitsLoss。第二个经验是评估的时候别忘了加 model.eval()。虽然 Logistic 回归没有 Dropout 和 BatchNorm这个调用看起来啥都没做但如果你之后把代码扩展成带 Dropout 的神经网络这一行代码会把你的测试结果从“随机的”变成“稳定的”。第三个经验是不要急着追新框架。很多同学跑到这一章就开始问“PyTorch 现在是不是过时了”“要不要学某个新框架”。我的回答是框架只是工具箱关键是理解模型和数据流的本质。你用 PyTorch 写的 Logistic 回归换成别的框架核心逻辑都是一样的。把原理吃透工具随时可以换。如果你能自己动手把这一章的例子完整跑通然后尝试改一改学习率、换一换优化器、把它从二分类扩展到多分类那你的 PyTorch 基础就算真正扎稳了。接下来无论你是去做图像分类还是文本处理这个通用的训练思维都会跟着你走很久。