1. 从一次训练翻车说起为什么反向传播和梯度下降值得反复讲刚接触大模型那会儿我踩过一个特别典型的坑。当时用一个小型Transformer做文本分类训练了十几个epochloss曲线看着挺漂亮一路往下掉结果拿验证集一测准确率死活卡在随机猜测的水平。排查了大半天最后发现问题出在学习率上——我照搬了别人博客里的0.1而这个值对我的模型来说太大了参数在最优解附近来回横跳根本落不下去。那次之后我才真正意识到反向传播和梯度下降这两个听起来像“入门第一课”的东西恰恰是决定一个大模型能不能训起来、训得好不好的命门。很多人学大模型一上来就盯着Transformer结构、注意力机制、微调技巧觉得反向传播和梯度下降是“基础中的基础”随便翻翻就过了。但实际情况是当你真正去调一个几十亿参数的模型或者自己从零写一个训练循环时你会发现几乎所有训练不收敛、梯度爆炸、loss震荡的问题根子都能追溯到对这两个机制的理解不够深。反向传播解决的是“每个参数该往哪个方向调”的问题梯度下降解决的是“每次调多少”的问题链式法则则是把这两者串起来的数学骨架。这三者构成了大模型训练的地基地基不稳上面盖什么都是空中楼阁。这篇文章我打算把反向传播和梯度下降从原理到实操彻底拆一遍。不是那种教科书式的公式堆砌而是结合我自己训练模型时踩过的坑、调过的参数、看过的loss曲线把每个环节背后的“为什么”讲清楚。不管你是刚入门想搞明白大模型到底怎么学出来的还是已经能跑通微调但总被训练问题卡住这篇内容应该都能帮你把这块知识补扎实。核心关键词我会自然融进各个章节反向传播、梯度下降、大模型、学习率、链式法则一个都不会少。2. 反向传播到底在算什么把链式法则讲成人话2.1 前向传播是“猜答案”反向传播是“算责任”要理解反向传播得先搞清楚一个神经网络在干什么。你可以把整个模型想象成一条流水线输入数据从一头进去经过一层层的加工矩阵乘法、激活函数、归一化等等最后从另一头出来一个预测结果。这个过程叫前向传播。前向传播做的事情很直接就是拿着当前的参数去“猜”一个答案。但光猜没用得知道猜得对不对。于是我们用一个损失函数来衡量预测值和真实值之间的差距比如交叉熵、均方误差。这个差距就是一个标量我们叫它loss。训练的目标就是让这个loss越小越好。问题来了模型里有几亿甚至几千亿个参数每个参数对最终loss的影响都不一样。有的参数稍微动一下loss就飙升有的参数怎么动loss都纹丝不动。反向传播要解决的核心问题就是对于每一个参数它到底对loss贡献了多少“责任”知道了责任大小我们才能有针对性地去调整它。这个“算责任”的过程本质上就是链式法则的应用。链式法则在微积分里是个很朴素的东西如果 y 是 u 的函数u 是 x 的函数那么 y 对 x 的导数等于 y 对 u 的导数乘以 u 对 x 的导数。放到神经网络里loss对某一层参数的导数等于loss对这一层输出的导数乘以这一层输出对该层参数的导数。一层一层往前推就像把责任从最后的loss一路“回传”到最前面的参数这就是反向传播名字的由来。2.2 链式法则一条责任追究链我用一个具体的小例子把链式法则说透。假设有一个极简的两层网络第一层z1 W1 * x激活a1 relu(z1)第二层z2 W2 * a1损失L (z2 - y)^2现在我想知道 W1 对 L 的影响也就是求 dL/dW1。直接求不好求因为 W1 和 L 之间隔了好几层。但链式法则告诉我们可以把它拆成一条链dL/dW1 dL/dz2 * dz2/da1 * da1/dz1 * dz1/dW1每一步都是简单的局部导数dL/dz2 是损失对第二层输出的导数dz2/da1 是第二层对第一层激活的导数就是W2da1/dz1 是relu的导数dz1/dW1 就是输入x。把这些局部导数乘起来就得到了 W1 的梯度。这个链条的意义在于我们不需要一次性求出复杂的全局导数只需要在每一层算好局部的导数然后从后往前乘起来就行。这正是反向传播高效的原因。前向传播时我们把每一层的中间结果存下来反向传播时直接拿来用避免了大量重复计算。如果没有这个机制每更新一个参数都要重新跑一遍完整的前向过程计算量会大到无法接受。2.3 计算图反向传播的工程实现骨架理论上的链式法则很优雅但工程上怎么落地答案是计算图。现代深度学习框架PyTorch、TensorFlow等都会把前向传播的每一步操作记录成一张有向无环图每个节点是一个张量操作每条边是数据流动的方向。前向传播时框架一边算结果一边把每个操作的“反向函数”也准备好反向传播时从loss节点出发沿着图反向遍历每个节点调用自己的反向函数把上游传来的梯度乘以本地的局部梯度再传给下游。这里有个关键细节梯度是可以累加的。如果一个张量被多条路径用到比如残差连接里的skip connection那么反向传播时这个张量会收到多份梯度框架会自动把它们加起来。这也是为什么残差连接能有效缓解梯度消失——它给梯度提供了一条“高速公路”让梯度可以绕过很多层直接传回去。实操心得如果你自己手写反向传播比如用numpy实现一个小网络一定要记得在每次迭代前把梯度清零。PyTorch里就是 optimizer.zero_grad()。我见过太多人忘了这一步结果梯度一直累加训练直接飞掉。2.4 梯度消失与梯度爆炸反向传播的两个天敌理解了链式法则就能理解为什么深层的网络难训练。反向传播是把一串局部导数连乘起来如果这些导数大部分都小于1乘着乘着梯度就趋近于0了这就是梯度消失如果大部分都大于1乘着乘着梯度就爆炸了这就是梯度爆炸。梯度消失的典型场景是用了sigmoid激活函数它的导数最大只有0.25几层乘下来梯度就没了。梯度爆炸则常见于权重初始化过大或者学习率过高的情况。对于大模型来说这两个问题尤其致命因为层数动辄几十上百层。常见的应对手段包括用ReLU及其变体替代sigmoid、做合理的权重初始化Xavier、He初始化、加BatchNorm或LayerNorm、用残差连接、做梯度裁剪。这些手段背后的逻辑都是一样的要么让局部导数不要太小要么给梯度开一条捷径要么在梯度太大的时候强行把它压下来。3. 梯度下降的家族谱从SGD到Adam到底怎么选3.1 梯度下降的直觉蒙眼下山反向传播算出了每个参数的梯度也就是“往哪个方向调能让loss下降最快”。接下来就是梯度下降要做的事沿着梯度的反方向把参数挪一小步。这个“一小步”的大小就是学习率。我特别喜欢用“蒙眼下山”来类比梯度下降。你站在山坡上眼睛被蒙住了只能感受到脚下哪个方向最陡。于是你朝着最陡的下坡方向迈一步然后重新感受再迈一步如此反复最终希望能走到山谷最低点。梯度就是“最陡方向”学习率就是“每步迈多大”。这个类比能解释很多现象。步子太小学习率太低你走得像蜗牛半天到不了谷底训练慢得让人抓狂步子太大学习率太高你可能一步跨过谷底直接冲到对面山坡上来回震荡甚至越走越远。更麻烦的是真实的地形不是简单的碗状而是有各种局部洼地、鞍点、峡谷蒙眼下山的策略稍微不对就容易卡住或者走偏。3.2 三种基本变体BGD、SGD、Mini-batch GD梯度下降最原始的形态叫批量梯度下降BGD意思是每次更新参数都用全部训练数据算一遍梯度。这样做的好处是梯度方向非常准因为它是整个数据集上的真实梯度坏处是计算量巨大几百万条数据算一次梯度内存和时间都扛不住而且很容易卡在局部最优出不来。于是有了随机梯度下降SGD每次只用一个样本算梯度。这样更新频率极高计算快而且因为单个样本的梯度带有噪声反而有助于跳出局部最优。但缺点也很明显噪声太大loss曲线抖得厉害收敛不稳定。实际中用得最多的是小批量梯度下降Mini-batch GD每次用一小批数据比如32、64、128条算梯度。它兼顾了BGD的稳定性和SGD的高效性是目前大模型训练的标准做法。batch size的选择本身也是一门学问太小则噪声大、训练不稳太大则内存吃紧、泛化可能变差。大模型训练里常见的做法是用较大的batch size配合梯度累积来模拟更大的有效batch。3.3 动量法给下山加个惯性朴素梯度下降有个问题在峡谷地形里一个方向陡、一个方向平梯度会在陡的方向来回震荡而在平的方向前进缓慢。动量法的思路是引入一个“速度”变量把历史梯度累积起来。就像下山时你有了惯性即使当前梯度指向侧面你整体的运动方向还是朝着谷底。具体来说动量法维护一个速度向量v每次更新时 v β*v (1-β)*grad然后用v来更新参数。β通常取0.9意思是保留90%的历史方向。这样在梯度方向一致的维度上速度会越来越快在来回震荡的维度上正负梯度相互抵消震荡被抑制。实测下来动量法能让收敛速度提升好几倍尤其是深层网络。3.4 RMSProp与Adam自适应学习率的威力动量法解决了方向问题但所有参数还是共用同一个学习率。实际上不同参数需要的步长可能完全不同有的参数已经接近最优了需要小步微调有的参数还差得远需要大步前进。自适应学习率方法就是让每个参数有自己的学习率。RMSProp的做法是维护每个参数梯度的平方的滑动平均然后用这个平均值去缩放学习率。梯度大的参数学习率被压小梯度小的参数学习率相对放大。这样每个参数都能以自己的节奏更新。Adam则是把动量法和RMSProp结合了起来同时维护梯度的一阶矩均值和二阶矩平方均值并做了偏差修正。它在大多数任务上都能开箱即用收敛快、对学习率不那么敏感是目前大模型训练最常用的优化器之一。不过Adam也有它的争议比如在某些任务上泛化不如调好的SGD动量而且它占用的显存更多每个参数要存两份状态。优化器核心思想优点缺点适用场景BGD全量数据算梯度方向准慢、内存大小数据集SGD单样本算梯度快、有噪声助跳出震荡大理论研究Mini-batch SGD小批量算梯度平衡需调batch size通用SGDMomentum加惯性收敛快需调β深层网络RMSProp自适应学习率各参数独立无动量RNN等Adam动量自适应开箱即用显存多、泛化争议大模型首选3.5 学习率调度好模型是“调”出来的学习率是梯度下降里最重要的超参数没有之一。固定学习率往往不是最优的实践中通常会用一个学习率调度器让学习率在训练过程中动态变化。最常见的策略是预热衰减。训练刚开始时参数是随机初始化的梯度可能很大很乱这时候用大学习率容易直接训崩。所以先用一个很小的学习率“预热”几百到几千步让模型稳定下来然后再逐步增大到峰值最后随着训练推进慢慢衰减。衰减的方式有阶梯衰减、余弦衰减、线性衰减等。大模型训练里余弦衰减配合预热是最常见的组合。注意事项学习率预热对大模型尤其重要。我试过跳过预热直接上大学习率结果前几百步loss直接飙到nan梯度爆炸。后来老老实实加了1000步预热训练就稳了。4. 大模型训练中的反向传播与梯度下降实战4.1 大模型为什么让这两个机制变得更难小模型上跑得好好的反向传播和梯度下降到了大模型上会遇到几个新问题。第一是显存。反向传播需要把前向传播的中间激活值全部存下来用于计算梯度。一个几十层的Transformerbatch size稍微大一点激活值就能把显存吃满。这也是为什么大模型训练要用梯度检查点技术——牺牲一点计算时间只存部分激活值其余的在反向传播时重新算一遍。第二是梯度累积。大模型想要大batch size来稳定训练但显存又放不下怎么办用梯度累积把一个大batch拆成几个小batch分别做前向和反向把梯度累加起来攒够一定步数再统一更新一次参数。这样等效于用了更大的batch size但显存占用不变。这里有个细节梯度累积时loss要除以累积步数否则梯度会被放大。第三是混合精度训练。用fp16或bf16来存激活值和梯度能大幅节省显存和加速计算但fp16的数值范围小容易下溢。所以通常要配合loss scaling把loss放大一定倍数反向传播后再缩回来避免小梯度变成0。4.2 一个完整的训练循环长什么样我把大模型训练的核心循环拆成几个步骤用PyTorch风格的伪代码展示for step, batch in enumerate(dataloader): # 1. 前向传播 outputs model(batch.input_ids) loss criterion(outputs, batch.labels) loss loss / accumulation_steps # 梯度累积时缩放loss # 2. 反向传播 loss.backward() # 3. 梯度累积 if (step 1) % accumulation_steps 0: # 4. 梯度裁剪 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) # 5. 参数更新 optimizer.step() # 6. 学习率调度 scheduler.step() # 7. 梯度清零 optimizer.zero_grad()这几行代码里藏着很多门道。梯度裁剪是为了防止梯度爆炸max_norm一般设1.0或0.5optimizer.step()执行的就是梯度下降的更新逻辑scheduler.step()根据当前步数调整学习率zero_grad()必须在更新之后调用否则梯度会一直累加。4.3 梯度裁剪给梯度装个安全阀梯度裁剪是我在大模型训练里最常用的保命手段。它的逻辑很简单如果所有参数的梯度合起来的范数超过了一个阈值就把它们按比例缩小让范数等于阈值。这样即使某个batch的梯度异常大也不会把参数一下子推飞。有两种裁剪方式按值裁剪把每个梯度元素限制在[-clip, clip]之间和按范数裁剪限制整个梯度向量的范数。实践中按范数裁剪更常用因为它保留了梯度的方向信息只是缩放了大小。实操心得梯度裁剪的阈值不要设太小否则会拖慢训练。我一般从1.0开始试如果loss还是震荡就降到0.5如果训练太慢就升到2.0。这个值跟模型大小、学习率都有关系没有万能值。4.4 学习率怎么设从经验值到自动搜索学习率的设置是个老大难问题。我总结了几条实用经验对于从头训练的大模型峰值学习率通常在1e-4到3e-4之间配合预热和余弦衰减。对于微调学习率要小得多一般在1e-5到5e-5之间因为预训练权重已经很好大学习率会破坏已有知识。LoRA等参数高效微调方法可以用稍大一点的学习率因为只更新少量参数。如果实在不知道设多少可以用学习率范围测试从一个很小的值开始每个batch指数级增大学习率同时记录loss画出loss随学习率变化的曲线。loss开始明显上升的那个点就是学习率的上限实际用的时候取比它小一个数量级的值。训练场景推荐学习率调度策略预热步数从头预训练1e-4 ~ 3e-4余弦衰减2000全量微调1e-5 ~ 5e-5线性衰减500LoRA微调1e-4 ~ 3e-4余弦衰减100分类头训练1e-3 ~ 1e-2阶梯衰减04.5 梯度累积与学习率的配合梯度累积有个容易被忽略的细节累积步数变了等效batch size就变了而batch size和学习率是有关联的。一般来说batch size增大k倍学习率也可以相应增大线性缩放规则或者增大sqrt(k)倍平方根缩放规则。但这个规则不是绝对的大模型训练里更常见的是保持学习率不变只是用梯度累积来稳定梯度估计。我自己的做法是先用一个能塞进显存的batch size跑通然后逐步增加梯度累积步数观察loss曲线。如果loss变得更平滑但下降速度没变慢说明累积有效如果loss下降明显变慢可能是等效学习率偏小了需要适当调大。5. 常见问题与排查技巧实录5.1 loss不下降或下降极慢这是最常见的问题。排查顺序我一般是这样的先看学习率是不是太小了。如果loss几乎不动先把学习率调大10倍试试。如果调大后loss开始下降但震荡说明原来的值偏小新的值偏大取中间。再看梯度是不是消失了。打印每一层梯度的范数如果前面几层的梯度接近0说明梯度消失严重。解决办法是换激活函数、加归一化层、用残差连接。还要看数据有没有问题。标签是不是对的输入是不是归一化了有没有脏数据。我有一次loss死活不降最后发现是数据加载时把标签和输入错位了。5.2 loss震荡或出现nanloss变成nan通常意味着数值溢出。第一步是降低学习率第二步是加梯度裁剪第三步是检查有没有除零或者log(0)的操作。混合精度训练时nan还可能是loss scaling没设好可以尝试动态loss scaling。loss震荡但不发散一般是学习率偏大或者batch size偏小。可以试试学习率衰减、增大batch size、或者用Adam这类自适应优化器。5.3 训练集loss降但验证集loss升这是典型的过拟合。解决办法包括增加数据、加正则化weight decay、dropout、早停、减小模型规模。但要注意大模型训练初期验证集loss短暂上升是正常的因为模型还在学通用特征不一定是过拟合。要观察一段时间再判断。5.4 梯度爆炸的识别与处理梯度爆炸的典型表现是loss突然飙升、参数变成nan、训练崩溃。识别方法是监控梯度范数如果它突然增大几个数量级就是爆炸了。处理手段按优先级梯度裁剪、降低学习率、检查权重初始化、检查数据里有没有异常值。问题现象可能原因排查方法解决方案loss不降学习率太小、梯度消失打印梯度范数调大学习率、换激活函数loss震荡学习率太大、batch太小观察loss曲线衰减学习率、增大batchloss变nan数值溢出检查中间值降学习率、梯度裁剪验证loss上升过拟合对比训练验证曲线正则化、早停、加数据梯度范数突增梯度爆炸监控梯度范数梯度裁剪、降学习率5.5 几个容易被忽略的坑第一个坑是忘了zero_grad。PyTorch默认会累加梯度如果不在每步更新后清零梯度会越来越大训练很快崩掉。这个错误新手特别容易犯而且因为前几步看起来正常很难第一时间发现。第二个坑是在验证时忘了eval模式。dropout和batchnorm在训练和验证时的行为不一样如果验证时没切到eval模式结果会不准。反过来验证完忘了切回train模式训练也会出问题。第三个坑是学习率调度器的step时机。有的调度器是按epoch调的有的是按step调的用错了会导致学习率变化不符合预期。PyTorch里要看清scheduler的类型按step调的要在每个batch后调用按epoch调的要在每个epoch后调用。第四个坑是梯度累积时loss没缩放。前面提过累积k步时loss要除以k否则等效学习率被放大了k倍训练会不稳定。6. 从原理到调参我个人的一些体会把反向传播和梯度下降这两块吃透之后我最大的感受是大模型训练里绝大多数“玄学”问题其实都能用这两个机制解释清楚。loss震荡是学习率的问题梯度消失是链式法则连乘的问题训练慢是优化器选择的问题显存不够是反向传播存激活值的问题。当你不再把这些当成黑盒而是能一层层拆开看调参就从“碰运气”变成了“有依据的尝试”。我现在调一个新模型基本会按这个顺序来先确认反向传播能跑通梯度不为nan、不为0再确定学习率的大致范围用范围测试然后选优化器大模型默认AdamW配上预热和余弦衰减加梯度裁剪保底最后根据loss曲线微调。这套流程不一定最优但足够稳能帮我快速排除掉大部分低级错误。还有一个体会是不要迷信默认参数。PyTorch的Adam默认学习率是1e-3这个值对很多大模型来说太大了默认weight decay是0但大模型通常需要一点weight decay来防过拟合。每个超参数背后都有它的适用场景搞清楚原理才知道什么时候该改、往哪个方向改。最后分享一个我常用的调试技巧用一个极小的数据集比如几十条去训练看模型能不能过拟合。如果连几十条数据都拟合不了说明模型结构或者训练流程有问题跟数据量和泛化无关。这个技巧能帮你快速定位是“训不动”还是“训过头”省下大量瞎调参的时间。反向传播和梯度下降的代码路径在这种小规模测试里最容易暴露问题比如梯度没传对、参数没更新、loss算错了一测便知。 
长河君 · 2026/10/9 3:48:41 · 阅读 1.2k 反向传播与梯度下降：大模型训练的核心机制与调参实战
1. 从一次训练翻车说起为什么反向传播和梯度下降值得反复讲刚接触大模型那会儿我踩过一个特别典型的坑。当时用一个小型Transformer做文本分类训练了十几个epochloss曲线看着挺漂亮一路往下掉结果拿验证集一测准确率死活卡在随机猜测的水平。排查了大半天最后发现问题出在学习率上——我照搬了别人博客里的0.1而这个值对我的模型来说太大了参数在最优解附近来回横跳根本落不下去。那次之后我才真正意识到反向传播和梯度下降这两个听起来像“入门第一课”的东西恰恰是决定一个大模型能不能训起来、训得好不好的命门。很多人学大模型一上来就盯着Transformer结构、注意力机制、微调技巧觉得反向传播和梯度下降是“基础中的基础”随便翻翻就过了。但实际情况是当你真正去调一个几十亿参数的模型或者自己从零写一个训练循环时你会发现几乎所有训练不收敛、梯度爆炸、loss震荡的问题根子都能追溯到对这两个机制的理解不够深。反向传播解决的是“每个参数该往哪个方向调”的问题梯度下降解决的是“每次调多少”的问题链式法则则是把这两者串起来的数学骨架。这三者构成了大模型训练的地基地基不稳上面盖什么都是空中楼阁。这篇文章我打算把反向传播和梯度下降从原理到实操彻底拆一遍。不是那种教科书式的公式堆砌而是结合我自己训练模型时踩过的坑、调过的参数、看过的loss曲线把每个环节背后的“为什么”讲清楚。不管你是刚入门想搞明白大模型到底怎么学出来的还是已经能跑通微调但总被训练问题卡住这篇内容应该都能帮你把这块知识补扎实。核心关键词我会自然融进各个章节反向传播、梯度下降、大模型、学习率、链式法则一个都不会少。2. 反向传播到底在算什么把链式法则讲成人话2.1 前向传播是“猜答案”反向传播是“算责任”要理解反向传播得先搞清楚一个神经网络在干什么。你可以把整个模型想象成一条流水线输入数据从一头进去经过一层层的加工矩阵乘法、激活函数、归一化等等最后从另一头出来一个预测结果。这个过程叫前向传播。前向传播做的事情很直接就是拿着当前的参数去“猜”一个答案。但光猜没用得知道猜得对不对。于是我们用一个损失函数来衡量预测值和真实值之间的差距比如交叉熵、均方误差。这个差距就是一个标量我们叫它loss。训练的目标就是让这个loss越小越好。问题来了模型里有几亿甚至几千亿个参数每个参数对最终loss的影响都不一样。有的参数稍微动一下loss就飙升有的参数怎么动loss都纹丝不动。反向传播要解决的核心问题就是对于每一个参数它到底对loss贡献了多少“责任”知道了责任大小我们才能有针对性地去调整它。这个“算责任”的过程本质上就是链式法则的应用。链式法则在微积分里是个很朴素的东西如果 y 是 u 的函数u 是 x 的函数那么 y 对 x 的导数等于 y 对 u 的导数乘以 u 对 x 的导数。放到神经网络里loss对某一层参数的导数等于loss对这一层输出的导数乘以这一层输出对该层参数的导数。一层一层往前推就像把责任从最后的loss一路“回传”到最前面的参数这就是反向传播名字的由来。2.2 链式法则一条责任追究链我用一个具体的小例子把链式法则说透。假设有一个极简的两层网络第一层z1 W1 * x激活a1 relu(z1)第二层z2 W2 * a1损失L (z2 - y)^2现在我想知道 W1 对 L 的影响也就是求 dL/dW1。直接求不好求因为 W1 和 L 之间隔了好几层。但链式法则告诉我们可以把它拆成一条链dL/dW1 dL/dz2 * dz2/da1 * da1/dz1 * dz1/dW1每一步都是简单的局部导数dL/dz2 是损失对第二层输出的导数dz2/da1 是第二层对第一层激活的导数就是W2da1/dz1 是relu的导数dz1/dW1 就是输入x。把这些局部导数乘起来就得到了 W1 的梯度。这个链条的意义在于我们不需要一次性求出复杂的全局导数只需要在每一层算好局部的导数然后从后往前乘起来就行。这正是反向传播高效的原因。前向传播时我们把每一层的中间结果存下来反向传播时直接拿来用避免了大量重复计算。如果没有这个机制每更新一个参数都要重新跑一遍完整的前向过程计算量会大到无法接受。2.3 计算图反向传播的工程实现骨架理论上的链式法则很优雅但工程上怎么落地答案是计算图。现代深度学习框架PyTorch、TensorFlow等都会把前向传播的每一步操作记录成一张有向无环图每个节点是一个张量操作每条边是数据流动的方向。前向传播时框架一边算结果一边把每个操作的“反向函数”也准备好反向传播时从loss节点出发沿着图反向遍历每个节点调用自己的反向函数把上游传来的梯度乘以本地的局部梯度再传给下游。这里有个关键细节梯度是可以累加的。如果一个张量被多条路径用到比如残差连接里的skip connection那么反向传播时这个张量会收到多份梯度框架会自动把它们加起来。这也是为什么残差连接能有效缓解梯度消失——它给梯度提供了一条“高速公路”让梯度可以绕过很多层直接传回去。实操心得如果你自己手写反向传播比如用numpy实现一个小网络一定要记得在每次迭代前把梯度清零。PyTorch里就是 optimizer.zero_grad()。我见过太多人忘了这一步结果梯度一直累加训练直接飞掉。2.4 梯度消失与梯度爆炸反向传播的两个天敌理解了链式法则就能理解为什么深层的网络难训练。反向传播是把一串局部导数连乘起来如果这些导数大部分都小于1乘着乘着梯度就趋近于0了这就是梯度消失如果大部分都大于1乘着乘着梯度就爆炸了这就是梯度爆炸。梯度消失的典型场景是用了sigmoid激活函数它的导数最大只有0.25几层乘下来梯度就没了。梯度爆炸则常见于权重初始化过大或者学习率过高的情况。对于大模型来说这两个问题尤其致命因为层数动辄几十上百层。常见的应对手段包括用ReLU及其变体替代sigmoid、做合理的权重初始化Xavier、He初始化、加BatchNorm或LayerNorm、用残差连接、做梯度裁剪。这些手段背后的逻辑都是一样的要么让局部导数不要太小要么给梯度开一条捷径要么在梯度太大的时候强行把它压下来。3. 梯度下降的家族谱从SGD到Adam到底怎么选3.1 梯度下降的直觉蒙眼下山反向传播算出了每个参数的梯度也就是“往哪个方向调能让loss下降最快”。接下来就是梯度下降要做的事沿着梯度的反方向把参数挪一小步。这个“一小步”的大小就是学习率。我特别喜欢用“蒙眼下山”来类比梯度下降。你站在山坡上眼睛被蒙住了只能感受到脚下哪个方向最陡。于是你朝着最陡的下坡方向迈一步然后重新感受再迈一步如此反复最终希望能走到山谷最低点。梯度就是“最陡方向”学习率就是“每步迈多大”。这个类比能解释很多现象。步子太小学习率太低你走得像蜗牛半天到不了谷底训练慢得让人抓狂步子太大学习率太高你可能一步跨过谷底直接冲到对面山坡上来回震荡甚至越走越远。更麻烦的是真实的地形不是简单的碗状而是有各种局部洼地、鞍点、峡谷蒙眼下山的策略稍微不对就容易卡住或者走偏。3.2 三种基本变体BGD、SGD、Mini-batch GD梯度下降最原始的形态叫批量梯度下降BGD意思是每次更新参数都用全部训练数据算一遍梯度。这样做的好处是梯度方向非常准因为它是整个数据集上的真实梯度坏处是计算量巨大几百万条数据算一次梯度内存和时间都扛不住而且很容易卡在局部最优出不来。于是有了随机梯度下降SGD每次只用一个样本算梯度。这样更新频率极高计算快而且因为单个样本的梯度带有噪声反而有助于跳出局部最优。但缺点也很明显噪声太大loss曲线抖得厉害收敛不稳定。实际中用得最多的是小批量梯度下降Mini-batch GD每次用一小批数据比如32、64、128条算梯度。它兼顾了BGD的稳定性和SGD的高效性是目前大模型训练的标准做法。batch size的选择本身也是一门学问太小则噪声大、训练不稳太大则内存吃紧、泛化可能变差。大模型训练里常见的做法是用较大的batch size配合梯度累积来模拟更大的有效batch。3.3 动量法给下山加个惯性朴素梯度下降有个问题在峡谷地形里一个方向陡、一个方向平梯度会在陡的方向来回震荡而在平的方向前进缓慢。动量法的思路是引入一个“速度”变量把历史梯度累积起来。就像下山时你有了惯性即使当前梯度指向侧面你整体的运动方向还是朝着谷底。具体来说动量法维护一个速度向量v每次更新时 v β*v (1-β)*grad然后用v来更新参数。β通常取0.9意思是保留90%的历史方向。这样在梯度方向一致的维度上速度会越来越快在来回震荡的维度上正负梯度相互抵消震荡被抑制。实测下来动量法能让收敛速度提升好几倍尤其是深层网络。3.4 RMSProp与Adam自适应学习率的威力动量法解决了方向问题但所有参数还是共用同一个学习率。实际上不同参数需要的步长可能完全不同有的参数已经接近最优了需要小步微调有的参数还差得远需要大步前进。自适应学习率方法就是让每个参数有自己的学习率。RMSProp的做法是维护每个参数梯度的平方的滑动平均然后用这个平均值去缩放学习率。梯度大的参数学习率被压小梯度小的参数学习率相对放大。这样每个参数都能以自己的节奏更新。Adam则是把动量法和RMSProp结合了起来同时维护梯度的一阶矩均值和二阶矩平方均值并做了偏差修正。它在大多数任务上都能开箱即用收敛快、对学习率不那么敏感是目前大模型训练最常用的优化器之一。不过Adam也有它的争议比如在某些任务上泛化不如调好的SGD动量而且它占用的显存更多每个参数要存两份状态。优化器核心思想优点缺点适用场景BGD全量数据算梯度方向准慢、内存大小数据集SGD单样本算梯度快、有噪声助跳出震荡大理论研究Mini-batch SGD小批量算梯度平衡需调batch size通用SGDMomentum加惯性收敛快需调β深层网络RMSProp自适应学习率各参数独立无动量RNN等Adam动量自适应开箱即用显存多、泛化争议大模型首选3.5 学习率调度好模型是“调”出来的学习率是梯度下降里最重要的超参数没有之一。固定学习率往往不是最优的实践中通常会用一个学习率调度器让学习率在训练过程中动态变化。最常见的策略是预热衰减。训练刚开始时参数是随机初始化的梯度可能很大很乱这时候用大学习率容易直接训崩。所以先用一个很小的学习率“预热”几百到几千步让模型稳定下来然后再逐步增大到峰值最后随着训练推进慢慢衰减。衰减的方式有阶梯衰减、余弦衰减、线性衰减等。大模型训练里余弦衰减配合预热是最常见的组合。注意事项学习率预热对大模型尤其重要。我试过跳过预热直接上大学习率结果前几百步loss直接飙到nan梯度爆炸。后来老老实实加了1000步预热训练就稳了。4. 大模型训练中的反向传播与梯度下降实战4.1 大模型为什么让这两个机制变得更难小模型上跑得好好的反向传播和梯度下降到了大模型上会遇到几个新问题。第一是显存。反向传播需要把前向传播的中间激活值全部存下来用于计算梯度。一个几十层的Transformerbatch size稍微大一点激活值就能把显存吃满。这也是为什么大模型训练要用梯度检查点技术——牺牲一点计算时间只存部分激活值其余的在反向传播时重新算一遍。第二是梯度累积。大模型想要大batch size来稳定训练但显存又放不下怎么办用梯度累积把一个大batch拆成几个小batch分别做前向和反向把梯度累加起来攒够一定步数再统一更新一次参数。这样等效于用了更大的batch size但显存占用不变。这里有个细节梯度累积时loss要除以累积步数否则梯度会被放大。第三是混合精度训练。用fp16或bf16来存激活值和梯度能大幅节省显存和加速计算但fp16的数值范围小容易下溢。所以通常要配合loss scaling把loss放大一定倍数反向传播后再缩回来避免小梯度变成0。4.2 一个完整的训练循环长什么样我把大模型训练的核心循环拆成几个步骤用PyTorch风格的伪代码展示for step, batch in enumerate(dataloader): # 1. 前向传播 outputs model(batch.input_ids) loss criterion(outputs, batch.labels) loss loss / accumulation_steps # 梯度累积时缩放loss # 2. 反向传播 loss.backward() # 3. 梯度累积 if (step 1) % accumulation_steps 0: # 4. 梯度裁剪 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) # 5. 参数更新 optimizer.step() # 6. 学习率调度 scheduler.step() # 7. 梯度清零 optimizer.zero_grad()这几行代码里藏着很多门道。梯度裁剪是为了防止梯度爆炸max_norm一般设1.0或0.5optimizer.step()执行的就是梯度下降的更新逻辑scheduler.step()根据当前步数调整学习率zero_grad()必须在更新之后调用否则梯度会一直累加。4.3 梯度裁剪给梯度装个安全阀梯度裁剪是我在大模型训练里最常用的保命手段。它的逻辑很简单如果所有参数的梯度合起来的范数超过了一个阈值就把它们按比例缩小让范数等于阈值。这样即使某个batch的梯度异常大也不会把参数一下子推飞。有两种裁剪方式按值裁剪把每个梯度元素限制在[-clip, clip]之间和按范数裁剪限制整个梯度向量的范数。实践中按范数裁剪更常用因为它保留了梯度的方向信息只是缩放了大小。实操心得梯度裁剪的阈值不要设太小否则会拖慢训练。我一般从1.0开始试如果loss还是震荡就降到0.5如果训练太慢就升到2.0。这个值跟模型大小、学习率都有关系没有万能值。4.4 学习率怎么设从经验值到自动搜索学习率的设置是个老大难问题。我总结了几条实用经验对于从头训练的大模型峰值学习率通常在1e-4到3e-4之间配合预热和余弦衰减。对于微调学习率要小得多一般在1e-5到5e-5之间因为预训练权重已经很好大学习率会破坏已有知识。LoRA等参数高效微调方法可以用稍大一点的学习率因为只更新少量参数。如果实在不知道设多少可以用学习率范围测试从一个很小的值开始每个batch指数级增大学习率同时记录loss画出loss随学习率变化的曲线。loss开始明显上升的那个点就是学习率的上限实际用的时候取比它小一个数量级的值。训练场景推荐学习率调度策略预热步数从头预训练1e-4 ~ 3e-4余弦衰减2000全量微调1e-5 ~ 5e-5线性衰减500LoRA微调1e-4 ~ 3e-4余弦衰减100分类头训练1e-3 ~ 1e-2阶梯衰减04.5 梯度累积与学习率的配合梯度累积有个容易被忽略的细节累积步数变了等效batch size就变了而batch size和学习率是有关联的。一般来说batch size增大k倍学习率也可以相应增大线性缩放规则或者增大sqrt(k)倍平方根缩放规则。但这个规则不是绝对的大模型训练里更常见的是保持学习率不变只是用梯度累积来稳定梯度估计。我自己的做法是先用一个能塞进显存的batch size跑通然后逐步增加梯度累积步数观察loss曲线。如果loss变得更平滑但下降速度没变慢说明累积有效如果loss下降明显变慢可能是等效学习率偏小了需要适当调大。5. 常见问题与排查技巧实录5.1 loss不下降或下降极慢这是最常见的问题。排查顺序我一般是这样的先看学习率是不是太小了。如果loss几乎不动先把学习率调大10倍试试。如果调大后loss开始下降但震荡说明原来的值偏小新的值偏大取中间。再看梯度是不是消失了。打印每一层梯度的范数如果前面几层的梯度接近0说明梯度消失严重。解决办法是换激活函数、加归一化层、用残差连接。还要看数据有没有问题。标签是不是对的输入是不是归一化了有没有脏数据。我有一次loss死活不降最后发现是数据加载时把标签和输入错位了。5.2 loss震荡或出现nanloss变成nan通常意味着数值溢出。第一步是降低学习率第二步是加梯度裁剪第三步是检查有没有除零或者log(0)的操作。混合精度训练时nan还可能是loss scaling没设好可以尝试动态loss scaling。loss震荡但不发散一般是学习率偏大或者batch size偏小。可以试试学习率衰减、增大batch size、或者用Adam这类自适应优化器。5.3 训练集loss降但验证集loss升这是典型的过拟合。解决办法包括增加数据、加正则化weight decay、dropout、早停、减小模型规模。但要注意大模型训练初期验证集loss短暂上升是正常的因为模型还在学通用特征不一定是过拟合。要观察一段时间再判断。5.4 梯度爆炸的识别与处理梯度爆炸的典型表现是loss突然飙升、参数变成nan、训练崩溃。识别方法是监控梯度范数如果它突然增大几个数量级就是爆炸了。处理手段按优先级梯度裁剪、降低学习率、检查权重初始化、检查数据里有没有异常值。问题现象可能原因排查方法解决方案loss不降学习率太小、梯度消失打印梯度范数调大学习率、换激活函数loss震荡学习率太大、batch太小观察loss曲线衰减学习率、增大batchloss变nan数值溢出检查中间值降学习率、梯度裁剪验证loss上升过拟合对比训练验证曲线正则化、早停、加数据梯度范数突增梯度爆炸监控梯度范数梯度裁剪、降学习率5.5 几个容易被忽略的坑第一个坑是忘了zero_grad。PyTorch默认会累加梯度如果不在每步更新后清零梯度会越来越大训练很快崩掉。这个错误新手特别容易犯而且因为前几步看起来正常很难第一时间发现。第二个坑是在验证时忘了eval模式。dropout和batchnorm在训练和验证时的行为不一样如果验证时没切到eval模式结果会不准。反过来验证完忘了切回train模式训练也会出问题。第三个坑是学习率调度器的step时机。有的调度器是按epoch调的有的是按step调的用错了会导致学习率变化不符合预期。PyTorch里要看清scheduler的类型按step调的要在每个batch后调用按epoch调的要在每个epoch后调用。第四个坑是梯度累积时loss没缩放。前面提过累积k步时loss要除以k否则等效学习率被放大了k倍训练会不稳定。6. 从原理到调参我个人的一些体会把反向传播和梯度下降这两块吃透之后我最大的感受是大模型训练里绝大多数“玄学”问题其实都能用这两个机制解释清楚。loss震荡是学习率的问题梯度消失是链式法则连乘的问题训练慢是优化器选择的问题显存不够是反向传播存激活值的问题。当你不再把这些当成黑盒而是能一层层拆开看调参就从“碰运气”变成了“有依据的尝试”。我现在调一个新模型基本会按这个顺序来先确认反向传播能跑通梯度不为nan、不为0再确定学习率的大致范围用范围测试然后选优化器大模型默认AdamW配上预热和余弦衰减加梯度裁剪保底最后根据loss曲线微调。这套流程不一定最优但足够稳能帮我快速排除掉大部分低级错误。还有一个体会是不要迷信默认参数。PyTorch的Adam默认学习率是1e-3这个值对很多大模型来说太大了默认weight decay是0但大模型通常需要一点weight decay来防过拟合。每个超参数背后都有它的适用场景搞清楚原理才知道什么时候该改、往哪个方向改。最后分享一个我常用的调试技巧用一个极小的数据集比如几十条去训练看模型能不能过拟合。如果连几十条数据都拟合不了说明模型结构或者训练流程有问题跟数据量和泛化无关。这个技巧能帮你快速定位是“训不动”还是“训过头”省下大量瞎调参的时间。反向传播和梯度下降的代码路径在这种小规模测试里最容易暴露问题比如梯度没传对、参数没更新、loss算错了一测便知。