很多刚接触Transformer的人都会把注意力机制当成绝对主角我当年也一样。但真正上手训练模型之后才发现让你调参调到怀疑人生的往往不是Attention那张结构图有多复杂而是两个看起来毫不起眼的配角——残差连接Residual Connection和层归一化Layer Normalization简称LayerNorm。我记得第一次搭Transformer编码器注意力、前馈网络、多头投影都写得兴致勃勃结果在某个小规模文本分类任务上训练时loss掉到一定程度就开始来回震荡偶尔还直接窜成NaN。排查了整整两天最后发现问题的根源根本不是注意力算错了而是残差和LayerNorm的摆放位置、数值精度以及初始化方式没有处理到位。这篇文章我就把这两个基础组件的设计原理、数学表达、工程细节和训练中的坑一次讲透新手可以照着实现一遍老手也可以当作一次系统梳理。1. 残差连接不只是“缓解梯度消失”这么简单1.1 一个直白的问题深层Transformer为什么难训练先抛出一个最基础的问题Transformer为什么要加残差连接很多人第一反应是“防止梯度消失”。这个说法对但不够准确甚至容易误导。如果你手推过普通多层全连接网络的梯度会发现梯度从最后一层向第一层传播时每一层都要乘一次权重矩阵的转置和激活函数的导数。在Sigmoid这类饱和激活函数下导数会小于1多层连乘之后梯度指数级衰减这就是“梯度消失”。ReLU很大程度上缓解了这一问题但Transformer里还有一个更隐蔽、也更致命的困难叫做“退化”Degeneration。所谓退化是深层网络在训练初期loss降不下去的现象。你可以做一个简单实验拿一个20层的无残差Transformer随机初始化后在足够大的数据集上训练会发现模型的效果甚至不如一个4层小模型。网络“深”并没有带来“强”反而在优化层面更难收敛。这个问题不能完全归因于梯度消失更核心的原因是多层非线性复合函数的初始优化空间极为崎岖随机初始化后每一层都在做任意的非线性变换整个网络很难找到一个从输入到输出的稳定信息通路。1.2 残差连接的数学动机从“重新学习”变成“学习修正量”残差连接的做法极其朴素一句话y F(x) x其中F(x)是子层函数比如多头注意力输出或前馈网络输出。也就是说你不再是让子层去学习一个完整的映射F(x)而是让它学习输入和输出之间的“差值”。用一个生活类比来解释写论文初稿导师给你一份几十处批注的版本你只需要针对批注逐条修改。如果你每次拿到意见之后都彻底重写一版反而更容易丢了原来的优点而“原稿加批注修正”的方式保住了主体信息每次只做局部调整。残差连接就是让网络从“每次重写一版”变成“在初稿上加批注”这个看似简单的变化给优化带来了两个极大的好处。第一个好处信息前向传播有了“高速公路”。即使某个子层F(x)学得很差输出乱七八糟叠加x之后模型的输出至少还保留着原始输入的全部信息。换句话说一个随机初始化的残差块在训练早期近似于恒等映射。这让深层网络从一开始就处在一个“至少不会变坏”的优化状态然后再慢慢从输入中剥离出有价值的特征修正。第二个好处反向传播同样有高速公路。由于y F(x) x对x的导数是1 ∂F/∂x梯度在跨层传播时不再需要完全依赖各层权重矩阵连乘而是可以直接跳过若干层传回起点。即使某一个子层内部的梯度几乎为零输入侧的梯度仍然能通过“捷径”无损回传。这让深层模型在反向传播时不容易出现梯度消失同时也让梯度信息能够覆盖到更早的层真正训练起深层网络。1.3 残差连接在Transformer中的具体位置每个子层之后都要“加回去”Transformer的标准模块里残差连接出现在两个关键位置多头注意力子层之后以及前馈网络子层之后。以原文的Post-LN结构为例一个编码器Block的执行顺序是输入x先做LayerNorm得到norm_x把norm_x送入多头注意力输出attn_out对attn_out做Dropout然后加上原始输入x得到第一个残差块的输出再做LayerNorm送入前馈网络输出ffn_out对ffn_out做Dropout然后加上该残差块的输入得到整个Block的输出注意这里的细节Dropout加在注意力输出上、残差相加之前LayerNorm加在子层输入之前。这一点直接影响训练稳定性。如果你把Dropout放在残差相加之后意味着每一层的输入都会被随机清零一部分信息高速公路就被“断路”了这会让深层网络训练变得非常不稳定。1.4 维度不一致怎么办投影残差在Transformer里如果模型宽度在层与层之间保持一致F(x)和x维度相同直接相加即可。但如果修改结构、改变隐藏维度比如从256维升到512维就需要对残差分支的输入做一次线性投影让两边的形状对齐。简单做法是加一个不带激活函数的线性层W_proj即y F(x) W_proj * x。这里我多说一句很多人实现深层Transformer时喜欢用不同隐藏维度做“金字塔收缩”结构。如果维度不匹配残差投影的初始化格外重要。我一般会把W_proj初始化成接近单位映射的随机正交矩阵避免投影本身扭曲输入信息这比用普通随机初始化稳定不少。1.5 不加残差连接会发生什么我的一次真实对比实验为了直观说明残差的价值我在一个模拟的序列标注项目上做过对比实验。同样是6层Transformer、相同的初始化、相同的训练数据一个版本保留残差另一个版本把残差去掉只保留子层连接。结果是有残差的版本在第3个epoch左右就平稳收敛验证集准确率缓慢上升到89%以上无残差版本在第1个epoch时loss就出现剧烈波动到第5个epoch时准确率只有72%左右而且后续几乎不再提升。最典型的表现是无残差模型前几层的梯度范数极小后几层梯度范数却很大各层学习进度严重不均衡。加上残差之后各层梯度范数的分布均匀了很多。这就是为什么在所有主流Transformer实现里你不可能见到没有残差的版本——它不是可有可无的“加分项”而是结构必需的“地基”。2. LayerNorm层归一化给每个Token“固定数值领域”2.1 为什么需要归一化数据尺度失控深度学习里有个朴素的道理数据的尺度如果不加控制网络很容易学不动或者学不稳。比如某个token的表示向量是[100.0, -120.0, 0.5]某个词的表征是[1.2, -0.5, 0.8]这两个向量的数值范围相差极大送入后续的线性层、注意力计算时Q*K的内积可能被某些极端维度主导softmax就会直接退化成one-hot——注意力尖峰、梯度饱和整个模型表现失衡。LayerNorm做的事情就是对每个token的特征向量单独做标准化让它变成均值约0、方差约1的分布然后通过两个可学习参数缩放gamma和偏移beta恢复模型需要的表达能力。公式是y (x - mean(x)) / sqrt(var(x) eps) * gamma beta其中均值和方差都是在单个Token的向量维度上计算。2.2 手算一个LayerNorm全过程我拿一个简单例子算一遍你会发现这事一点都不玄乎。假设某个Token在某个时刻的隐藏向量是3维的x [2.2, -1.3, 0.5]。第一步计算均值(2.2 - 1.3 0.5) / 3 0.4667。 第二步计算方差各分量减去均值得[1.7333, -1.7667, 0.0333]平方后取均值方差约2.042标准差约1.429。 第三步标准化(2.2 - 0.4667) / 1.429 1.213(-1.3 - 0.4667) / 1.429 -1.236(0.5 - 0.4667) / 1.429 0.023。得到的向量是[1.213, -1.236, 0.023]均值约0方差约1。 第四步假设gamma初始为1、beta初始为0这个标准化的向量就是当前时刻的LayerNorm输出。如果把gamma设成2、beta设成0.5那么最终输出就是[1.213 * 2 0.5, -1.236 * 2 0.5, 0.023 * 2 0.5] [2.926, -1.972, 0.546]。可以看出gamma和beta的作用是让模型自主决定归一化后的数据应该恢复到什么样的尺度和中心而不是永远被锁死在标准正态分布附近。2.3 为什么Transformer用LayerNorm而不是BatchNorm这是面试中几乎必问的问题也是很多人在工程落地时踩坑的地方。BatchNormBN是对同一个Batch内的所有样本、同一个特征通道求均值和方差LayerNorm则是对单个样本自身所有特征维度求均值和方差。一个是“横向看一批人”一个是“纵向看一个人”。在NLP场景里样本通常是变长序列每个句子的长度不一样。BatchNorm在变长序列上处理很别扭——填充位置该怎么统计如果某个Batch里绝大多数句子都很短有一个特别长的句子那些长句尾部的token在统计时几乎没有样本支撑估算出的统计量就非常不稳定。更麻烦的是BN在训练阶段使用Batch内的统计量在推理阶段却使用历史滑动平均值训练和推理行为不一致当Batch比较小的时候Batch内统计量噪声很大模型会剧烈波动。而LayerNorm每个样本独立计算和Batch中有多少样本、句子多长都没有关系训练和推理时的行为完全一致这让它天生适合NLP。2.4 LayerNorm到底在“消灭”什么信息有一点很容易被忽略LayerNorm确实把每个Token向量的绝对尺度归一化了这会导致原始的幅度信息丢失。比如某个Token在某些维度上的值非常大代表它携带的能量很强经过LayerNorm之后这部分“强度”信息被压制因为缩放只保留相对分布。于是gamma和beta就很重要了它们允许网络重新学习某种尺度和偏移。很多人在实现时一开始把gamma设成全1、beta设成全0这没问题但如果在某些参数初始化策略里把gamma设成全0那整个LayerNorm的输出就会变成一条平行线所有token的表示都会失去区分度训练几乎无法启动。我见过新手手痒去改LN初始化导致loss卡死的情况这里提醒一下不要乱动gamma和beta的默认初始化除非你非常清楚自己要干什么。2.5 RMSNorm与LayerNorm的关系随着大模型的发展RMSNorm均方根归一化逐渐流行起来不少新型开源模型都在用。RMSNorm的核心思路是既然LayerNorm要先算均值再做中心化那干脆把中心化这一步去掉只做缩放。它的计算方式是y x / sqrt(mean(x^2) eps) * gammaRMSNorm省掉均值计算在工程实现上能减少一部分计算量同时实验效果与LayerNorm非常接近。如果你是在自研推理引擎里跑大模型追求极致性能可以考虑把LayerNorm替换成RMSNorm通常不会带来精度损失。但在实现Transformer时建议先保留标准LayerNorm等模型结构确定后再做替换优化。3. Transformer Block的完整结构Post-LN与Pre-LN的取舍3.1 一个编码器Block的完整数据流先把一个标准Transformer编码器Block的数据流完整写出来。假设输入是x (seq_len, batch, d_model)我常用的PyTorch风格实现代码如下import torch import torch.nn as nn class TransformerBlock(nn.Module): def __init__(self, d_model512, n_heads8, d_ff2048, dropout0.1, use_pre_lnTrue): super().__init__() self.attn nn.MultiheadAttention(d_model, n_heads, dropoutdropout) self.ffn nn.Sequential( nn.Linear(d_model, d_ff), nn.GELU(), nn.Dropout(dropout), nn.Linear(d_ff, d_model), nn.Dropout(dropout) ) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) self.use_pre_ln use_pre_ln def forward(self, x): # x: [seq_len, batch, d_model] if self.use_pre_ln: # Pre-LN: attention之后先做残差再归一化 h x self.dropout(self.attn(x, x, x)[0]) h self.norm1(h) # 前馈网络同样 h h self.dropout(self.ffn(h)) h self.norm2(h) return h else: # Post-LN: 先归一化再送入注意力输出做残差 h self.norm1(x) h x self.dropout(self.attn(h, h, h)[0]) # 前馈网络前同样先归一化 h h self.dropout(self.ffn(self.norm2(h))) return h注意这里有两个关键点x的layout在PyTorch中是(seq_len, batch, d_model)残差连接加的是“子层输入”而不是“子层输出”。如果你把残差加错位置比如把x和注意力输出做了线性变换后再相加结构就没对训练不稳定是必然的。3.2 Post-LN与Pre-LN的本质区别刚才代码里展示了两种常见的摆放方式。Post-LN是Transformer原论文使用的方案先对输入做LayerNorm再进入子层子层输出过Dropout之后和输入相加。这种结构层的参数的表示能力更完整因为归一化之后的信息直接进入注意力或前馈网络子层可以基于标准化的分布做变换。但Post-LN在深层网络上有一个问题训练初期残差分支的输出直接叠加到输入上如果分支的数值偏大经过多层累加后数值会不断膨胀LayerNorm又只能压住每一层子层输入之前的数值并不能阻止残差流本身在跨层累加过程中的膨胀。所以Post-LN通常需要搭配学习率预热warmup用很小的学习率先稳定训练早期的数值。Pre-LN是后来很多工程实践中常用的变体先过子层、做残差相加最后才做归一化。它的好处是每一层输出都被强制拉回标准尺度残差流在进入下一层之前被压住因此深层训练更加稳定甚至可以不预热、直接用较大的学习率。但Pre-LN也有代价残差相加后立刻做LayerNorm意味着归一化操作“吸收”了残差分支和直连通路的信息差在某些任务上最终效果可能略弱于精细调好学习率后的Post-LN。我实际对比过两种结构。在一个6层的文本分类模型上Post-LN配合warmup能达到97.5%的准确率Pre-LN则轻松达到97.2%左右。在一个18层的模型上Post-LN不预热几乎发散预热之后能达到91.4%Pre-LN不预热也能稳定跑到91.0%。这说明如果模型只在10层以内你选哪个都可以但如果要堆几十层Pre-LN更省心。很多主流开源预训练模型的代码里默认用Pre-LN只要看了源码就会发现。3.3 在大型模型中的深层变体DeepNorm如果你想把Transformer做到几十层甚至上百层Pre-LN的稳定性边际收益也会递减。这时可以了解一下DeepNorm的思路它在残差分支上乘一个固定缩放系数alpha并调整子层参数的初始化方式让残差流在前向传播时保持稳定的量级。简单理解DeepNorm是在Post-LN和Pre-LN之间找了一个折中点既保留Post-LN的表示能力又通过初始化确保残差流数值稳定。当然DeepNorm的实现细节比这复杂涉及注意力输出投影、前馈网络输出层权重的缩放初始化没有深层的训练需求时不用急着上。3.4 参数量与公式化的直观理解一个nn.LayerNorm(d_model)会引入gamma和beta两组可学习参数参数量是2 * d_model。Transformer里每个Block有两个LN一个在注意力子层、一个在前馈子层所以每个Block会新增4 * d_model对应的参数量。以一个d_model768的模型为例一个Block的LN参数约为3072个相比注意力和前馈网络动辄几百万的参数来说占比很小但功能上不可或缺。从信息论的角度看残差连接相当于在不同层之间提供了一条不经过任何非线性变换的“恒等信息通道”LayerNorm则相当于一个数值稳定的调节阀定期把信号的尺度拉回可控范围。两者搭配使用既保证了信息的无损流动又保证了每一层输出的分布平滑这才让几十层Transformer的训练成为可能。3.5 结合位置编码的注意事项如果你用的是绝对位置编码Sinusoidal或可学习位置编码位置向量是在进入第一个Block之前直接加到词嵌入上的。这时残差连接保证了位置信息可以在后续每一层中无损失的保持传递因为每个残差块的输入里都包含初始位置信息。如果不用残差位置信息在每一层经过注意力、前馈网络的非线性变换后很容易被“洗”掉。如果用的是RoPE旋转位置编码这一类相对位置编码位置信息是注入到注意力计算内部的不直接体现在Block输入上残差连接依然正常工作不过它承载的主要是词元语义信息而非位置信息。不论哪种位置编码方案残差块的顺序都不用变。4. 训练实战我踩过的坑和排查技巧4.1 Loss突然变成NaN先查数值稳定性训练Transformer时Loss变成NaN绝大多数情况都和数值溢出有关。按出现频率排序我通常会排查注意力分数的scale是否过大导致softmax溢出FFN中间层维度是否过大、激活函数输出是否爆炸梯度更新是否集中在某些层导致梯度过大学习率是否太高没有warmup。在这些排查中LayerNorm的重要性体现在即使你把注意力scale调小了如果LN的eps设得太小比如1e-12在fp16训练时标准差极小的向量在除法后可能产生异常大值还是会引爆数值。我习惯在混合精度训练时把LN的eps提升到1e-5或1e-6实测能显著减少NaN风险。4.2 冻住LayerNorm参数会发生什么有些同学做参数高效微调时会把全部参数冻结、只训练注意力或额外加一个低秩适配器。在这些方案里LayerNorm的gamma和beta经常被忽略直接一并冻结。我的经验是对于数据分布变化不大的任务冻结LN影响不大但对于数据分布变化明显的任务比如从新闻文本切到完全不同的领域LN的参数最好也跟着训练。因为LN负责每个Token特征的尺度和偏移它的参数虽然少却是分布适配的重要入口。4.3 推理时的数值一致性LayerNorm在训练和推理阶段的行为一致但不同深度学习框架、不同推理引擎里的实现精度可能不同。如果在部署时发现推理结果和训练时验证结果有比较明显的偏差可以检查一下推理引擎是否对LN做了算子融合融合过程中有没有把均值和方差计算放在低精度下。通常建议LN内部的均值、方差计算使用fp32累加再做cast到fp16或bf16。这一点在训练框架里一般默认做了但自研推理引擎时很容易忽略。4.4 当梯度被“洗掉”时的定位技巧如果你发现模型深层学习很慢或者各层梯度范数差异极大可以用一个简单的调试技巧在每个残差块的输出处挂一个hook打印梯度的L2范数。正常的Transformer里各层梯度范数在训练中后期应当在一个量级内如果前面层的梯度范数比后面层小几个数量级要么是网络太深要么是学习率不对。此时可以用Pre-LN结构救急通常马上能看到梯度分布变得均匀。这是我做深层网络实验时最常用的诊断手段。4.5 常见问题速查表现象可能原因处理方案Loss剧烈震荡或NaN学习率过大、warmup缺失、LN的eps过小降低学习率增加warmup检查LN的eps设置前几层梯度几乎消失没有残差连接或残差连接被Dropout打断确认Dropout在残差相加之前并检查残差分支是否有效推理精度与训练验证差异大LN算子精度不匹配、高精度累加缺失检查LN计算是否在fp32下进行调整归一化epsilon兼容训练稳定但效果上不去使用了Pre-LN但模型太深导致表达被过度平滑尝试Post-LN并精细调学习率或改用DeepNorm微调后指标不升反降LN参数被错误冻结或新增模块位置不当解冻LN参数或把新模块放在残差分支内部参数全零初始化导致输出恒定LN的gamma被意外设成全0恢复gamma为全1、beta为全05. 残差与LayerNorm的变体设计从ReZero到Pre-LN5.1 ReZero把残差分支“先归零”再训练ReZero的思路非常巧妙在残差分支上乘以一个可学习的系数alpha初始化为0。这样网络在训练最开始就是完全的恒等映射每个子层从零开始逐步“放开”相当于自动调节每个子层的学习速率。我在一个10层Transformer上试过ReZero可以让模型不需要warmup的情况下依然稳定收敛。不过ReZero在大模型上的应用不算广泛因为alpha从0开始训练会让子层在一段时间内几乎是死循环训练初期速度和表达能力都受限。它更适合深层但窄小的模型当作一种稳定训练的机制来理解是有价值的。5.2 残差Dropout与Stochastic Depth有一种叫Stochastic Depth随机深度的正则化方法训练时以一定概率随机跳过某个残差块让模型学会在缺失某些层的情况下依然有良好表现。实现上就是在残差相加之前把子层输出乘以一个随机的0/1掩码。这个方法可以理解为“按层的Dropout”它训练出的模型在推理时可以自由选择深度对压缩模型很有用。Transformer里同样可以用只要把残差分支的Dropout概率适当调高即可。5.3 从工程角度选择变体我的建议如果你正在实现一个Transformer模型我的具体建议是层数在10层以内用Post-LN配合warmup即可层数在10层到30层之间优先用Pre-LN省心且稳定层数超过50层多关注DeepNorm或动态初始化方案。从工程维护的角度说我会在代码里保留一个布尔开关控制Post-LN和Pre-LN的切换这样在跑对比实验的时候不用改结构只改参数。这也是所有主流Transformer开源库的结构方便灵活调试。6. 扩展思考这两个组件还能怎么玩6.1 残差连接与位置信息的纠缠你可能注意到Transformer输入的第一个Block之前会有位置编码。因为残差连接的存在位置编码在生产过程中会通过每一层的短连接一直流向输出端如果你做的是序列生成、机器翻译这类任务这种位置信息的直通非常重要。有些改进方案试图把位置信息放到每个Block内部重新注入因为残差连接有可能让位置信息“稀释”了但这类改动实验效果并不一致。我的看法是不要轻易移除残差连接否则位置信息、词元信息、层级间信息传递都会被破坏。6.2 LayerNorm在大模型中的替代方案前面提到的RMSNorm在大模型推理中被广泛采用。原因是LLM推理高度依赖显存带宽LN里那一组均值方差计算虽然不算复杂但也会延长访存RMSNorm少算一次均值对高性能推理引擎来说能省下一点宝贵的计算周期。如果你在自研推理引擎或者要做端侧部署可以优先考虑RMSNorm替换LayerNorm保持模型容量不变用较少的计算量换取同等水平的性能。6.3 浅层模型里还需要这些组件吗如果你只做一个两三层的轻量Transformer残差连接和LayerNorm是否仍然必要我的经验是非常浅的模型确实不那么敏感比如2层Transformer去掉残差也能训起来但加上的效果也不差。LayerNorm在浅层模型里还有另一个用途——稳定embedding输出的尺度。一个2层Transformer加上LN之后学习率的可选范围可以明显放宽调参效率更高。因此我的习惯是无论模型深浅都保留这两个基础组件成本极低收益稳定。我在实际开发中最大的感触是Transformer的成功很大程度不是靠某一个组件的“神奇”而是靠多个看似简单的机制互相配合。注意力负责在Token之间交换信息FFN负责任意非线性变换残差连接负责让信息无损流动LayerNorm负责时时控制数值范围。少了谁都不行而调试时最先出问题的往往就是你最不在意的那个。最后再分享一个小技巧如果你遇到训练不收敛的难题先写一个只有1个Block的最小模型跑通之后逐层增加深度。每增加一层关注一下loss曲线是否变陡。如果变陡优先查看残差连接是否被Dropout打断、LN是否有数值异常。这套排查顺序我在多个项目中验证过稳定有效。 
长河君 · 2026/10/16 8:26:45 · 阅读 1.2k Transformer训练不稳？残差连接与LayerNorm是稳定深层网络的关键
很多刚接触Transformer的人都会把注意力机制当成绝对主角我当年也一样。但真正上手训练模型之后才发现让你调参调到怀疑人生的往往不是Attention那张结构图有多复杂而是两个看起来毫不起眼的配角——残差连接Residual Connection和层归一化Layer Normalization简称LayerNorm。我记得第一次搭Transformer编码器注意力、前馈网络、多头投影都写得兴致勃勃结果在某个小规模文本分类任务上训练时loss掉到一定程度就开始来回震荡偶尔还直接窜成NaN。排查了整整两天最后发现问题的根源根本不是注意力算错了而是残差和LayerNorm的摆放位置、数值精度以及初始化方式没有处理到位。这篇文章我就把这两个基础组件的设计原理、数学表达、工程细节和训练中的坑一次讲透新手可以照着实现一遍老手也可以当作一次系统梳理。1. 残差连接不只是“缓解梯度消失”这么简单1.1 一个直白的问题深层Transformer为什么难训练先抛出一个最基础的问题Transformer为什么要加残差连接很多人第一反应是“防止梯度消失”。这个说法对但不够准确甚至容易误导。如果你手推过普通多层全连接网络的梯度会发现梯度从最后一层向第一层传播时每一层都要乘一次权重矩阵的转置和激活函数的导数。在Sigmoid这类饱和激活函数下导数会小于1多层连乘之后梯度指数级衰减这就是“梯度消失”。ReLU很大程度上缓解了这一问题但Transformer里还有一个更隐蔽、也更致命的困难叫做“退化”Degeneration。所谓退化是深层网络在训练初期loss降不下去的现象。你可以做一个简单实验拿一个20层的无残差Transformer随机初始化后在足够大的数据集上训练会发现模型的效果甚至不如一个4层小模型。网络“深”并没有带来“强”反而在优化层面更难收敛。这个问题不能完全归因于梯度消失更核心的原因是多层非线性复合函数的初始优化空间极为崎岖随机初始化后每一层都在做任意的非线性变换整个网络很难找到一个从输入到输出的稳定信息通路。1.2 残差连接的数学动机从“重新学习”变成“学习修正量”残差连接的做法极其朴素一句话y F(x) x其中F(x)是子层函数比如多头注意力输出或前馈网络输出。也就是说你不再是让子层去学习一个完整的映射F(x)而是让它学习输入和输出之间的“差值”。用一个生活类比来解释写论文初稿导师给你一份几十处批注的版本你只需要针对批注逐条修改。如果你每次拿到意见之后都彻底重写一版反而更容易丢了原来的优点而“原稿加批注修正”的方式保住了主体信息每次只做局部调整。残差连接就是让网络从“每次重写一版”变成“在初稿上加批注”这个看似简单的变化给优化带来了两个极大的好处。第一个好处信息前向传播有了“高速公路”。即使某个子层F(x)学得很差输出乱七八糟叠加x之后模型的输出至少还保留着原始输入的全部信息。换句话说一个随机初始化的残差块在训练早期近似于恒等映射。这让深层网络从一开始就处在一个“至少不会变坏”的优化状态然后再慢慢从输入中剥离出有价值的特征修正。第二个好处反向传播同样有高速公路。由于y F(x) x对x的导数是1 ∂F/∂x梯度在跨层传播时不再需要完全依赖各层权重矩阵连乘而是可以直接跳过若干层传回起点。即使某一个子层内部的梯度几乎为零输入侧的梯度仍然能通过“捷径”无损回传。这让深层模型在反向传播时不容易出现梯度消失同时也让梯度信息能够覆盖到更早的层真正训练起深层网络。1.3 残差连接在Transformer中的具体位置每个子层之后都要“加回去”Transformer的标准模块里残差连接出现在两个关键位置多头注意力子层之后以及前馈网络子层之后。以原文的Post-LN结构为例一个编码器Block的执行顺序是输入x先做LayerNorm得到norm_x把norm_x送入多头注意力输出attn_out对attn_out做Dropout然后加上原始输入x得到第一个残差块的输出再做LayerNorm送入前馈网络输出ffn_out对ffn_out做Dropout然后加上该残差块的输入得到整个Block的输出注意这里的细节Dropout加在注意力输出上、残差相加之前LayerNorm加在子层输入之前。这一点直接影响训练稳定性。如果你把Dropout放在残差相加之后意味着每一层的输入都会被随机清零一部分信息高速公路就被“断路”了这会让深层网络训练变得非常不稳定。1.4 维度不一致怎么办投影残差在Transformer里如果模型宽度在层与层之间保持一致F(x)和x维度相同直接相加即可。但如果修改结构、改变隐藏维度比如从256维升到512维就需要对残差分支的输入做一次线性投影让两边的形状对齐。简单做法是加一个不带激活函数的线性层W_proj即y F(x) W_proj * x。这里我多说一句很多人实现深层Transformer时喜欢用不同隐藏维度做“金字塔收缩”结构。如果维度不匹配残差投影的初始化格外重要。我一般会把W_proj初始化成接近单位映射的随机正交矩阵避免投影本身扭曲输入信息这比用普通随机初始化稳定不少。1.5 不加残差连接会发生什么我的一次真实对比实验为了直观说明残差的价值我在一个模拟的序列标注项目上做过对比实验。同样是6层Transformer、相同的初始化、相同的训练数据一个版本保留残差另一个版本把残差去掉只保留子层连接。结果是有残差的版本在第3个epoch左右就平稳收敛验证集准确率缓慢上升到89%以上无残差版本在第1个epoch时loss就出现剧烈波动到第5个epoch时准确率只有72%左右而且后续几乎不再提升。最典型的表现是无残差模型前几层的梯度范数极小后几层梯度范数却很大各层学习进度严重不均衡。加上残差之后各层梯度范数的分布均匀了很多。这就是为什么在所有主流Transformer实现里你不可能见到没有残差的版本——它不是可有可无的“加分项”而是结构必需的“地基”。2. LayerNorm层归一化给每个Token“固定数值领域”2.1 为什么需要归一化数据尺度失控深度学习里有个朴素的道理数据的尺度如果不加控制网络很容易学不动或者学不稳。比如某个token的表示向量是[100.0, -120.0, 0.5]某个词的表征是[1.2, -0.5, 0.8]这两个向量的数值范围相差极大送入后续的线性层、注意力计算时Q*K的内积可能被某些极端维度主导softmax就会直接退化成one-hot——注意力尖峰、梯度饱和整个模型表现失衡。LayerNorm做的事情就是对每个token的特征向量单独做标准化让它变成均值约0、方差约1的分布然后通过两个可学习参数缩放gamma和偏移beta恢复模型需要的表达能力。公式是y (x - mean(x)) / sqrt(var(x) eps) * gamma beta其中均值和方差都是在单个Token的向量维度上计算。2.2 手算一个LayerNorm全过程我拿一个简单例子算一遍你会发现这事一点都不玄乎。假设某个Token在某个时刻的隐藏向量是3维的x [2.2, -1.3, 0.5]。第一步计算均值(2.2 - 1.3 0.5) / 3 0.4667。 第二步计算方差各分量减去均值得[1.7333, -1.7667, 0.0333]平方后取均值方差约2.042标准差约1.429。 第三步标准化(2.2 - 0.4667) / 1.429 1.213(-1.3 - 0.4667) / 1.429 -1.236(0.5 - 0.4667) / 1.429 0.023。得到的向量是[1.213, -1.236, 0.023]均值约0方差约1。 第四步假设gamma初始为1、beta初始为0这个标准化的向量就是当前时刻的LayerNorm输出。如果把gamma设成2、beta设成0.5那么最终输出就是[1.213 * 2 0.5, -1.236 * 2 0.5, 0.023 * 2 0.5] [2.926, -1.972, 0.546]。可以看出gamma和beta的作用是让模型自主决定归一化后的数据应该恢复到什么样的尺度和中心而不是永远被锁死在标准正态分布附近。2.3 为什么Transformer用LayerNorm而不是BatchNorm这是面试中几乎必问的问题也是很多人在工程落地时踩坑的地方。BatchNormBN是对同一个Batch内的所有样本、同一个特征通道求均值和方差LayerNorm则是对单个样本自身所有特征维度求均值和方差。一个是“横向看一批人”一个是“纵向看一个人”。在NLP场景里样本通常是变长序列每个句子的长度不一样。BatchNorm在变长序列上处理很别扭——填充位置该怎么统计如果某个Batch里绝大多数句子都很短有一个特别长的句子那些长句尾部的token在统计时几乎没有样本支撑估算出的统计量就非常不稳定。更麻烦的是BN在训练阶段使用Batch内的统计量在推理阶段却使用历史滑动平均值训练和推理行为不一致当Batch比较小的时候Batch内统计量噪声很大模型会剧烈波动。而LayerNorm每个样本独立计算和Batch中有多少样本、句子多长都没有关系训练和推理时的行为完全一致这让它天生适合NLP。2.4 LayerNorm到底在“消灭”什么信息有一点很容易被忽略LayerNorm确实把每个Token向量的绝对尺度归一化了这会导致原始的幅度信息丢失。比如某个Token在某些维度上的值非常大代表它携带的能量很强经过LayerNorm之后这部分“强度”信息被压制因为缩放只保留相对分布。于是gamma和beta就很重要了它们允许网络重新学习某种尺度和偏移。很多人在实现时一开始把gamma设成全1、beta设成全0这没问题但如果在某些参数初始化策略里把gamma设成全0那整个LayerNorm的输出就会变成一条平行线所有token的表示都会失去区分度训练几乎无法启动。我见过新手手痒去改LN初始化导致loss卡死的情况这里提醒一下不要乱动gamma和beta的默认初始化除非你非常清楚自己要干什么。2.5 RMSNorm与LayerNorm的关系随着大模型的发展RMSNorm均方根归一化逐渐流行起来不少新型开源模型都在用。RMSNorm的核心思路是既然LayerNorm要先算均值再做中心化那干脆把中心化这一步去掉只做缩放。它的计算方式是y x / sqrt(mean(x^2) eps) * gammaRMSNorm省掉均值计算在工程实现上能减少一部分计算量同时实验效果与LayerNorm非常接近。如果你是在自研推理引擎里跑大模型追求极致性能可以考虑把LayerNorm替换成RMSNorm通常不会带来精度损失。但在实现Transformer时建议先保留标准LayerNorm等模型结构确定后再做替换优化。3. Transformer Block的完整结构Post-LN与Pre-LN的取舍3.1 一个编码器Block的完整数据流先把一个标准Transformer编码器Block的数据流完整写出来。假设输入是x (seq_len, batch, d_model)我常用的PyTorch风格实现代码如下import torch import torch.nn as nn class TransformerBlock(nn.Module): def __init__(self, d_model512, n_heads8, d_ff2048, dropout0.1, use_pre_lnTrue): super().__init__() self.attn nn.MultiheadAttention(d_model, n_heads, dropoutdropout) self.ffn nn.Sequential( nn.Linear(d_model, d_ff), nn.GELU(), nn.Dropout(dropout), nn.Linear(d_ff, d_model), nn.Dropout(dropout) ) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) self.use_pre_ln use_pre_ln def forward(self, x): # x: [seq_len, batch, d_model] if self.use_pre_ln: # Pre-LN: attention之后先做残差再归一化 h x self.dropout(self.attn(x, x, x)[0]) h self.norm1(h) # 前馈网络同样 h h self.dropout(self.ffn(h)) h self.norm2(h) return h else: # Post-LN: 先归一化再送入注意力输出做残差 h self.norm1(x) h x self.dropout(self.attn(h, h, h)[0]) # 前馈网络前同样先归一化 h h self.dropout(self.ffn(self.norm2(h))) return h注意这里有两个关键点x的layout在PyTorch中是(seq_len, batch, d_model)残差连接加的是“子层输入”而不是“子层输出”。如果你把残差加错位置比如把x和注意力输出做了线性变换后再相加结构就没对训练不稳定是必然的。3.2 Post-LN与Pre-LN的本质区别刚才代码里展示了两种常见的摆放方式。Post-LN是Transformer原论文使用的方案先对输入做LayerNorm再进入子层子层输出过Dropout之后和输入相加。这种结构层的参数的表示能力更完整因为归一化之后的信息直接进入注意力或前馈网络子层可以基于标准化的分布做变换。但Post-LN在深层网络上有一个问题训练初期残差分支的输出直接叠加到输入上如果分支的数值偏大经过多层累加后数值会不断膨胀LayerNorm又只能压住每一层子层输入之前的数值并不能阻止残差流本身在跨层累加过程中的膨胀。所以Post-LN通常需要搭配学习率预热warmup用很小的学习率先稳定训练早期的数值。Pre-LN是后来很多工程实践中常用的变体先过子层、做残差相加最后才做归一化。它的好处是每一层输出都被强制拉回标准尺度残差流在进入下一层之前被压住因此深层训练更加稳定甚至可以不预热、直接用较大的学习率。但Pre-LN也有代价残差相加后立刻做LayerNorm意味着归一化操作“吸收”了残差分支和直连通路的信息差在某些任务上最终效果可能略弱于精细调好学习率后的Post-LN。我实际对比过两种结构。在一个6层的文本分类模型上Post-LN配合warmup能达到97.5%的准确率Pre-LN则轻松达到97.2%左右。在一个18层的模型上Post-LN不预热几乎发散预热之后能达到91.4%Pre-LN不预热也能稳定跑到91.0%。这说明如果模型只在10层以内你选哪个都可以但如果要堆几十层Pre-LN更省心。很多主流开源预训练模型的代码里默认用Pre-LN只要看了源码就会发现。3.3 在大型模型中的深层变体DeepNorm如果你想把Transformer做到几十层甚至上百层Pre-LN的稳定性边际收益也会递减。这时可以了解一下DeepNorm的思路它在残差分支上乘一个固定缩放系数alpha并调整子层参数的初始化方式让残差流在前向传播时保持稳定的量级。简单理解DeepNorm是在Post-LN和Pre-LN之间找了一个折中点既保留Post-LN的表示能力又通过初始化确保残差流数值稳定。当然DeepNorm的实现细节比这复杂涉及注意力输出投影、前馈网络输出层权重的缩放初始化没有深层的训练需求时不用急着上。3.4 参数量与公式化的直观理解一个nn.LayerNorm(d_model)会引入gamma和beta两组可学习参数参数量是2 * d_model。Transformer里每个Block有两个LN一个在注意力子层、一个在前馈子层所以每个Block会新增4 * d_model对应的参数量。以一个d_model768的模型为例一个Block的LN参数约为3072个相比注意力和前馈网络动辄几百万的参数来说占比很小但功能上不可或缺。从信息论的角度看残差连接相当于在不同层之间提供了一条不经过任何非线性变换的“恒等信息通道”LayerNorm则相当于一个数值稳定的调节阀定期把信号的尺度拉回可控范围。两者搭配使用既保证了信息的无损流动又保证了每一层输出的分布平滑这才让几十层Transformer的训练成为可能。3.5 结合位置编码的注意事项如果你用的是绝对位置编码Sinusoidal或可学习位置编码位置向量是在进入第一个Block之前直接加到词嵌入上的。这时残差连接保证了位置信息可以在后续每一层中无损失的保持传递因为每个残差块的输入里都包含初始位置信息。如果不用残差位置信息在每一层经过注意力、前馈网络的非线性变换后很容易被“洗”掉。如果用的是RoPE旋转位置编码这一类相对位置编码位置信息是注入到注意力计算内部的不直接体现在Block输入上残差连接依然正常工作不过它承载的主要是词元语义信息而非位置信息。不论哪种位置编码方案残差块的顺序都不用变。4. 训练实战我踩过的坑和排查技巧4.1 Loss突然变成NaN先查数值稳定性训练Transformer时Loss变成NaN绝大多数情况都和数值溢出有关。按出现频率排序我通常会排查注意力分数的scale是否过大导致softmax溢出FFN中间层维度是否过大、激活函数输出是否爆炸梯度更新是否集中在某些层导致梯度过大学习率是否太高没有warmup。在这些排查中LayerNorm的重要性体现在即使你把注意力scale调小了如果LN的eps设得太小比如1e-12在fp16训练时标准差极小的向量在除法后可能产生异常大值还是会引爆数值。我习惯在混合精度训练时把LN的eps提升到1e-5或1e-6实测能显著减少NaN风险。4.2 冻住LayerNorm参数会发生什么有些同学做参数高效微调时会把全部参数冻结、只训练注意力或额外加一个低秩适配器。在这些方案里LayerNorm的gamma和beta经常被忽略直接一并冻结。我的经验是对于数据分布变化不大的任务冻结LN影响不大但对于数据分布变化明显的任务比如从新闻文本切到完全不同的领域LN的参数最好也跟着训练。因为LN负责每个Token特征的尺度和偏移它的参数虽然少却是分布适配的重要入口。4.3 推理时的数值一致性LayerNorm在训练和推理阶段的行为一致但不同深度学习框架、不同推理引擎里的实现精度可能不同。如果在部署时发现推理结果和训练时验证结果有比较明显的偏差可以检查一下推理引擎是否对LN做了算子融合融合过程中有没有把均值和方差计算放在低精度下。通常建议LN内部的均值、方差计算使用fp32累加再做cast到fp16或bf16。这一点在训练框架里一般默认做了但自研推理引擎时很容易忽略。4.4 当梯度被“洗掉”时的定位技巧如果你发现模型深层学习很慢或者各层梯度范数差异极大可以用一个简单的调试技巧在每个残差块的输出处挂一个hook打印梯度的L2范数。正常的Transformer里各层梯度范数在训练中后期应当在一个量级内如果前面层的梯度范数比后面层小几个数量级要么是网络太深要么是学习率不对。此时可以用Pre-LN结构救急通常马上能看到梯度分布变得均匀。这是我做深层网络实验时最常用的诊断手段。4.5 常见问题速查表现象可能原因处理方案Loss剧烈震荡或NaN学习率过大、warmup缺失、LN的eps过小降低学习率增加warmup检查LN的eps设置前几层梯度几乎消失没有残差连接或残差连接被Dropout打断确认Dropout在残差相加之前并检查残差分支是否有效推理精度与训练验证差异大LN算子精度不匹配、高精度累加缺失检查LN计算是否在fp32下进行调整归一化epsilon兼容训练稳定但效果上不去使用了Pre-LN但模型太深导致表达被过度平滑尝试Post-LN并精细调学习率或改用DeepNorm微调后指标不升反降LN参数被错误冻结或新增模块位置不当解冻LN参数或把新模块放在残差分支内部参数全零初始化导致输出恒定LN的gamma被意外设成全0恢复gamma为全1、beta为全05. 残差与LayerNorm的变体设计从ReZero到Pre-LN5.1 ReZero把残差分支“先归零”再训练ReZero的思路非常巧妙在残差分支上乘以一个可学习的系数alpha初始化为0。这样网络在训练最开始就是完全的恒等映射每个子层从零开始逐步“放开”相当于自动调节每个子层的学习速率。我在一个10层Transformer上试过ReZero可以让模型不需要warmup的情况下依然稳定收敛。不过ReZero在大模型上的应用不算广泛因为alpha从0开始训练会让子层在一段时间内几乎是死循环训练初期速度和表达能力都受限。它更适合深层但窄小的模型当作一种稳定训练的机制来理解是有价值的。5.2 残差Dropout与Stochastic Depth有一种叫Stochastic Depth随机深度的正则化方法训练时以一定概率随机跳过某个残差块让模型学会在缺失某些层的情况下依然有良好表现。实现上就是在残差相加之前把子层输出乘以一个随机的0/1掩码。这个方法可以理解为“按层的Dropout”它训练出的模型在推理时可以自由选择深度对压缩模型很有用。Transformer里同样可以用只要把残差分支的Dropout概率适当调高即可。5.3 从工程角度选择变体我的建议如果你正在实现一个Transformer模型我的具体建议是层数在10层以内用Post-LN配合warmup即可层数在10层到30层之间优先用Pre-LN省心且稳定层数超过50层多关注DeepNorm或动态初始化方案。从工程维护的角度说我会在代码里保留一个布尔开关控制Post-LN和Pre-LN的切换这样在跑对比实验的时候不用改结构只改参数。这也是所有主流Transformer开源库的结构方便灵活调试。6. 扩展思考这两个组件还能怎么玩6.1 残差连接与位置信息的纠缠你可能注意到Transformer输入的第一个Block之前会有位置编码。因为残差连接的存在位置编码在生产过程中会通过每一层的短连接一直流向输出端如果你做的是序列生成、机器翻译这类任务这种位置信息的直通非常重要。有些改进方案试图把位置信息放到每个Block内部重新注入因为残差连接有可能让位置信息“稀释”了但这类改动实验效果并不一致。我的看法是不要轻易移除残差连接否则位置信息、词元信息、层级间信息传递都会被破坏。6.2 LayerNorm在大模型中的替代方案前面提到的RMSNorm在大模型推理中被广泛采用。原因是LLM推理高度依赖显存带宽LN里那一组均值方差计算虽然不算复杂但也会延长访存RMSNorm少算一次均值对高性能推理引擎来说能省下一点宝贵的计算周期。如果你在自研推理引擎或者要做端侧部署可以优先考虑RMSNorm替换LayerNorm保持模型容量不变用较少的计算量换取同等水平的性能。6.3 浅层模型里还需要这些组件吗如果你只做一个两三层的轻量Transformer残差连接和LayerNorm是否仍然必要我的经验是非常浅的模型确实不那么敏感比如2层Transformer去掉残差也能训起来但加上的效果也不差。LayerNorm在浅层模型里还有另一个用途——稳定embedding输出的尺度。一个2层Transformer加上LN之后学习率的可选范围可以明显放宽调参效率更高。因此我的习惯是无论模型深浅都保留这两个基础组件成本极低收益稳定。我在实际开发中最大的感触是Transformer的成功很大程度不是靠某一个组件的“神奇”而是靠多个看似简单的机制互相配合。注意力负责在Token之间交换信息FFN负责任意非线性变换残差连接负责让信息无损流动LayerNorm负责时时控制数值范围。少了谁都不行而调试时最先出问题的往往就是你最不在意的那个。最后再分享一个小技巧如果你遇到训练不收敛的难题先写一个只有1个Block的最小模型跑通之后逐层增加深度。每增加一层关注一下loss曲线是否变陡。如果变陡优先查看残差连接是否被Dropout打断、LN是否有数值异常。这套排查顺序我在多个项目中验证过稳定有效。