1. Model-Optimizer到底在优化什么先聊聊背景和真实痛点做深度学习训练的人应该都有过这种体验模型结构照搬经典论文、数据也都干净结果一跑起来loss死活不降或者降一半突然NaN再或者训练集都能满分、验证集却一路飘高。多数人第一反应是调学习率、换网络结构但调来调去问题依旧。我最早遇到这类情况时也走了不少弯路后来才慢慢理解有时候问题压根不在网络而在优化器——它就像车的方向盘和油门动力总成再猛转向手感不对车照样开不稳。这也是我整理Model-Optimizer这个项目的初衷。它不是某个公司的新框架也不是什么论文里的新算法而是一套我自己长期打磨、沉淀下来的优化器选型与调参方案集合。简单说它回答三个问题这个任务该用SGD还是Adam学习率调度器该怎么配训练不稳定时到底是该裁剪梯度、换优化器还是动损失函数目前这套方案统一封装了SGD、Momentum SGD、Adam、AdamW、RMSprop、Adagrad、Nadam以及Lion等常见优化器同时支持warmup、cosine退火、step decay、OneCycle等调度策略还内置了梯度裁剪、EMA、混合精度等配套模块。适合的人群也很明确会跑模型但不想把时间耗在反复试不同学习率上的炼丹工程师、做毕设或科研复现的研究生、以及准备把模型训练流程规范化的算法团队。你要是已经踩过几次loss不收敛的坑这篇内容能帮你省掉不少试错时间。我把项目里的核心思考、配置细节、踩坑记录都整理在下面尽量讲清楚每一步为什么这么做而不是给一张配置表让读者拿去瞎抄。2. 核心设计思路为什么优化器值得单独封装2.1 优化器不是换个算法那么简单很多人把优化器理解成一行代码的事torch.optim.Adam(model.parameters(), lr1e-3)。但实际工程里优化器牵扯的东西非常多。同一个Adamweight_decay放哪个位置、eps设多大、betas用默认值还是调整过、要不要做梯度裁剪、学习率调度器怎么衔接这些细节组合起来的最终效果可能差好几个点。举个例子PyTorch早期版本的Adam里weight_decay是直接加在梯度上的也就是L2正则化而AdamW把weight_decay从梯度里拆出来在参数更新时单独衰减。这两种方式在数学上不等价尤其在Transformer或大batch训练里AdamW的泛化能力通常明显更好。这就是为什么HuggingFace的transformers库默认只用AdamW而不是普通Adam。所以封装优化器的第一个目的是把这些看似细节、实则致命的差异固化成一套默认配置避免每个新项目都从零踩一遍雷。Model-Optimizer里为每种优化器都配了合理的默认参数同时保留显式覆盖的入口而不是黑箱。2.2 统一接口带来的可复现性红利另一个让我坚持封装的原因是可复现性。训练深度学习模型光记录一个优化器名字是不够的betas、eps、weight_decay、是否AMSGrad、调度器名称和热启动步数任何一项变了结果都可能不一样。用统一配置结构管理这些参数后实验记录里只需要存一份配置文件就能完整还原当时的优化器状态。这个项目里每个实验的配置是一个YAML块里面写清楚optimizer、scheduler、clip、ema等所有设置。训练脚本启动时读取配置生成对应的优化器实例和调度器并将完整配置一并写入日志。这个习惯陪我完成了上百组对比实验回头复盘时再也不会出现这组结果用的是哪个优化器的混乱。2.3 模块划分不只是优化器而是完整的训练动力学方案真正开始整理后我发现单独优化优化器远远不够。模型能不能稳定收敛是优化器、学习率调度、梯度裁剪、梯度累积甚至混合精度一起作用的结果。比如你用Adam但没做warmup前几个step的梯度方差很大很容易把模型推到坏区域再比如混合精度训练下如果没有对梯度做裁剪fp16的梯度溢出会直接导致loss变NaN。所以Model-Optimizer被我拆成了五个模块optimizer基础优化器、scheduler调度器、clip梯度裁剪策略、ema指数滑动平均、precision混合精度与优化器状态优化。每个模块都是可插拔的用默认配置就能跑通全流程。这套设计的核心逻辑是把训练稳定性当作一个系统工程来管理而不是孤立地调某一个参数。下面从优化器的底层原理开始逐个展开。3. 主流优化器逐个拆解原理、差异、实际效果3.1 SGD与Momentum扎实的老派选手SGD、Momentum SGD是优化器里的老前辈。现在很多新手一上来就用Adam反而没接触过SGD。其实SGD的更新规则极其简单参数减去学习率乘以梯度。它的问题是收敛速度相对慢并且容易在病态曲面上震荡。Momentum就是针对这个问题加了惯性把历史梯度的指数加权平均当作更新方向公式上可以理解成velocity momentum * velocity gradient参数更新时减去learning_rate * velocity。启动Model-Optimizer里的SGD时我习惯用momentum0.9nesterov视情况开启。Nesterov是在Momentum的基础上往前多看一步计算梯度时用了momentum展开后的位置理论上更稳实际在部分CV任务里确实有微弱提升但不是所有任务都适合。目前SGD在哪些场景还能打我实际用下来的经验图像分类大模型从头训练、风格迁移、超分辨率这类像素级回归任务以及部分强化学习策略网络训练SGD系列的表现依然不差甚至比Adam更稳。原因也好理解——SGD的梯度是unbiased的最终收敛点往往在更平坦的极小值区域泛化更好Adam的自适应步长在靠近最优解时容易被二阶动量拽住不动了。不过SGD最怕的就是参数尺度差异大、损失面特别陡峭的任务。这种场景下不调学习率调度几乎收不敛。所以如果你选SGD调度器一定不能省。3.2 Adam与AdamW自适应学习率的标杆但坑也最多Adam是目前使用率最高的优化器它的核心思想是为每个参数独立维护一阶动量梯度均值和二阶动量梯度平方的均值因此天然适应稀疏特征、非平稳目标对学习率的敏感程度也比SGD低很多。PyTorch里一句Adam(model.parameters(), lr)就能跑太省心了反而让人忽略了细节。关键的坑就在weight_decay。PyTorch的torch.optim.Adam里weight_decay是L2正则化的实现相当于往梯度里加了一项权重本身而AdamW的decoupled weight decay则是直接让权重乘以一个衰减系数。对于大模型预训练和微调后者要稳定得多。我见过不止一个项目用普通Adam加weight_decay去微调BERT训练曲线看着不错但下游指标始终上不去换成AdamW之后一切正常。在Model-Optimizer的配置里默认选择就是AdamW除非你在做的任务有特别理由才切换。betas我一般保持(0.9, 0.999)eps设为1e-8weight_decay根据任务设1e-2到5e-2之间。一个容易忽略的参数是eps混合精度训练时eps过小可能导致二阶动量更新时出现除零误差进而让梯度变成Inf或NaN。我习惯在fp16环境下把eps调到1e-6甚至1e-4牺牲少量精度换取稳定。Adam的另一个问题是显存占用。因为它要保存两个动量变量模型参数越大显存开销越夸张。一个7B参数的模型光优化器状态就能吃14B参数量的浮点内存。大模型时代这点尤其致命后面会专门讲怎么压缩。3.3 其他成员RMSprop、Adagrad、Nadam、Lion除了SGD和Adam两大阵营还有一些优化器在特定场景很有价值。RMSprop在RNN和部分NLP任务里很常见因为它对梯度的二阶动量做RMS归一化能有效处理梯度尺度变化剧烈的情况Adagrad适合特征极度稀疏的任务比如广告点击率预估这种场景每个参数独立学习率缺点是学习率会随着训练单调递减后期基本学不动Nadam则是把Nesterov的思想套进Adam里收敛速度有一定优势。Lion是2023年谷歌提出来的优化器思路非常另类它用符号函数取代了一二阶动量更新时只看梯度的正负方向。我实测在一些计算机视觉任务上Lion收敛速度确实比AdamW快泛化也不错但训练初期仍然需要小学习率和warmup否则会非常不稳。现在大模型训练偶尔能看到它的身影但总体应用还不算普及。把这些优化器放进同一个配置中心的好处是切换成本极低。我之前做过一组对比实验同样一个语义分割模型SGD要练到120个epoch才能收敛AdamW大概80个epoch就能到同等精度而Lion只用了约60个epoch但验证集上的最终精度略低于AdamW。没有统一封装之前光是切换优化器就得改一堆训练代码现在改配置就行。3.4 选型地图到底该用哪个优化器很多读者问有没有一张表可以直接告诉我什么任务该选什么。我根据自己的实验和参考经验大致列了一张判断表但它只能是起点不代表绝对真理。使用场景 | 推荐优化器 | 理由 图像分类从头训练 | SGD(Momentum) | 收敛稳定、泛化好配合cosine退火效果佳 目标检测/语义分割 | SGD或AdamW | SGD更稳但需细调调度器AdamW上手快精度差距可接受 NLP模型微调 | AdamW | 默认配置对Transformer架构稳定配合线性warmup 大规模预训练 | AdamW/LAMB | AdamW稳定LAMB适合超大batch收敛快 GAN训练 | Adam | 生成器与判别器都常用betas建议(0.5, 0.999) 强化学习策略梯度 | Adam | 自适应利于非平稳回报分布学习率不宜太大 稀疏特征任务 | Adagrad/Adam | 特征维度高且稀疏时效果好这张表帮我解决过大量模型起步跑不起来的问题。比如GAN训练如果把betas按默认(0.9, 0.999)来生成器很容易模式崩塌换成(0.5, 0.999)通常更稳定。这类经验在文档里是查不到的只有自己复现对比才能体会到差距。4. 完整实操Model-Optimizer的配置、训练与调度策略4.1 配置示例一个可复现的优化器配置模块下面给出一份Model-Optimizer的典型配置对应一个图像分类任务的训练流程。它不是一个玩具示例而是我实际从多个项目中抽取出的通用模板。optimizer: name: AdamW lr: 0.001 betas: [0.9, 0.999] eps: 1.0e-8 weight_decay: 0.02 scheduler: name: cosine_with_warmup warmup_steps: 500 total_steps: 10000 min_lr_ratio: 0.01 clip: max_norm: 1.0 clip_type: norm ema: enabled: true decay: 0.999这份配置的含义是用AdamW优化模型参数初始学习率0.001权重衰减0.02学习率在前500步线性warmup再按cosine退火降到初始学习率的1%同时对梯度做全局范数裁剪阈值为1.0另外维护一份EMA参数副本用于最终推理。配置中最容易被低估的是cosine_with_warmup和min_lr_ratio。很多人只设置了初始lr训练全程不变模型往往在最后阶段精度还差一口气。cosine退火的好处是让学习率在中后期逐渐减小帮助模型收敛到更稳定区域这个操作不需要任何额外计算成本几乎稳赚不赔。4.2 学习率到底怎么定从一个案例看LR Range Test关于初始学习率大家最常问的就是lr设多少合适。SetFit、transformers这些库都会根据任务自动给默认值但依然逃不脱手动尝试。我的做法是先做一个LR Range Test用很小的lr启动训练每个batch逐步调大lr同时记录loss变化最后画一条loss-lr曲线。曲线中下降段最陡的位置附近往往就是合适的初始lr。这个测试大概只需要几百步训练跑不了太久。我自己跑分类任务时常见结果是AdamW在1e-4到3e-3之间表现比较好SGD在0.01到0.1区间。合成的曲线非常直观比拍脑袋猜lr靠谱得多。Model-Optimizer里把LR Range Test也封装成了一个小工具输入模型、数据loader、优化器类型、lr上下界自动输出推荐范围。这个工具的底层逻辑并不复杂就是逐步提高学习率并记录loss然后把loss达到最小值或开始发散前对应的lr作为参考。很多人图省事直接用默认lr结果模型不是发散就是收敛太慢最后浪费的时间远比跑一次LR Range Test多得多。4.3 梯度裁剪稳定训练最简单有效的保险丝梯度裁剪可能是整个优化器配置里性价比最高的模块。它对梯度的全局范数设定一个上限训练时如果梯度范数超过阈值就按比例缩放到这个上限。这个操作不会改变梯度的方向只限制步长大小很像是给训练过程加了一道保险丝。max_norm设多少合适呢我的经验是1.0到5.0之间。设小了会拖慢收敛设大了起不到保护作用。Transformer类模型训练我普遍用1.0CNN训练我有时放到5.0。混合精度训练尤其建议开启裁剪我见过不少fp16发散案例开裁剪后立刻稳定。裁剪方式上我推荐全局范数裁剪而不是逐参数裁剪。clip_grad_norm_对应的就是全局范数PyTorch里一行代码就能用。如果裁剪后发现梯度方向被频繁影响说明模型本身就存在问题这时候要去看是不是数据里有异常值、loss里有没有数值不稳定的项而不是一味加大max_norm。4.4 EMA滑动平均免费提升模型精度的小技巧EMA指数滑动平均维护一组参数副本每次更新时按衰减率朝当前权重方向移动。公式大致是ema_weights decay * ema_weights (1 - decay) * current_weights。训练过程中我们实际上在优化当前权重但评估和推理时可以使用EMA权重因为EMA权重相当于多个历史权重快照的平均更平滑且更不容易陷入尖锐的极小值。我自己的实际经验是EMA decay设0.999在长时间训练中效果不错但训练初期EMA会滞后很多所以在warmup阶段我把EMA的decay临时调低比如0.99训练进入中后期再调回0.999。这个细节能避免前期EMA和当前权重偏差过大。Model-Optimizer里加入了EMA warmup配置目的就是解决这个问题。EMA对最终精度的提升通常是零点几个点到两三个点之间尤其在目标检测、分割这类任务里收益比较明显。成本几乎没有就是多存一份参数副本的显存训练时每个step多一次参数拷贝操作。如果你想在验证集上不大动干戈就提几点EMA是最省事的选择之一。5. 我踩过的坑三个典型训练失败案例的系统排查这一节全部来自我的真实复盘不少配置和操作可能和你当初遇到的情况高度相似。5.1 案例一loss突然NaN到底先怪谁现象用AdamW训练一个文本分类模型前几百步正常到第470步时loss直接变NaN而且接下来一路都是NaN。我去看过数据没有明显的脏数据于是开始逐项排查。排查思路是先看学习率如果lr过大loss一般会先剧烈震荡再发散而不是突然跳到NaN所以锁定问题不是lr。再打印梯度统计发现某层的梯度范数在NaN出现前就已经冲到1e8级别所以问题的核心在于梯度爆炸。虽然AdamW做了自适应缩放但对极端大的梯度仍然无能为力尤其混合精度下梯度除以一个极小分母时会溢出成Inf再一运算就变成NaN。最后我的解法是先给所有Transformer层做梯度裁剪max_norm1.0再把优化器eps从1e-8升到1e-6防止二阶动量分母过小导致数值溢出最后将损失函数里的log操作加上一个极小常数保护。三步叠加之后问题完全消失。这里有两条硬经验一个是有任何数值不稳定的迹象梯度裁剪总是第一个该上的保险另一个是不要把NaN问题轻易归咎于数据和代码先打印梯度和优化器状态很多情况下问题就出在数值动态上。5.2 案例二loss曲线震荡训练半天没有起色一个图像分割模型使用SGD训练发现loss在30个epoch后一直处于上下震荡状态怎么看都不像要收敛。我首先确认了LR Range Test给出的推荐范围发现我用的0.01已经偏向上限于是将lr降到0.003。降完后震荡幅度小了一些但收敛速度还是不如预期。接着把batch size的因素加了进来batch size原来设32总loss和梯度估计震荡明显。我尝试把batch size翻倍到64同时把学习率按线性缩放法则简单调整到0.006这一步之后曲线明显平滑了许多。后来我还检查了数据加载顺序确认shuffle是打开的因为有时候shuffle关闭也会导致每个epoch内loss呈现周期性规律让人误以为模型出了问题。这个案例的教训是loss震荡首先看学习率和batch size的匹配关系其次确认shuffle和数据增强是否规范。优化器的选择有时候反而是最后才考虑的。5.3 案例三大模型微调显存爆掉之后优化器怎么取舍跑一个约3B参数的模型做指令微调单卡A100 40GBbatch size最多只能塞1。训练到中途就OOM了。这时第一反应是降低batch size加上gradient accumulation把有效batch size维持在32。这一步解决了显存不足问题但训练速度下来了因为同样的step数对应更少的参数更新次数。接下来我把目光转向优化器状态。完整AdamW在3B模型上会额外占用约24GB的显存两个动量变量乘以模型参数量再乘以4字节这占了整个显存很大一块。我把配置切换为8-bit AdamW这是通过量化优化器状态节省显存的方式具体来自bitsandbytes库优化器状态从32位浮点压缩到8位整数显存占用降为原来的四分之一左右精度损失在实际微调中基本感觉不到。如果连8-bit的条件都不具备另一个方案是换用Adafactor或Lion这两者的优化器显存开销比AdamW小不少但收敛行为需要重新调。Adafactor在transformers里用得较多Lion胜在简化和状态小。大模型时代选优化器已经不仅仅是收敛精度的选择更是显存预算下的综合权衡。5.4 问题排查速查表我把常见的训练不稳定现象和对应的排查顺序整理成一张速查表适合贴在工位边。现象 | 优先排查 | 次级排查 | 常见有效手段 loss突变为NaN | 梯度范数是否爆炸 | eps是否过小、混合精度是否溢出 | 开启梯度裁剪、调大eps、换bf16 loss震荡不收敛 | 学习率是否过大 | batch size是否过小、shuffle是否开启 | 做LR Range Test、调低lr、增大batch 收敛速度过慢 | 学习率是否过小 | 调度器是否生效、优化器是否匹配任务 | 开启warmupcosine、考虑换优化器 验证集精度瓶颈 | 是否只用当前权重 | 权重衰减是否过大/过小 | 开启EMA、调整weight_decay 显存不足导致跑不动 | 优化器状态占用 | batch size是否太大 | 用8-bit优化器、gradient accumulation、Adafactor这张表不能直接给出万能解答但大概率能帮你把排查范围缩小到两三个变量以内剩下就要靠单变量实验来定位了。6. 最后说几句我把这套方案沉淀成Model-Optimizer后的体会整理这套项目最大的收益并不是某个优化器比另一个好这种结论而是让我养成了把训练稳定性当作一个整体来审视的习惯。现在每次启动新训练我都会按固定顺序检查数据格式是否正确、优化器配置是否匹配模型类型、学习率范围有没有测过、要不要开梯度裁剪和EMA、混合精度会不会引入数值问题。这个清单看起来琐碎但它帮我避开了大量训练了好几天最后发现白跑的悲剧。关于优化器的选择我自己也经历了从迷信Adam到重新审视SGD再到理解AdamW细节的转变。现在我不会随便说哪个优化器最好因为脱离任务谈优化器没有意义。同一个模型换一个优化器、换一组调度策略训练曲线和最终精度都可能截然不同。如果这篇内容对你有一点帮助那我的建议是不要照抄任何一份配置先跑一次LR Range Test再做一组小规模单变量对比实验然后用统一配置中心把这组实验固定下来。Model-Optimizer本身只是工具真正有价值的是你对模型训练过程的理解和尊重。下次训练不稳定时至少不再只是盯着loss曲线发呆而是能按逻辑一步步找到问题所在。 
长河君 · 2026/9/29 6:23:35 · 阅读 1.2k 深度学习优化器全解析：从SGD到AdamW的选型与调参实战指南
1. Model-Optimizer到底在优化什么先聊聊背景和真实痛点做深度学习训练的人应该都有过这种体验模型结构照搬经典论文、数据也都干净结果一跑起来loss死活不降或者降一半突然NaN再或者训练集都能满分、验证集却一路飘高。多数人第一反应是调学习率、换网络结构但调来调去问题依旧。我最早遇到这类情况时也走了不少弯路后来才慢慢理解有时候问题压根不在网络而在优化器——它就像车的方向盘和油门动力总成再猛转向手感不对车照样开不稳。这也是我整理Model-Optimizer这个项目的初衷。它不是某个公司的新框架也不是什么论文里的新算法而是一套我自己长期打磨、沉淀下来的优化器选型与调参方案集合。简单说它回答三个问题这个任务该用SGD还是Adam学习率调度器该怎么配训练不稳定时到底是该裁剪梯度、换优化器还是动损失函数目前这套方案统一封装了SGD、Momentum SGD、Adam、AdamW、RMSprop、Adagrad、Nadam以及Lion等常见优化器同时支持warmup、cosine退火、step decay、OneCycle等调度策略还内置了梯度裁剪、EMA、混合精度等配套模块。适合的人群也很明确会跑模型但不想把时间耗在反复试不同学习率上的炼丹工程师、做毕设或科研复现的研究生、以及准备把模型训练流程规范化的算法团队。你要是已经踩过几次loss不收敛的坑这篇内容能帮你省掉不少试错时间。我把项目里的核心思考、配置细节、踩坑记录都整理在下面尽量讲清楚每一步为什么这么做而不是给一张配置表让读者拿去瞎抄。2. 核心设计思路为什么优化器值得单独封装2.1 优化器不是换个算法那么简单很多人把优化器理解成一行代码的事torch.optim.Adam(model.parameters(), lr1e-3)。但实际工程里优化器牵扯的东西非常多。同一个Adamweight_decay放哪个位置、eps设多大、betas用默认值还是调整过、要不要做梯度裁剪、学习率调度器怎么衔接这些细节组合起来的最终效果可能差好几个点。举个例子PyTorch早期版本的Adam里weight_decay是直接加在梯度上的也就是L2正则化而AdamW把weight_decay从梯度里拆出来在参数更新时单独衰减。这两种方式在数学上不等价尤其在Transformer或大batch训练里AdamW的泛化能力通常明显更好。这就是为什么HuggingFace的transformers库默认只用AdamW而不是普通Adam。所以封装优化器的第一个目的是把这些看似细节、实则致命的差异固化成一套默认配置避免每个新项目都从零踩一遍雷。Model-Optimizer里为每种优化器都配了合理的默认参数同时保留显式覆盖的入口而不是黑箱。2.2 统一接口带来的可复现性红利另一个让我坚持封装的原因是可复现性。训练深度学习模型光记录一个优化器名字是不够的betas、eps、weight_decay、是否AMSGrad、调度器名称和热启动步数任何一项变了结果都可能不一样。用统一配置结构管理这些参数后实验记录里只需要存一份配置文件就能完整还原当时的优化器状态。这个项目里每个实验的配置是一个YAML块里面写清楚optimizer、scheduler、clip、ema等所有设置。训练脚本启动时读取配置生成对应的优化器实例和调度器并将完整配置一并写入日志。这个习惯陪我完成了上百组对比实验回头复盘时再也不会出现这组结果用的是哪个优化器的混乱。2.3 模块划分不只是优化器而是完整的训练动力学方案真正开始整理后我发现单独优化优化器远远不够。模型能不能稳定收敛是优化器、学习率调度、梯度裁剪、梯度累积甚至混合精度一起作用的结果。比如你用Adam但没做warmup前几个step的梯度方差很大很容易把模型推到坏区域再比如混合精度训练下如果没有对梯度做裁剪fp16的梯度溢出会直接导致loss变NaN。所以Model-Optimizer被我拆成了五个模块optimizer基础优化器、scheduler调度器、clip梯度裁剪策略、ema指数滑动平均、precision混合精度与优化器状态优化。每个模块都是可插拔的用默认配置就能跑通全流程。这套设计的核心逻辑是把训练稳定性当作一个系统工程来管理而不是孤立地调某一个参数。下面从优化器的底层原理开始逐个展开。3. 主流优化器逐个拆解原理、差异、实际效果3.1 SGD与Momentum扎实的老派选手SGD、Momentum SGD是优化器里的老前辈。现在很多新手一上来就用Adam反而没接触过SGD。其实SGD的更新规则极其简单参数减去学习率乘以梯度。它的问题是收敛速度相对慢并且容易在病态曲面上震荡。Momentum就是针对这个问题加了惯性把历史梯度的指数加权平均当作更新方向公式上可以理解成velocity momentum * velocity gradient参数更新时减去learning_rate * velocity。启动Model-Optimizer里的SGD时我习惯用momentum0.9nesterov视情况开启。Nesterov是在Momentum的基础上往前多看一步计算梯度时用了momentum展开后的位置理论上更稳实际在部分CV任务里确实有微弱提升但不是所有任务都适合。目前SGD在哪些场景还能打我实际用下来的经验图像分类大模型从头训练、风格迁移、超分辨率这类像素级回归任务以及部分强化学习策略网络训练SGD系列的表现依然不差甚至比Adam更稳。原因也好理解——SGD的梯度是unbiased的最终收敛点往往在更平坦的极小值区域泛化更好Adam的自适应步长在靠近最优解时容易被二阶动量拽住不动了。不过SGD最怕的就是参数尺度差异大、损失面特别陡峭的任务。这种场景下不调学习率调度几乎收不敛。所以如果你选SGD调度器一定不能省。3.2 Adam与AdamW自适应学习率的标杆但坑也最多Adam是目前使用率最高的优化器它的核心思想是为每个参数独立维护一阶动量梯度均值和二阶动量梯度平方的均值因此天然适应稀疏特征、非平稳目标对学习率的敏感程度也比SGD低很多。PyTorch里一句Adam(model.parameters(), lr)就能跑太省心了反而让人忽略了细节。关键的坑就在weight_decay。PyTorch的torch.optim.Adam里weight_decay是L2正则化的实现相当于往梯度里加了一项权重本身而AdamW的decoupled weight decay则是直接让权重乘以一个衰减系数。对于大模型预训练和微调后者要稳定得多。我见过不止一个项目用普通Adam加weight_decay去微调BERT训练曲线看着不错但下游指标始终上不去换成AdamW之后一切正常。在Model-Optimizer的配置里默认选择就是AdamW除非你在做的任务有特别理由才切换。betas我一般保持(0.9, 0.999)eps设为1e-8weight_decay根据任务设1e-2到5e-2之间。一个容易忽略的参数是eps混合精度训练时eps过小可能导致二阶动量更新时出现除零误差进而让梯度变成Inf或NaN。我习惯在fp16环境下把eps调到1e-6甚至1e-4牺牲少量精度换取稳定。Adam的另一个问题是显存占用。因为它要保存两个动量变量模型参数越大显存开销越夸张。一个7B参数的模型光优化器状态就能吃14B参数量的浮点内存。大模型时代这点尤其致命后面会专门讲怎么压缩。3.3 其他成员RMSprop、Adagrad、Nadam、Lion除了SGD和Adam两大阵营还有一些优化器在特定场景很有价值。RMSprop在RNN和部分NLP任务里很常见因为它对梯度的二阶动量做RMS归一化能有效处理梯度尺度变化剧烈的情况Adagrad适合特征极度稀疏的任务比如广告点击率预估这种场景每个参数独立学习率缺点是学习率会随着训练单调递减后期基本学不动Nadam则是把Nesterov的思想套进Adam里收敛速度有一定优势。Lion是2023年谷歌提出来的优化器思路非常另类它用符号函数取代了一二阶动量更新时只看梯度的正负方向。我实测在一些计算机视觉任务上Lion收敛速度确实比AdamW快泛化也不错但训练初期仍然需要小学习率和warmup否则会非常不稳。现在大模型训练偶尔能看到它的身影但总体应用还不算普及。把这些优化器放进同一个配置中心的好处是切换成本极低。我之前做过一组对比实验同样一个语义分割模型SGD要练到120个epoch才能收敛AdamW大概80个epoch就能到同等精度而Lion只用了约60个epoch但验证集上的最终精度略低于AdamW。没有统一封装之前光是切换优化器就得改一堆训练代码现在改配置就行。3.4 选型地图到底该用哪个优化器很多读者问有没有一张表可以直接告诉我什么任务该选什么。我根据自己的实验和参考经验大致列了一张判断表但它只能是起点不代表绝对真理。使用场景 | 推荐优化器 | 理由 图像分类从头训练 | SGD(Momentum) | 收敛稳定、泛化好配合cosine退火效果佳 目标检测/语义分割 | SGD或AdamW | SGD更稳但需细调调度器AdamW上手快精度差距可接受 NLP模型微调 | AdamW | 默认配置对Transformer架构稳定配合线性warmup 大规模预训练 | AdamW/LAMB | AdamW稳定LAMB适合超大batch收敛快 GAN训练 | Adam | 生成器与判别器都常用betas建议(0.5, 0.999) 强化学习策略梯度 | Adam | 自适应利于非平稳回报分布学习率不宜太大 稀疏特征任务 | Adagrad/Adam | 特征维度高且稀疏时效果好这张表帮我解决过大量模型起步跑不起来的问题。比如GAN训练如果把betas按默认(0.9, 0.999)来生成器很容易模式崩塌换成(0.5, 0.999)通常更稳定。这类经验在文档里是查不到的只有自己复现对比才能体会到差距。4. 完整实操Model-Optimizer的配置、训练与调度策略4.1 配置示例一个可复现的优化器配置模块下面给出一份Model-Optimizer的典型配置对应一个图像分类任务的训练流程。它不是一个玩具示例而是我实际从多个项目中抽取出的通用模板。optimizer: name: AdamW lr: 0.001 betas: [0.9, 0.999] eps: 1.0e-8 weight_decay: 0.02 scheduler: name: cosine_with_warmup warmup_steps: 500 total_steps: 10000 min_lr_ratio: 0.01 clip: max_norm: 1.0 clip_type: norm ema: enabled: true decay: 0.999这份配置的含义是用AdamW优化模型参数初始学习率0.001权重衰减0.02学习率在前500步线性warmup再按cosine退火降到初始学习率的1%同时对梯度做全局范数裁剪阈值为1.0另外维护一份EMA参数副本用于最终推理。配置中最容易被低估的是cosine_with_warmup和min_lr_ratio。很多人只设置了初始lr训练全程不变模型往往在最后阶段精度还差一口气。cosine退火的好处是让学习率在中后期逐渐减小帮助模型收敛到更稳定区域这个操作不需要任何额外计算成本几乎稳赚不赔。4.2 学习率到底怎么定从一个案例看LR Range Test关于初始学习率大家最常问的就是lr设多少合适。SetFit、transformers这些库都会根据任务自动给默认值但依然逃不脱手动尝试。我的做法是先做一个LR Range Test用很小的lr启动训练每个batch逐步调大lr同时记录loss变化最后画一条loss-lr曲线。曲线中下降段最陡的位置附近往往就是合适的初始lr。这个测试大概只需要几百步训练跑不了太久。我自己跑分类任务时常见结果是AdamW在1e-4到3e-3之间表现比较好SGD在0.01到0.1区间。合成的曲线非常直观比拍脑袋猜lr靠谱得多。Model-Optimizer里把LR Range Test也封装成了一个小工具输入模型、数据loader、优化器类型、lr上下界自动输出推荐范围。这个工具的底层逻辑并不复杂就是逐步提高学习率并记录loss然后把loss达到最小值或开始发散前对应的lr作为参考。很多人图省事直接用默认lr结果模型不是发散就是收敛太慢最后浪费的时间远比跑一次LR Range Test多得多。4.3 梯度裁剪稳定训练最简单有效的保险丝梯度裁剪可能是整个优化器配置里性价比最高的模块。它对梯度的全局范数设定一个上限训练时如果梯度范数超过阈值就按比例缩放到这个上限。这个操作不会改变梯度的方向只限制步长大小很像是给训练过程加了一道保险丝。max_norm设多少合适呢我的经验是1.0到5.0之间。设小了会拖慢收敛设大了起不到保护作用。Transformer类模型训练我普遍用1.0CNN训练我有时放到5.0。混合精度训练尤其建议开启裁剪我见过不少fp16发散案例开裁剪后立刻稳定。裁剪方式上我推荐全局范数裁剪而不是逐参数裁剪。clip_grad_norm_对应的就是全局范数PyTorch里一行代码就能用。如果裁剪后发现梯度方向被频繁影响说明模型本身就存在问题这时候要去看是不是数据里有异常值、loss里有没有数值不稳定的项而不是一味加大max_norm。4.4 EMA滑动平均免费提升模型精度的小技巧EMA指数滑动平均维护一组参数副本每次更新时按衰减率朝当前权重方向移动。公式大致是ema_weights decay * ema_weights (1 - decay) * current_weights。训练过程中我们实际上在优化当前权重但评估和推理时可以使用EMA权重因为EMA权重相当于多个历史权重快照的平均更平滑且更不容易陷入尖锐的极小值。我自己的实际经验是EMA decay设0.999在长时间训练中效果不错但训练初期EMA会滞后很多所以在warmup阶段我把EMA的decay临时调低比如0.99训练进入中后期再调回0.999。这个细节能避免前期EMA和当前权重偏差过大。Model-Optimizer里加入了EMA warmup配置目的就是解决这个问题。EMA对最终精度的提升通常是零点几个点到两三个点之间尤其在目标检测、分割这类任务里收益比较明显。成本几乎没有就是多存一份参数副本的显存训练时每个step多一次参数拷贝操作。如果你想在验证集上不大动干戈就提几点EMA是最省事的选择之一。5. 我踩过的坑三个典型训练失败案例的系统排查这一节全部来自我的真实复盘不少配置和操作可能和你当初遇到的情况高度相似。5.1 案例一loss突然NaN到底先怪谁现象用AdamW训练一个文本分类模型前几百步正常到第470步时loss直接变NaN而且接下来一路都是NaN。我去看过数据没有明显的脏数据于是开始逐项排查。排查思路是先看学习率如果lr过大loss一般会先剧烈震荡再发散而不是突然跳到NaN所以锁定问题不是lr。再打印梯度统计发现某层的梯度范数在NaN出现前就已经冲到1e8级别所以问题的核心在于梯度爆炸。虽然AdamW做了自适应缩放但对极端大的梯度仍然无能为力尤其混合精度下梯度除以一个极小分母时会溢出成Inf再一运算就变成NaN。最后我的解法是先给所有Transformer层做梯度裁剪max_norm1.0再把优化器eps从1e-8升到1e-6防止二阶动量分母过小导致数值溢出最后将损失函数里的log操作加上一个极小常数保护。三步叠加之后问题完全消失。这里有两条硬经验一个是有任何数值不稳定的迹象梯度裁剪总是第一个该上的保险另一个是不要把NaN问题轻易归咎于数据和代码先打印梯度和优化器状态很多情况下问题就出在数值动态上。5.2 案例二loss曲线震荡训练半天没有起色一个图像分割模型使用SGD训练发现loss在30个epoch后一直处于上下震荡状态怎么看都不像要收敛。我首先确认了LR Range Test给出的推荐范围发现我用的0.01已经偏向上限于是将lr降到0.003。降完后震荡幅度小了一些但收敛速度还是不如预期。接着把batch size的因素加了进来batch size原来设32总loss和梯度估计震荡明显。我尝试把batch size翻倍到64同时把学习率按线性缩放法则简单调整到0.006这一步之后曲线明显平滑了许多。后来我还检查了数据加载顺序确认shuffle是打开的因为有时候shuffle关闭也会导致每个epoch内loss呈现周期性规律让人误以为模型出了问题。这个案例的教训是loss震荡首先看学习率和batch size的匹配关系其次确认shuffle和数据增强是否规范。优化器的选择有时候反而是最后才考虑的。5.3 案例三大模型微调显存爆掉之后优化器怎么取舍跑一个约3B参数的模型做指令微调单卡A100 40GBbatch size最多只能塞1。训练到中途就OOM了。这时第一反应是降低batch size加上gradient accumulation把有效batch size维持在32。这一步解决了显存不足问题但训练速度下来了因为同样的step数对应更少的参数更新次数。接下来我把目光转向优化器状态。完整AdamW在3B模型上会额外占用约24GB的显存两个动量变量乘以模型参数量再乘以4字节这占了整个显存很大一块。我把配置切换为8-bit AdamW这是通过量化优化器状态节省显存的方式具体来自bitsandbytes库优化器状态从32位浮点压缩到8位整数显存占用降为原来的四分之一左右精度损失在实际微调中基本感觉不到。如果连8-bit的条件都不具备另一个方案是换用Adafactor或Lion这两者的优化器显存开销比AdamW小不少但收敛行为需要重新调。Adafactor在transformers里用得较多Lion胜在简化和状态小。大模型时代选优化器已经不仅仅是收敛精度的选择更是显存预算下的综合权衡。5.4 问题排查速查表我把常见的训练不稳定现象和对应的排查顺序整理成一张速查表适合贴在工位边。现象 | 优先排查 | 次级排查 | 常见有效手段 loss突变为NaN | 梯度范数是否爆炸 | eps是否过小、混合精度是否溢出 | 开启梯度裁剪、调大eps、换bf16 loss震荡不收敛 | 学习率是否过大 | batch size是否过小、shuffle是否开启 | 做LR Range Test、调低lr、增大batch 收敛速度过慢 | 学习率是否过小 | 调度器是否生效、优化器是否匹配任务 | 开启warmupcosine、考虑换优化器 验证集精度瓶颈 | 是否只用当前权重 | 权重衰减是否过大/过小 | 开启EMA、调整weight_decay 显存不足导致跑不动 | 优化器状态占用 | batch size是否太大 | 用8-bit优化器、gradient accumulation、Adafactor这张表不能直接给出万能解答但大概率能帮你把排查范围缩小到两三个变量以内剩下就要靠单变量实验来定位了。6. 最后说几句我把这套方案沉淀成Model-Optimizer后的体会整理这套项目最大的收益并不是某个优化器比另一个好这种结论而是让我养成了把训练稳定性当作一个整体来审视的习惯。现在每次启动新训练我都会按固定顺序检查数据格式是否正确、优化器配置是否匹配模型类型、学习率范围有没有测过、要不要开梯度裁剪和EMA、混合精度会不会引入数值问题。这个清单看起来琐碎但它帮我避开了大量训练了好几天最后发现白跑的悲剧。关于优化器的选择我自己也经历了从迷信Adam到重新审视SGD再到理解AdamW细节的转变。现在我不会随便说哪个优化器最好因为脱离任务谈优化器没有意义。同一个模型换一个优化器、换一组调度策略训练曲线和最终精度都可能截然不同。如果这篇内容对你有一点帮助那我的建议是不要照抄任何一份配置先跑一次LR Range Test再做一组小规模单变量对比实验然后用统一配置中心把这组实验固定下来。Model-Optimizer本身只是工具真正有价值的是你对模型训练过程的理解和尊重。下次训练不稳定时至少不再只是盯着loss曲线发呆而是能按逻辑一步步找到问题所在。