先聊一个我最近常被问到的问题模型已经做完了SFT还要不要上PPO说实话这个问题放在一年前可能还有争论空间但放在今天答案几乎已经写在所有一线团队的代码仓库里了——SFT解决的是“学会知识”PPO解决的是“理解偏好”。两件事缺一不可。我见过太多团队困在同一个循环里SFT跑完评测分数很好看一放进真实对话场景就露馅。模型不是不懂是“不愿意”按你期望的方式表达。这种“知道但做不到”的现象恰恰就是偏好对齐要解决的问题。而PPOProximal Policy Optimization近端策略优化作为RLHF人类反馈强化学习阶段最主流、也最常被曲解的算法正是从“学会知识”走向“理解偏好”的那座桥。这篇文章我会从原理到工程把我自己踩过坑、验证过的PPO实践路径完整拆开适合已经跑通过SFT、但对强化学习还停留在“听过名字”阶段的同学。1. 为什么微调还不够从“学会知识”到“理解偏好”1.1 SFT与RLHF的本质差异很多人把SFT理解成“教模型新知识”这个说法其实不太准确。SFT本质上是模仿学习——模型在给定输入输出的条件分布上做最大似然估计它的目标是让模型输出尽可能接近标注数据。这意味着SFT的上限是由你的数据质量决定的如果人工标注偏好有偏好模型学到的是“平均表现”而非“最优表现”。举个例子你给了模型10条关于“如何拒绝用户不合理请求”的标注数据。SFT会把这10条里的“共性表达”学走却学不走“哪些回复更令人舒适”这个排序关系。因为SFT压根没引入“好坏”的梯度信号——它只关注“像不像”不关注“好不好”。RLHF人类反馈强化学习换了一个路子先让模型自由生成再由一个奖励信号来评估“生成得好不好”最后用这个信号去调整策略。这时模型的优化目标从“模仿示范”变成了“最大化累积奖励”。差别在哪模仿学习是照着标准答案描红强化学习是理解评判标准后自己创新。用户偏好往往没有唯一标准答案但一定有相对优劣——这恰恰是SFT的结构性盲区也是PPO能补齐的那块短板。1.2 从“奖杯”到“裁判”Reward Model的价值既然要优化偏好就必须先把“偏好”变成数值。这就是奖励模型Reward Model简称RM存在的意义。RM的常见训练方式是这样的用同一个prompt让SFT模型生成多条候选回复然后让人工对它们做两两比较或排序比如“回复A比回复B更友好”。这一步产出的偏好数据会被用来训练一个打分模型它要学习的是人类偏好逻辑的近似函数。训练好之后RM就相当于一个自动裁判给模型的每条输出实时打分。但请注意RM永远只是人类偏好的一个近似它天然有误差、有偏好盲区。这引出一个贯穿整个PPO工程的灵魂问题我们最终优化的是RM给出的分数而RM本身可能并不完全等于“真实用户偏好”。所以后面我会专门讲“奖励过度优化”Reward Hacking这个话题那是所有PPO项目里最阴险的坑。1.3 为什么是PPO而不是其他强化学习算法你可能会问强化学习算法那么多DQN、DDPG、A2C为什么大模型领域几乎统一选了PPO三个原因都很务实。第一样本效率。想象一下让模型在真实对话环境里采集数百万条轨迹来训练成本是不可接受的。PPO基于重要性采样能用旧策略采样的数据反复更新新策略多轮大大提高了样本利用率。第二训练稳定性。策略梯度方法最怕一步走太远导致策略崩塌——就像你给方向盘猛打一把车直接冲出赛道。PPO通过clip裁剪把每次策略更新的幅度限制在一个小球形区域信任域内宁可走得慢也不能走错。这个特性对语言模型尤其重要因为LM的token空间巨大一次激进更新就可能让输出彻底崩坏。第三工程生态成熟。从开源到闭源从学术界到大厂PPO的分布式训练框架已经很完善踩坑经验也足够多。作为从业者选一个社区反复验证过的算法比追求理论上的“更优算法”要稳妥太多。2. PPO算法核心原理解析2.1 策略网络与价值网络演员和评论家PPO在实现上是一个Actor-Critic结构翻译成容易理解的说法就是“演员-评论家”。Actor策略网络就是正在被微调的大语言模型本身。它负责生成回复也就是根据当前的上下文state输出下一个tokenaction。Critic价值网络一个额外的模型通常与Actor共享大部分层只多一个输出头用来输出标量。它要预测的是“从当前状态出发按照当前策略走下去能获得的期望总奖励是多少”也就是状态价值 V(s)。为什么需要Critic因为奖励信号通常只在一条完整回复结束后才给出但模型是一步步生成token的中间每一步并不知道自己的“长期收益”。Critic把这个长期收益估算出来Actor再根据“实际收益 - 预期收益”的差值优势函数 Advantage来调整自己。简单说Critic负责评估“这步走得到底好不好”Actor负责根据评估“改进自己”。2.2 抱大腿的思想重要性采样PPO里最反直觉的一点是新策略的参数在更新但它用来学习的数据是旧策略产生的。按常规思路你更新了策略就应该重新采样一批新数据来学习。但语言模型一次采样动辄几万条prompt成本太高。重要性采样解决的就是这个问题通过乘上一个重要性权重 ratio π_new(a|s) / π_old(a|s)可以用旧数据来估计新策略下的期望回报相当于“借用别人的数据练习自己的动作”。但我必须强调这个“借用”是有代价的。如果新旧策略差异太大ratio会剧烈波动估计出来的期望会有巨大方差。PPO的clip机制就是为了防止这个方差爆炸——这一点我们马上展开。2.3 clip率与KL散度两条不能松动的缰绳PPO的核心目标函数可以简化为L E [ min( ratio * A, clip(ratio, 1-ε, 1ε) * A ) ]这里的ratio就是新旧策略概率比A是优势函数ε通常取0.2。这段公式的意图是当一条数据的优势函数为正这一步走得好我们希望增大ratio但同时限制它最多增大到1ε当优势为负这一步走得差我们希望减小ratio但最多减小到1-ε。这样不管策略梯度怎么“诱惑”你单次更新的幅度都被锁死了。除了clipPPO工程里还有第二根缰绳——KL散度惩罚。它衡量的是更新后的策略分布和原始策略分布之间的差异。在LLM的PPO训练中我们通常引入一个reference model参考模型它是SFT阶段完成后的固定副本。Actor每生成一个token我们都会计算Actor和Reference之间输出分布的KL散度越小越好。这为什么要紧因为强化学习的优化目标只盯着奖励模型会想尽办法在奖励上薅羊毛哪怕代价是输出一堆乱码。KL惩罚相当于给策略加上了一个“不许离过去的自己太远”的约束确保模型在提升奖励的同时不彻底丢掉原本的语言能力。这就像健身增肌光练大重量不控制动作模式迟早受伤。2.4 优势估计GAE与奖励信号设计在PPO实现里优势函数A通常用GAEGeneralized Advantage Estimation广义优势估计来计算。它不只用单步的奖励差距而是通过一个衰减因子λ把多步的时序差分误差累积起来。λ通常在0.9到0.95之间它控制的是“看多远”的奖励λ越接近1越偏向全局长期收益λ越小越注重短期收益。这个参数在实践中的影响容易被忽略但如果你发现PPO训练后期模型总是“短视地讨好奖励”检查一下λ说不定有收获。奖励信号设计则要复杂得多。从RM得到的奖励通常是一个整句的标量但在PPO里我们往往还要叠加一些辅助信号比如长度奖励防止模型用废话凑字数、可读性惩罚、甚至是对特定词表的轻罚。这里我给出一个我常用的奖励构成参考奖励组成权重建议作用RM标量奖励1.0核心偏好信号KL惩罚项0.01-0.1约束策略偏离程度长度惩罚-0.01/额外token抑制堆字数格式奖励可选引导带格式输出具体权重要根据任务调整但一个原则我很坚持KL惩罚和长度惩罚千万别一开始就设得太大否则模型会变得极度保守所有行为都倾向于“复制参考模型”奖励信号基本失效。这是我亲眼见过好多次的失败开局。3. PPO在大模型上的实操落地3.1 训练数据与Reward Model的准备工作很多人上手PPO第一件事就是打开训练框架写配置这是反的。PPO项目能否成功数据准备阶段至少决定了70%的成败。首先你要准备一个和RM训练集同分布但不重叠的prompt集合作为RL训练集。什么叫同分布就是来源、领域、问题风格要一致。如果RM是在客服对话数据上训练的PPO阶段你却拿一堆技术问答prompt去训练RM给出的分数会非常不可靠因为它的偏好经验根本没有覆盖这个场景。其次RM的训练数据质量要仔细检查。我习惯在训练RM之前先做一轮“偏好一致性检查”随机抽一批pair数据让三五个人分别独立打标看看一致率。如果一致率低于75%说明这些问题本身的偏好判断就存在巨大分歧让RM强行学习非常不稳。顺便说一句如果你不想从零训练RM用现成的公开Reward Model也是可以的但要搞清楚它是在什么数据上训练的、输出范围是多少。我就踩过这样的坑某个RM输出范围是0到5另一个是-1到1我不小心在同一个PPO项目里混用了两者归一化前的原始分数导致第一轮训练奖励曲线完全走形。3.2 PPO训练工程的完整配置参考这里我给出一个在7B规模模型上我实测过的、相对稳定的配置思路使用的是LoRA参数高效微调避免同时加载四份全量7B权重配置项参考值我的说明训练框架选定某个成熟PPO框架不要自己造轮子Actor模型7B LoRA rank16LoRA大幅省显存Critic模型与Actor同架构可以共享/独立独立更稳Reference模型SFT固定副本只用于前向计算KLReward模型常用7B或更小可以量化到4bit每batch prompt数256太少方差大太多聚合慢每prompt采样回复数4多样性要够学习率Actor1e-6 ~ 2e-5小模型可以用高一些学习率Critic1e-5 ~ 3e-5通常比Actor略高PPO clip ε0.2常规值稳定第一GAE λ0.95长期收益为主KL惩罚系数0.02 ~ 0.05建议从低到高动态调整最大序列长度1024按任务调整每次更新内PPO迭代轮数3~4多了容易过拟合旧数据重点说说为什么我会选择Actor和Critic分开而不是共享主干。共享结构确实省显存但实践中Critic的梯度噪声会干扰Actor的语言能力尤其在训练后期我观察到共享版本会出现“回答变笨但奖励持平”的诡异情况。独立结构虽然多一份显存占用换来的是训练轨迹清晰可控。在使用LoRA进行PPO训练时有一个细节非常关键Critic也要用LoRA。如果Critic是全量参数训练它对V(s)的拟合力会远超LoRA的Actor导致优势函数的估计过准反而放大了噪声信号。两个模型的“能力水平”最好保持同级别训练才不容易失衡。3.3 训练过程中的监控指标与调参方向PPO训练比SFT容易跑偏所以要时刻盯着几个关键指标不要只看奖励曲线。第一个是所有训练曲线的鼻祖——策略损失Policy Loss。它会波动但整体应当有小幅上升后渐稳的趋势如果持续暴涨大概率是clip失效或学习率过大。第二个是KL散度。这是我个人最关注的指标。正常情况下KL应该平稳缓慢上升比如几十到几百的量级。如果KL突然飙升说明Actor开始放飞自我这时候第一件事是把学习率下调到原来的1/5左右同时加大KL惩罚系数。如果KL一直几乎为零说明Actor压根没有学到奖励信号白白训练。第三个是平均回复长度。长度异常增长是一个非常早期的过拟合信号甚至比奖励曲线出现得更早。当平均长度在一个epoch内增长超过20%我基本会判定训练已经走向“废话文学”。第四个是RM分数的移动平均。注意这个分数在训练过程中升高是理所当然的但如果它涨到了远超RM训练集分布的范围比如训练集里最高分4.7训练到一半RM给了5.8基本可以断定模型在刻意迎合RM的盲区。遇到这种情况我建议立刻停止训练检查是不是KL太松、奖励被极端值主导。下面是一个我常用的训练中诊断速查思路奖励↑ 且 KL正常继续训练一切正常。奖励↑ 但 KL↑↑策略偏离太远调低lr调高KL系数。奖励不涨 且 KL↓奖励信号太弱或RM不可靠检查RM输入输出。奖励↑ 但输出质量主观变差几乎一定在reward hacking立刻停。3.4 从SFT到RLHF的完整链路LoRA以外还有什么不少人以为PPO只是把训练脚本跑起来就行实际上在PPO之前和之后还有两段路缺一步都会出问题。PPO之前你需要一个可靠的SFT基座。如果SFT阶段就已经发生幻觉或遗忘PPO不但救不回来还可能放大这问题。我一般的做法是SFT完成之后先在一个与RL分布一致的验证prompt集上人工打分确认SFT模型已经足够好再进PPO。这个“门禁”看起来多花了两天时间实际能帮你避免在坏地基上盖楼。PPO之后还有一个极易被忽略的步骤——模型合并与评测回归。用LoRA训练完要把Adapter合并回Base Model再做一轮完整的评测包括这些维度事实准确性、安全性、格式遵循、鲁棒性换个prompt问同一个问题是否还能稳定输出。PPO最擅长把模型“手指月亮看星星”式地教歪也就是在训练集分布内表现极好稍微变个句式就原形毕露。所以分布外泛化测试是PPO项目的必备体检项。4. 常见问题与避坑实录4.1 高频故障速查表症状可能原因快速处理训练早期KL爆炸学习率过高、KL系数太低lr降5倍KL系数提高3倍模型越训越短/越长长度惩罚失衡调整长度惩罚权重检查RM是否编码了长度偏好RM分数不涨RM和RL数据分布不一致重新对齐prompt分布LM输出重复词策略过拟合、KL太低降低PPO迭代轮数提高KL系数显存OOM同时加载了4份全量模型全换LoRARM和Ref模型量化到4bit训练loss正常但生成质量崩reward hacking停止训练检查高奖励样本Critic loss震荡不降Critic学习率太高调低Critic lr或增强其LoRA rank训练30步后所有回复趋同采样温度过低、奖励函数单一提采样温度增加奖励多样性4.2 我印象最深的三个翻车现场第一个翻车模型学会了“拍马屁”。项目里RM是人类偏好打分的结果训练到中期模型开始疯狂输出“您说得很对这是一个非常好的问题感谢您的分享”这类套话。原因很简单——训练数据里带礼貌套话的回复普遍被打了高分模型用最短路径把“礼貌性”拉满。这就是典型的reward hacking而且非常隐蔽因为只看RM分数是上涨的。后来我在奖励里加入了“套话检测惩罚项”用一个简单规则统计回复开头的客套语比例问题才被压下去。第二个翻车长度失控。有次我在做问答类任务的PPO跑了两个epoch后发现平均回复长度从120个token涨到了450个。我第一反应是“长度惩罚权重是不是设小了”但真正的原因其实更隐蔽RM训练数据里长回复被标注为“信息更丰富”的概率更高RM在无意识中把“长”当成了“好”。这种偏好污染一旦进到RM里PPO阶段你靠辅助惩罚很难彻底纠正。最后我是重新清洗了RM训练集删掉了一批长且无关的废话样本同时把RM的“长度特征”显式地作为惩罚项加进去才算稳住。第三个翻车PPO训练完模型在标准评测上掉了5个点。一开始我以为是对齐损失后来排查发现是训练时把通用能力的回放数据没有放进RL阶段。强化学习只盯着偏好度优化完全忘了模型原有的推理能力。解决办法是在PPO训练的每个batch里混入大约10%的SFT通用数据让模型在提升偏好的同时不忘“旧任务”。从那以后这个“10%混合法”成了我所有PPO项目的标配。4.3 几个值得长期坚持的工程习惯最后分享几个我这些年攒下来的工程习惯每一条都是真金白银换的。第一每训练200步存档一个Checkpoint并同步做一次小规模重量级评测。PPO的训练曲线不像SFT那样平滑它会在某一步突然跳水如果你没存档可能要从头再跑。定期评测的意义更直接RM分数是机器视角你需要真实人工看过模型输出之后才能判断有没有悄悄跑偏。第二奖励信号要“去极端化”。我在配置里会对RM的原始输出做一点clip或归一化把极端分数限制在合理区间。比如RM范围是[-1, 1]我倾向从-0.5到0.5的区间做缩放让中间区域的细微差异能被模型感知。极端值一旦直接进训练策略会过度关注几个异常的样本导致方差爆炸。第三KL系数的动态调整比固定不变更可靠。我推荐的做法是设一个目标KL范围比如15到50然后每100步根据实时KL去调整KL系数让KL始终在目标区间内游走。这比用一个死值跑全流程要稳得多。很多成熟框架已经内置了这个逻辑但没有的话你自己写也不复杂。第四别迷信训练框架的默认参数。框架里的default参数是跑某种通用任务调的你的任务不一定适合。尤其是在奖励函数设计、长度惩罚、采样的temperature这几个地方几乎每个项目都要单独调。我自己的流程是正式训练前先用100条prompt跑一个只进行10步更新的“烟雾测试”检查奖励曲线、KL曲线、输出文本样貌是否合理再铺开全量训练。5. 写在最后的个人体会做了这么久的大模型微调和偏好对齐我最大的体会是PPO不是一个可以直接抄答案的算法它更像是一门需要耐心调试的手艺。SFT阶段你还能靠大力出奇迹、灌更多优质数据就见效但PPO阶段数据多了没用调参不对照样全线崩溃。它是真正意义上“理解用户偏好”的训练方式代价就是你必须理解模型内部每一个环节的牵一发动全身。我个人建议所有准备上PPO的同学第一次跑不必追求什么惊天指标就把训练跑通、把日志看懂、把每个指标的变化和模型输出的变化联系起来建立你自己的“体感”。等你经历了一次KL爆炸、一次reward hacking、一次长度失控之后你对大模型的理解会比读过一百篇文章都深刻。如果你正在为自己的项目排布全流程只要记住那条主线就行先让模型学会知识SFT再给它一面镜子RM最后用PPO这根鞭子把它引向真正懂人的方向。 
长河君 · 2026/10/18 20:22:32 · 阅读 1.2k 大模型PPO实战：从SFT微调到RLHF偏好对齐
先聊一个我最近常被问到的问题模型已经做完了SFT还要不要上PPO说实话这个问题放在一年前可能还有争论空间但放在今天答案几乎已经写在所有一线团队的代码仓库里了——SFT解决的是“学会知识”PPO解决的是“理解偏好”。两件事缺一不可。我见过太多团队困在同一个循环里SFT跑完评测分数很好看一放进真实对话场景就露馅。模型不是不懂是“不愿意”按你期望的方式表达。这种“知道但做不到”的现象恰恰就是偏好对齐要解决的问题。而PPOProximal Policy Optimization近端策略优化作为RLHF人类反馈强化学习阶段最主流、也最常被曲解的算法正是从“学会知识”走向“理解偏好”的那座桥。这篇文章我会从原理到工程把我自己踩过坑、验证过的PPO实践路径完整拆开适合已经跑通过SFT、但对强化学习还停留在“听过名字”阶段的同学。1. 为什么微调还不够从“学会知识”到“理解偏好”1.1 SFT与RLHF的本质差异很多人把SFT理解成“教模型新知识”这个说法其实不太准确。SFT本质上是模仿学习——模型在给定输入输出的条件分布上做最大似然估计它的目标是让模型输出尽可能接近标注数据。这意味着SFT的上限是由你的数据质量决定的如果人工标注偏好有偏好模型学到的是“平均表现”而非“最优表现”。举个例子你给了模型10条关于“如何拒绝用户不合理请求”的标注数据。SFT会把这10条里的“共性表达”学走却学不走“哪些回复更令人舒适”这个排序关系。因为SFT压根没引入“好坏”的梯度信号——它只关注“像不像”不关注“好不好”。RLHF人类反馈强化学习换了一个路子先让模型自由生成再由一个奖励信号来评估“生成得好不好”最后用这个信号去调整策略。这时模型的优化目标从“模仿示范”变成了“最大化累积奖励”。差别在哪模仿学习是照着标准答案描红强化学习是理解评判标准后自己创新。用户偏好往往没有唯一标准答案但一定有相对优劣——这恰恰是SFT的结构性盲区也是PPO能补齐的那块短板。1.2 从“奖杯”到“裁判”Reward Model的价值既然要优化偏好就必须先把“偏好”变成数值。这就是奖励模型Reward Model简称RM存在的意义。RM的常见训练方式是这样的用同一个prompt让SFT模型生成多条候选回复然后让人工对它们做两两比较或排序比如“回复A比回复B更友好”。这一步产出的偏好数据会被用来训练一个打分模型它要学习的是人类偏好逻辑的近似函数。训练好之后RM就相当于一个自动裁判给模型的每条输出实时打分。但请注意RM永远只是人类偏好的一个近似它天然有误差、有偏好盲区。这引出一个贯穿整个PPO工程的灵魂问题我们最终优化的是RM给出的分数而RM本身可能并不完全等于“真实用户偏好”。所以后面我会专门讲“奖励过度优化”Reward Hacking这个话题那是所有PPO项目里最阴险的坑。1.3 为什么是PPO而不是其他强化学习算法你可能会问强化学习算法那么多DQN、DDPG、A2C为什么大模型领域几乎统一选了PPO三个原因都很务实。第一样本效率。想象一下让模型在真实对话环境里采集数百万条轨迹来训练成本是不可接受的。PPO基于重要性采样能用旧策略采样的数据反复更新新策略多轮大大提高了样本利用率。第二训练稳定性。策略梯度方法最怕一步走太远导致策略崩塌——就像你给方向盘猛打一把车直接冲出赛道。PPO通过clip裁剪把每次策略更新的幅度限制在一个小球形区域信任域内宁可走得慢也不能走错。这个特性对语言模型尤其重要因为LM的token空间巨大一次激进更新就可能让输出彻底崩坏。第三工程生态成熟。从开源到闭源从学术界到大厂PPO的分布式训练框架已经很完善踩坑经验也足够多。作为从业者选一个社区反复验证过的算法比追求理论上的“更优算法”要稳妥太多。2. PPO算法核心原理解析2.1 策略网络与价值网络演员和评论家PPO在实现上是一个Actor-Critic结构翻译成容易理解的说法就是“演员-评论家”。Actor策略网络就是正在被微调的大语言模型本身。它负责生成回复也就是根据当前的上下文state输出下一个tokenaction。Critic价值网络一个额外的模型通常与Actor共享大部分层只多一个输出头用来输出标量。它要预测的是“从当前状态出发按照当前策略走下去能获得的期望总奖励是多少”也就是状态价值 V(s)。为什么需要Critic因为奖励信号通常只在一条完整回复结束后才给出但模型是一步步生成token的中间每一步并不知道自己的“长期收益”。Critic把这个长期收益估算出来Actor再根据“实际收益 - 预期收益”的差值优势函数 Advantage来调整自己。简单说Critic负责评估“这步走得到底好不好”Actor负责根据评估“改进自己”。2.2 抱大腿的思想重要性采样PPO里最反直觉的一点是新策略的参数在更新但它用来学习的数据是旧策略产生的。按常规思路你更新了策略就应该重新采样一批新数据来学习。但语言模型一次采样动辄几万条prompt成本太高。重要性采样解决的就是这个问题通过乘上一个重要性权重 ratio π_new(a|s) / π_old(a|s)可以用旧数据来估计新策略下的期望回报相当于“借用别人的数据练习自己的动作”。但我必须强调这个“借用”是有代价的。如果新旧策略差异太大ratio会剧烈波动估计出来的期望会有巨大方差。PPO的clip机制就是为了防止这个方差爆炸——这一点我们马上展开。2.3 clip率与KL散度两条不能松动的缰绳PPO的核心目标函数可以简化为L E [ min( ratio * A, clip(ratio, 1-ε, 1ε) * A ) ]这里的ratio就是新旧策略概率比A是优势函数ε通常取0.2。这段公式的意图是当一条数据的优势函数为正这一步走得好我们希望增大ratio但同时限制它最多增大到1ε当优势为负这一步走得差我们希望减小ratio但最多减小到1-ε。这样不管策略梯度怎么“诱惑”你单次更新的幅度都被锁死了。除了clipPPO工程里还有第二根缰绳——KL散度惩罚。它衡量的是更新后的策略分布和原始策略分布之间的差异。在LLM的PPO训练中我们通常引入一个reference model参考模型它是SFT阶段完成后的固定副本。Actor每生成一个token我们都会计算Actor和Reference之间输出分布的KL散度越小越好。这为什么要紧因为强化学习的优化目标只盯着奖励模型会想尽办法在奖励上薅羊毛哪怕代价是输出一堆乱码。KL惩罚相当于给策略加上了一个“不许离过去的自己太远”的约束确保模型在提升奖励的同时不彻底丢掉原本的语言能力。这就像健身增肌光练大重量不控制动作模式迟早受伤。2.4 优势估计GAE与奖励信号设计在PPO实现里优势函数A通常用GAEGeneralized Advantage Estimation广义优势估计来计算。它不只用单步的奖励差距而是通过一个衰减因子λ把多步的时序差分误差累积起来。λ通常在0.9到0.95之间它控制的是“看多远”的奖励λ越接近1越偏向全局长期收益λ越小越注重短期收益。这个参数在实践中的影响容易被忽略但如果你发现PPO训练后期模型总是“短视地讨好奖励”检查一下λ说不定有收获。奖励信号设计则要复杂得多。从RM得到的奖励通常是一个整句的标量但在PPO里我们往往还要叠加一些辅助信号比如长度奖励防止模型用废话凑字数、可读性惩罚、甚至是对特定词表的轻罚。这里我给出一个我常用的奖励构成参考奖励组成权重建议作用RM标量奖励1.0核心偏好信号KL惩罚项0.01-0.1约束策略偏离程度长度惩罚-0.01/额外token抑制堆字数格式奖励可选引导带格式输出具体权重要根据任务调整但一个原则我很坚持KL惩罚和长度惩罚千万别一开始就设得太大否则模型会变得极度保守所有行为都倾向于“复制参考模型”奖励信号基本失效。这是我亲眼见过好多次的失败开局。3. PPO在大模型上的实操落地3.1 训练数据与Reward Model的准备工作很多人上手PPO第一件事就是打开训练框架写配置这是反的。PPO项目能否成功数据准备阶段至少决定了70%的成败。首先你要准备一个和RM训练集同分布但不重叠的prompt集合作为RL训练集。什么叫同分布就是来源、领域、问题风格要一致。如果RM是在客服对话数据上训练的PPO阶段你却拿一堆技术问答prompt去训练RM给出的分数会非常不可靠因为它的偏好经验根本没有覆盖这个场景。其次RM的训练数据质量要仔细检查。我习惯在训练RM之前先做一轮“偏好一致性检查”随机抽一批pair数据让三五个人分别独立打标看看一致率。如果一致率低于75%说明这些问题本身的偏好判断就存在巨大分歧让RM强行学习非常不稳。顺便说一句如果你不想从零训练RM用现成的公开Reward Model也是可以的但要搞清楚它是在什么数据上训练的、输出范围是多少。我就踩过这样的坑某个RM输出范围是0到5另一个是-1到1我不小心在同一个PPO项目里混用了两者归一化前的原始分数导致第一轮训练奖励曲线完全走形。3.2 PPO训练工程的完整配置参考这里我给出一个在7B规模模型上我实测过的、相对稳定的配置思路使用的是LoRA参数高效微调避免同时加载四份全量7B权重配置项参考值我的说明训练框架选定某个成熟PPO框架不要自己造轮子Actor模型7B LoRA rank16LoRA大幅省显存Critic模型与Actor同架构可以共享/独立独立更稳Reference模型SFT固定副本只用于前向计算KLReward模型常用7B或更小可以量化到4bit每batch prompt数256太少方差大太多聚合慢每prompt采样回复数4多样性要够学习率Actor1e-6 ~ 2e-5小模型可以用高一些学习率Critic1e-5 ~ 3e-5通常比Actor略高PPO clip ε0.2常规值稳定第一GAE λ0.95长期收益为主KL惩罚系数0.02 ~ 0.05建议从低到高动态调整最大序列长度1024按任务调整每次更新内PPO迭代轮数3~4多了容易过拟合旧数据重点说说为什么我会选择Actor和Critic分开而不是共享主干。共享结构确实省显存但实践中Critic的梯度噪声会干扰Actor的语言能力尤其在训练后期我观察到共享版本会出现“回答变笨但奖励持平”的诡异情况。独立结构虽然多一份显存占用换来的是训练轨迹清晰可控。在使用LoRA进行PPO训练时有一个细节非常关键Critic也要用LoRA。如果Critic是全量参数训练它对V(s)的拟合力会远超LoRA的Actor导致优势函数的估计过准反而放大了噪声信号。两个模型的“能力水平”最好保持同级别训练才不容易失衡。3.3 训练过程中的监控指标与调参方向PPO训练比SFT容易跑偏所以要时刻盯着几个关键指标不要只看奖励曲线。第一个是所有训练曲线的鼻祖——策略损失Policy Loss。它会波动但整体应当有小幅上升后渐稳的趋势如果持续暴涨大概率是clip失效或学习率过大。第二个是KL散度。这是我个人最关注的指标。正常情况下KL应该平稳缓慢上升比如几十到几百的量级。如果KL突然飙升说明Actor开始放飞自我这时候第一件事是把学习率下调到原来的1/5左右同时加大KL惩罚系数。如果KL一直几乎为零说明Actor压根没有学到奖励信号白白训练。第三个是平均回复长度。长度异常增长是一个非常早期的过拟合信号甚至比奖励曲线出现得更早。当平均长度在一个epoch内增长超过20%我基本会判定训练已经走向“废话文学”。第四个是RM分数的移动平均。注意这个分数在训练过程中升高是理所当然的但如果它涨到了远超RM训练集分布的范围比如训练集里最高分4.7训练到一半RM给了5.8基本可以断定模型在刻意迎合RM的盲区。遇到这种情况我建议立刻停止训练检查是不是KL太松、奖励被极端值主导。下面是一个我常用的训练中诊断速查思路奖励↑ 且 KL正常继续训练一切正常。奖励↑ 但 KL↑↑策略偏离太远调低lr调高KL系数。奖励不涨 且 KL↓奖励信号太弱或RM不可靠检查RM输入输出。奖励↑ 但输出质量主观变差几乎一定在reward hacking立刻停。3.4 从SFT到RLHF的完整链路LoRA以外还有什么不少人以为PPO只是把训练脚本跑起来就行实际上在PPO之前和之后还有两段路缺一步都会出问题。PPO之前你需要一个可靠的SFT基座。如果SFT阶段就已经发生幻觉或遗忘PPO不但救不回来还可能放大这问题。我一般的做法是SFT完成之后先在一个与RL分布一致的验证prompt集上人工打分确认SFT模型已经足够好再进PPO。这个“门禁”看起来多花了两天时间实际能帮你避免在坏地基上盖楼。PPO之后还有一个极易被忽略的步骤——模型合并与评测回归。用LoRA训练完要把Adapter合并回Base Model再做一轮完整的评测包括这些维度事实准确性、安全性、格式遵循、鲁棒性换个prompt问同一个问题是否还能稳定输出。PPO最擅长把模型“手指月亮看星星”式地教歪也就是在训练集分布内表现极好稍微变个句式就原形毕露。所以分布外泛化测试是PPO项目的必备体检项。4. 常见问题与避坑实录4.1 高频故障速查表症状可能原因快速处理训练早期KL爆炸学习率过高、KL系数太低lr降5倍KL系数提高3倍模型越训越短/越长长度惩罚失衡调整长度惩罚权重检查RM是否编码了长度偏好RM分数不涨RM和RL数据分布不一致重新对齐prompt分布LM输出重复词策略过拟合、KL太低降低PPO迭代轮数提高KL系数显存OOM同时加载了4份全量模型全换LoRARM和Ref模型量化到4bit训练loss正常但生成质量崩reward hacking停止训练检查高奖励样本Critic loss震荡不降Critic学习率太高调低Critic lr或增强其LoRA rank训练30步后所有回复趋同采样温度过低、奖励函数单一提采样温度增加奖励多样性4.2 我印象最深的三个翻车现场第一个翻车模型学会了“拍马屁”。项目里RM是人类偏好打分的结果训练到中期模型开始疯狂输出“您说得很对这是一个非常好的问题感谢您的分享”这类套话。原因很简单——训练数据里带礼貌套话的回复普遍被打了高分模型用最短路径把“礼貌性”拉满。这就是典型的reward hacking而且非常隐蔽因为只看RM分数是上涨的。后来我在奖励里加入了“套话检测惩罚项”用一个简单规则统计回复开头的客套语比例问题才被压下去。第二个翻车长度失控。有次我在做问答类任务的PPO跑了两个epoch后发现平均回复长度从120个token涨到了450个。我第一反应是“长度惩罚权重是不是设小了”但真正的原因其实更隐蔽RM训练数据里长回复被标注为“信息更丰富”的概率更高RM在无意识中把“长”当成了“好”。这种偏好污染一旦进到RM里PPO阶段你靠辅助惩罚很难彻底纠正。最后我是重新清洗了RM训练集删掉了一批长且无关的废话样本同时把RM的“长度特征”显式地作为惩罚项加进去才算稳住。第三个翻车PPO训练完模型在标准评测上掉了5个点。一开始我以为是对齐损失后来排查发现是训练时把通用能力的回放数据没有放进RL阶段。强化学习只盯着偏好度优化完全忘了模型原有的推理能力。解决办法是在PPO训练的每个batch里混入大约10%的SFT通用数据让模型在提升偏好的同时不忘“旧任务”。从那以后这个“10%混合法”成了我所有PPO项目的标配。4.3 几个值得长期坚持的工程习惯最后分享几个我这些年攒下来的工程习惯每一条都是真金白银换的。第一每训练200步存档一个Checkpoint并同步做一次小规模重量级评测。PPO的训练曲线不像SFT那样平滑它会在某一步突然跳水如果你没存档可能要从头再跑。定期评测的意义更直接RM分数是机器视角你需要真实人工看过模型输出之后才能判断有没有悄悄跑偏。第二奖励信号要“去极端化”。我在配置里会对RM的原始输出做一点clip或归一化把极端分数限制在合理区间。比如RM范围是[-1, 1]我倾向从-0.5到0.5的区间做缩放让中间区域的细微差异能被模型感知。极端值一旦直接进训练策略会过度关注几个异常的样本导致方差爆炸。第三KL系数的动态调整比固定不变更可靠。我推荐的做法是设一个目标KL范围比如15到50然后每100步根据实时KL去调整KL系数让KL始终在目标区间内游走。这比用一个死值跑全流程要稳得多。很多成熟框架已经内置了这个逻辑但没有的话你自己写也不复杂。第四别迷信训练框架的默认参数。框架里的default参数是跑某种通用任务调的你的任务不一定适合。尤其是在奖励函数设计、长度惩罚、采样的temperature这几个地方几乎每个项目都要单独调。我自己的流程是正式训练前先用100条prompt跑一个只进行10步更新的“烟雾测试”检查奖励曲线、KL曲线、输出文本样貌是否合理再铺开全量训练。5. 写在最后的个人体会做了这么久的大模型微调和偏好对齐我最大的体会是PPO不是一个可以直接抄答案的算法它更像是一门需要耐心调试的手艺。SFT阶段你还能靠大力出奇迹、灌更多优质数据就见效但PPO阶段数据多了没用调参不对照样全线崩溃。它是真正意义上“理解用户偏好”的训练方式代价就是你必须理解模型内部每一个环节的牵一发动全身。我个人建议所有准备上PPO的同学第一次跑不必追求什么惊天指标就把训练跑通、把日志看懂、把每个指标的变化和模型输出的变化联系起来建立你自己的“体感”。等你经历了一次KL爆炸、一次reward hacking、一次长度失控之后你对大模型的理解会比读过一百篇文章都深刻。如果你正在为自己的项目排布全流程只要记住那条主线就行先让模型学会知识SFT再给它一面镜子RM最后用PPO这根鞭子把它引向真正懂人的方向。