策略梯度这个方向我前前后后啃了快六年的强化学习赌上头发跟你保证它是整个深度强化学习里最绕、但也最值得弄懂的一根主线。网上讲策略梯度的文章多如牛毛但要么只丢一堆公式让你自己悟要么就贴一段代码让你跑完就忘。这篇不一样我打算把我从理论推导到实际调参踩过的所有坑一次性倒给你。不管你是刚入门想搞懂原理还是已经写出了自己的PPO但效果怎么都不对这篇文章应该都能给你提供一些新鲜的角度。我先说个最直观的感受策略梯度和我之前折腾的Q-learning完全不是一个路子。Q-learning是我先估算每个动作将来能拿多少分然后选分最高的那个动作策略梯度则是我直接用一个神经网络来当大脑这个大脑根据当前看到的情况决定每个动作该被选中的概率。这两者最核心的区别在于策略梯度把选择动作这个决策过程本身变成了一个可以求导的数学函数。既然能求导就可以用梯度上升去直接优化选择动作的规则而不需要通过估算价值来间接推导策略。这带来的好处是实打实的。动作空间如果大得离谱比如让机械臂输出一个连续的角度值或者让游戏角色输出一个连续的转向力度Q-learning那套枚举所有动作算Q值的做法就直接崩溃了因为动作根本数不完。策略梯度天生就能处理这种情况它输出的是一个概率分布或者连续值自然而然地覆盖了连续控制场景。再加上它天生支持随机策略探索这个老难题也顺带被解决了因为策略网络自带的概率分布就是对环境的不确定性建模。还有一个让策略梯度在学术界和工业界都站稳脚跟的理由就是它特别适合做端到端的训练。你输入像素或者传感器数据中间过一个策略网络输出直接就是动作指令。整条链路是个完整的可微函数从最终的奖励倒推回网络的每一个参数一气呵成。PG的这套逻辑贯穿了后来的A2C、A3C、PPO、TRPO、DDPG、TD3、SAC一系列算法所以如果把策略梯度这根线捋顺了后面再学什么新算法都不费劲。那变体这么多到底该怎么选从我个人的实战经验来看离散动作空间比如游戏里按不按跳、走左还是走右首选PPO它稳定、命令式调参、效果也说得过去。连续动作空间比如机器人关节力矩、自动驾驶转向角度则要看情况如果环境比较简单DDPG或者TD3都能跑得不错如果环境复杂、对探索要求高SAC最大熵策略梯度往往是最优选择它的熵正则项可以防止策略过早收敛到局部最优。经典REINFORCE更多是教学价值和验证想法的最小实现真实项目里直接用其实挺少的。搞清楚了策略梯度到底是什么、为什么重要以及主流变体的适用边界下面就该动真格的了。我先把优化对象和目标函数这层窗户纸捅破让你从第一性原理的角度理解它究竟在优化什么。1. 理解策略梯度的核心思想它究竟在优化什么很多教程上来就甩公式导致初学者把策略梯度当成一个黑盒。其实它要解决的问题特别朴素当一个智能体处在某个状态时凭什么向右转的概率是0.7而不是0.2策略梯度要做的就是通过调整神经网络参数让好动作的概率提高、坏动作的概率降低。1.1 从一个生活化的例子理解策略选择想象你在一家餐厅点菜策略就是你决定点A套餐还是B套餐的规则。刚开始你完全没经验所以点什么都随缘。但如果你有朋友告诉你上次我点B套餐觉得特别值你就会把B套餐的权重调高一点。策略梯度干的事情就是这事儿只不过它把朋友评价换成了奖励信号把调高权重换成了梯度上升。不过事情没这么简单你得到的奖励往往不是一个数字那么简单。有时候你点了B套餐吃完觉得不错正奖励但这份奖励到底是套餐本身的功劳还是因为你今天太饿了强化学习里管这个叫信用分配问题。策略梯度解决这个问题的方法是不只看当前的即时奖励而是看从当前时刻开始累积的总回报——把未来所有奖励加起来再乘以一个折扣系数。这样做的好处是策略网络能学会延迟满足比如在围棋里牺牲一个局部子去换取全局优势。1.2 为什么直接选最优动作行不通有人可能会问既然Q-learning能找出最优动作为什么还要搞一套新的策略梯度方法这里的关键是最优动作这个概念本身就模糊。对于连续控制任务比如让机器人关节输出一个2.15178牛的力矩所谓的最优动作是一个连续的浮点数Q-learning要找出它等于在一个无穷大的集合里搜索最大值计算上完全不可行。而策略梯度输出的是这个力矩的均值比如μ2.15和一个方差比如σ0.1然后从正态分布中采样完美绕开了搜索这个死结。即便在离散空间Q-learning也会出问题如果Q值估偏差一丁点动作的排序就可能翻转导致策略剧烈震荡。策略梯度仗着它是参数化的函数天然具备平滑性——网络参数的小幅更新只会导致动作概率的小幅变化这种平滑性在工程上是巨大的优势训练过程稳定得多。1.3 一个术语约定和主流文献对齐的口径在动手之前先把术语统一一下否则看任何论文都会被绕晕。我们约定策略是一个函数π它接收状态s输出动作a的概率离散时是概率分布连续时是概率密度。参数θ是神经网络的权重所以完整写法是π_θ(a|s)。我们的目标是找到一组θ使得期望回报J(θ)最大。这里的期望是指在当前策略π_θ下与环境交互生成一条轨迹一串状态、动作、奖励的序列然后把这条轨迹上所有折扣过的奖励加起来的平均值。所有策略梯度算法本质都是在估计这个目标函数J(θ)关于θ的梯度然后做梯度上升。2. 策略梯度的数学原理与公式拆解为什么可行性是根基说实话我当年第一次看到策略梯度定理的推导时也头大。但把它拆成几个小块每一步其实都有非常直觉化的解释。2.1 核心公式的逐项拆解策略梯度定理的最终形式如下这里用文字描述方便没有公式渲染环境的读者∇J(θ) E_{τ~π_θ} [ Σ_t ∇log π_θ(a_t|s_t) × R(τ) ]这个公式看着吓人其实拆开就三部分第一部分是∇log π_θ(a_t|s_t)这是对选择出当前动作这个概率的对数取梯度。它回答的问题是如果在当前状态下我的策略网络给了这个动作0.4的概率那么要让这个概率进一步上升网络的参数该往哪个方向调。这个方向就是梯度。第二部分是R(τ)这是这条轨迹的累积回报。它相当于一个标量权重如果这条轨迹回报是正的那上述梯度方向就朝增大该动作概率的方向走如果回报是负的就反过来减小该动作的概率。第三部分是E期望符号。因为在真实训练中我们不可能穷举所有可能的轨迹我们只能用采样来近似这一期望。每采样一条轨迹就等于从期望分布里抽了一个样本。采样足够多期望就被估计得越准。2.2 为什么概率的对数无处不在你可能好奇为什么偏偏是log而不是直接对概率求梯度这里藏着两个实用理由。第一log把乘法变成了加法这在计算上是大好事。一条完整的轨迹里每一步动作的概率要相乘起来才是整条轨迹的概率而相乘在数值上很容易下溢特别是一长串概率连乘取log之后就变成连加稳如老狗。第二∇log π_θ(a|s) ∇π_θ(a|s) / π_θ(a|s)这个除法的形式有个奇妙的作用它会自动对不太可能被选中的动作给出更大的梯度步长而对高频动作给出更小的步长相当于一种自适应的学习率修正。从另一个角度理解这个技巧在统计里叫似然比或者重要采样的思想我们想知道如果策略参数稍微变一下这条轨迹出现的概率会怎么变用log就能把这个变化率干净利落地表示出来。这也是为什么几乎所有PG算法从REINFORCE到PPO公式里都离不开log π这一项。2.3 引入Baseline降低方差的关键一步策略梯度有一个名声在外的软肋方差大。为了缓解这个问题有一个几乎人尽皆知的改进——减去一个Baseline基线。我们用b(s)表示一个和动作无关的基线值公式变成∇J(θ) E[ Σ_t ∇log π_θ(a_t|s_t) × (R(τ) - b(s_t)) ]这个减法是有严格数学证明的。因为Σ_t ∇log π_θ(a_t|s_t)在期望意义下等于0这一步推导在主流强化学习教材里都能找到所以加一个不依赖动作的项不会改变梯度的期望值只改变它的方差。直观理解就是如果R(τ)有时是100有时是-50直接拿它当权重梯度的波动就会大得吓人但如果我们先做个减法比如减去平均值把每个回报变成一个相对值——比平均水平高出多少梯度就稳定多了。选b(s)有个期权窍门最优的基线是状态价值函数V(s)。也就是说用V(s)作为baseline相当于问每个动作与当前状态平均水平相比你能带来多少额外优势。这个概念被正式定义为优势函数A(s,a) Q(s,a) - V(s)。几乎所有现代PG算法A2C、PPO、GAE都在围绕如何更好地估计这个优势函数做文章。2.4 从REINFORCE到Actor-Critic直觉上发生了什么进步REINFORCE是策略梯度最原始的形态它用一整条轨迹的累积回报R(τ)作为权重简单粗暴但由于轨迹的随机性太强方差大得离谱。打个比方你用一整天的炒股盈亏来决定明天是否该继续当前策略但今天赚了明天亏完全可能是运气跟策略好坏没关系。Actor-Critic演员-评论家的改进在于引入了一个评论家批评网络它专门负责估计状态的价值V(s)。更新策略时就拿着当前回报减去评论家给出的预估价值当权重本质是用一个学习到的基线替代简单的蒙特卡洛回报。这么做的好处在于评论家网络能看到更多的历史经验和状态信息它的估计比单一轨迹更平滑策略网络只需要关注相对优势而不是绝对回报训练信号的信噪比大幅提升。如今工业界用得最多的PPO就是在这个框架之上增加了裁剪目标把更新步长控制在安全范围内避免一步迈太大导致策略直接崩盘。3. 主流策略梯度算法家族详解从REINFORCE到PPO、SAC纸上谈兵到此为止。这个部分我讲点实在的每种算法的核心思想是什么、算法伪代码长什么样、在什么场景下用、我实际用下来有什么感受。3.1 REINFORCE——最小的实现理解一切的基石REINFORCE的思想一句话收集一整条轨迹算总回报然后用总回报当权重去更新策略网络。具体流程如下用当前策略π_θ在环境里跑完一整条轨迹记录每一步的状态、动作、奖励从结束后往前倒着算每一步的折扣回报G_t r_t γ·r_{t1} γ²·r_{t2} ...对每个时刻t计算loss -log π_θ(a_t|s_t) × G_t然后取平均对θ求梯度θ θ α × ∇θ执行梯度上升严格来说是梯度下降更新loss因为前面加了负号。我在一个小型的CartPole环境上跑过REINFORCE收敛速度确实慢大概要几百个episode才能稳定。这个算法的致命弱点是方差太大一条轨迹里偶尔有几个好奖励就会主导整个梯度更新。但它作为教学用例无可替代因为每一个概念轨迹、折扣回报、对数概率梯度都在里面露了脸。如果你想深入理解PG我建议一定亲手实现一次REINFORCE而不是直接用PPO库。3.2 Actor-Critic家族A2C与优势函数A2CAdvantage Actor-Critic在REINFORCE的基础上多了一个Critic网络用来估计V(s)。A2C的更新流程采样batch个transitions, a, r, s用Critic网络计算V(s)和V(s)进而算出优势A r γ·V(s) - V(s)Actor网络的loss -log π(a|s) × A注意A不取梯度Critic网络的loss ||A||²即让价值估计越来越准两个网络各自更新。A2C的核心优势是每个时间步都可以做一次更新而不需要等一整条轨迹跑完学习效率大幅提升。但我必须提醒一点A2C对超参数非常敏感尤其是Critic的学习率如果设置过大会导致价值估计发散进而污染Actor的学习信号。今天回头看A2C已经不算是最前沿的选择了但它仍然是理解策略梯度加价值函数组合思维的最佳范例。3.3 TRPO与PPO如何安全地迈出每一步TRPO的出现是策略梯度历史上一个里程碑。它的核心约束是每次参数更新后新旧策略的KL散度不能超过某个阈值。翻译成人话就是你不能一股脑把策略改得面目全非每步只能迈一小步且要保证新旧策略在分布上别差太远。TRPO算法有个看起来很美的理论保证——单调改进但它在实现上要解一个二阶近似问题计算复杂度极高工程落地非常痛苦。PPO就是TRPO的低成本替代方案。我用了很久PPO它的核心就一个技巧裁剪。把新旧策略的概率比写成r_t(θ)目标函数变成L(θ) E[ min(r_t(θ)·A_t, clip(r_t(θ), 1-ε, 1ε)·A_t) ]也就是说不论优势是正的还是负的只要新策略偏离旧策略太远就把目标函数压住防止更新过量。这个裁剪操作只需要一阶梯度就能实现计算量比TRPO低一个量级效果却几乎持平。开源社区里稳定跑的游戏机器人任务百分之七八十都是PPO的变体这个地位基本坐实了。我在实际调PPO时有一个直观经验ε通常取0.2如果训练不稳可以降到0.1GAE的λ参数建议从0.95起步环境需要长期信用分配时调到0.99短视任务则调到0.8。不要试图一次性调太多超参数一次只动一个否则效果变差了都不知道是谁的锅。3.4 连续动作空间的王牌DDPG、TD3与SAC连续控制场景比如机械臂、自动驾驶、以及很多仿真环境策略梯度必须输出连续值。这时候有两个路线一个是直接基于确定性策略梯度定理的DDPG它输出一个确定性的动作值而不是概率分布另一个是最大熵框架下的SAC它仍然输出概率分布但额外加了一个熵正则项。DDPG的bug在于它对超参数敏感很容易过度估计Q值导致策略在实际环境中表现不佳。TD3解决了这个问题的七八成核心手段是双Q网络取两者最小值加延迟更新Actor教Critic慢半拍更新。TD3在大多数连续控制基准上表现良好但它的弱点在于探索能力一般因为策略是确定性的探索本质上依赖于给动作加噪音。SAC则从另一个角度切入在目标函数里加入一个熵项。熵越高策略的随机性越大越不容易过早收敛到局部最优。SAC的训练稳定性和最终性能都极度出色几乎成了连续控制任务的首选算法。代价是它需要调三个温度相关参数超参搜索空间更大对算力的要求也更高。4. 策略梯度的实战实现要点稳定训练的先决条件理论读得再通透写出来的代码不收敛就是白搭。这个部分我把自己踩坑、填坑、再踩新坑的实战经验拆开揉碎讲一讲。4.1 环境与接口设计从游戏到仿真的适配思路PG算法本身不关心你的环境是雅达利游戏还是机械臂仿真但接口设计会影响你调试的难度。我现在设计交互接口时固定遵循一个原则把动作空间的类型离散/连续、观测空间的维度、奖励的范围显式记录下来并且在启动训练前先用一个随机策略跑几个episode统计一下奖励的均值和方差。这一步极其重要。如果随机策略的平均回报是20而你的算法训练了一千个episode才勉勉强强到25那说明算法基本没学会任何东西如果随机策略是-5训练后稳定在100以上才说明策略学到了有效的信号。这个随机基准让我少走了好多弯路——很多次我以为是超参数调得不好最终发现是环境奖励本身设计得就有问题。4.2 网络结构设计不只是堆几层全连接PG里的Actor网络和Critic网络的结构设计有点讲究但不多重点在于分家。如果你把策略网络和价值网络放到同一个网络里共享底层特征在小规模任务上没什么问题但到了复杂任务比如图像输入共享底部特征可以大幅提升采样效率而到了任务目标冲突明显的场景共享反而会让梯度互相干扰。我的习惯是小规模低维输入比如CartPole全分开各自独立两三层的MLP大规模图像输入则先共享一个卷积Encoder后面分成Actor和Critic两个头。激活函数也有讲究。Actor输出层如果处理连续动作常用tanh来把输出限制在[-1,1]或做线性缩放如果处理离散动作最后接Softmax输出概率分布。Critic输出层一般不加激活函数因为它要拟合的是任意范围的累积回报。隐藏层的话ReLU在大多数场景下是最稳的SELU或Mish在部分任务上能小幅提升但没必要为了涨点一个百分点去换调试复杂度。4.3 超参数调节的黄金三角学习率、折扣因子、GAE超参数是PG调优的真正主战场。我说说每一类超参数的脾气学习率的坑最深。我已经记不清有多少次因为学习率设置过大导致策略在几百万步之后突然崩掉性能曲线像坐过山车一样上去又掉下来。我的建议是Actor和Critic分开设学习率Actor的学习率取Critic的五分之一甚至十分之一。如果发现训练初期策略就不稳定第一件事是把Actor的学习率再除以10试试。同时强烈建议使用线性学习率衰减或者是Adam优化器并配合gradient clipping把梯度范数限制在40左右能有效防止极端样本导致的参数爆炸。折扣因子γ决定策略的眼界远近。γ越接近1模型越看重长远回报但方差也会随之增大γ越小模型越短视训练越快但容易陷入局部最优。在多数环境中γ取0.99是个稳妥的选择只有类似CartPole这类极短任务才建议0.9到0.95之间。GAE广义优势估计是我觉得PG训练中最重要的调参工具。它的λ参数在0到1之间控制优势估计的偏差与方差权衡。λ0时退化成一步TD误差偏差大但方差小λ1时退化成蒙特卡洛回报方差大但偏差小。我用下来发现如果环境奖励非常稀疏λ往0.99调如果环境奖励噪声大、容易震荡λ往0.9调。先固定其他参数单独扫一遍λ往往能获得显著收益。4.4 奖励设计和归一化很多人书架在此处重复但不重复地强调奖励设计是重中之重。如果你设计的奖励函数里有两个分量在打架比如既要机器人物块移动得快又要它稳那策略优化会在两个目标之间反复横跳终局就是不收敛。归一化也是门大学问。一种常见做法是对奖励做Running Normalization运行归一化即维护一个滑动均值和方差把奖励除以标准差。但这里有个禁忌不要在训练初期就做严格归一化因为初期价值估计不准归一化反而会放大噪声。我的做法是先跑几个episode收集统计量等值稳定了再开归一化或者干脆不用奖励归一化改用裁剪奖励——把单步奖励限制到[-1,1]处理极端离群值时很有效。5. 策略梯度训练中的常见问题与排查技巧实录聊完了设计和实现现在进入我最有心得的部分debug。PG算法训练出了问题大头都跑不出下面这几个方向。5.1 现象损失下降了但策略性能没提升这是我见过最多的假象。策略网络的loss数值在下降负号目标变小说明梯度在上涨但你在环境中测试发现智能体仍然是个傻子。此时第一件事确认优势函数是否计算正确。我犯过的一个典型错误是优势计算里忘了对rγV(s)做detach导致梯度倒灌到Critic又通过Critic流回Actor整个梯度路径乱套。检查方法很简单在训练早期把优势的均值和方差打出来如果优势值小到1e-6级别那很可能出现了优势消失问题——策略在更新时根本接收不到有效信号。另一个很隐蔽的原因是Critic的估计开始偏大导致优势值整体变小甚至变负。这个情况可以盯一下Value Loss如果它快速掉到接近零而优势均值也在同步缩小多半就是Critic过度自信了把它学习率压低会有帮助。5.2 现象训练中期的策略突然崩溃策略刚刚已经学到不错的水平比如平均回报从20涨到了80突然在某个epoch之后性能暴跌甚至掉回随机水平。对我而言这个几乎可以锁定为策略更新过大。检查项如下Actor的学习率是否太大PPO的话检查clip比例的均值正常应该在0.05到0.2之间如果普遍超过0.3说明策略每步迈得太远了要么降低学习率要么缩小ε。梯度爆炸盯住训练日志里的grad_norm如果出现几百上千的值说明梯度已经失控gradient clipping没到位。每轮训练更新的epoch数是否过多PPO里如果一次采样的数据被重复利用太多次策略就会被推向一个和当前样本分布不匹配的极端区域。这个指标我建议控制在3到5个epoch之内。5.3 现象训练可以收敛但复现性差换一次随机种子最终性能能差出一倍多。这个问题的根源是PG的蒙特卡洛估计天然方差大要做的不是抱怨而是提高评估的置信度。切实有效的手段第一固定随机种子保证同一配置的可复现性至少在同机同版本下可行第二多次运行取中位数而不是取一次最好成绩第三训练过程中的checkpoint选优要谨慎——不要选训练曲线上最高的那一个点那个点往往是运气爆棚的偶发事件选倒数第5个或第10个点鲁棒性往往更好。5.4 现象PPO输出动作全是一个固定值熵崩了如果训练一段时间后你发现策略网络输出的动作概率分布几乎变成了one-hot也就是熵接近于零这通常是过早收敛信号。策略在早期偶然尝到一点甜头就把所有概率压到了一个动作上随后陷入局部最优。应对方法有这么几个方向增加探索噪声调大熵系数PPO里有个entropy_coef超参数默认通常是0.0但如果你发现熵崩了试着调到0.01附近鼓励策略保持一定的随机性重新设计奖励让中间态也有梯度信号而只有终局才有奖励。如果你用的是SAC它的熵正则项会自己管理探索量但需要留意温度参数是否退化如果温度降到极低探索也会失效。6. 策略梯度的进阶技巧与我的最终经验沉淀最后这部分分享一些我长期积累的、很难在教科书上看到的小技巧也是我团队内部的常规操作。6.1 从并行环境到帧堆叠的工程实践并行环境几乎是PG训练的标准配置了。因为PG的梯度估计依赖大量采样单环境的串行采样效率低到令人发指。比如MuJoCo机器人环境单环境跑步设想吃到有效的梯度信号可能要几个小时而32个并行环境只需几分钟。并行环境的实现有一个细节容易被忽略需要保证每个环境的随机种子不同否则多个环境会给出完全相同的轨迹那就跟单环境跑了一遍没区别。此外在一些视觉任务中帧堆叠把连续4帧拼接成一个状态输入是必须的因为只有一帧图片无法反映物体的运动方向。我第一次做雷鸟游戏时因为只输入单帧画面策略怎么都学不会追踪高速飞行的目标后来改成帧堆叠性能直接上了一个台阶。6.2 关于探索与利用的平衡手动加噪的艺术如果发现自己用的算法比如DDPG探索不足可以尝试在动作上加一个随时间衰减的高斯噪声也就是ϵ-greedy的连续动作版。我常用的套路是训练初始阶段噪声标准差设为0.3随着训练步数线性衰减到0.05。这个衰减的速度要与环境的复杂程度匹配任务越复杂噪声保持的时间越长。PPO这类on-policy算法自带随机策略所以不用刻意加噪但当熵系数设置得太大时策略会变成一个到处乱撞的随机游走学习效率很低。此时可以观察平均熵这个指标如果熵一直居高不下且造成的agent始终无法形成稳定策略就该调低熵权重。6.3 从判断到工程个人项目应当避开的坑最后说几个特别容易在个人项目中踩到的坑第一不要过早引入复杂的分布式框架先单机跑通。很多人一上来就上Ray、分布式经验池结果问题定位变成了一场灾难。单机能跑通再加分布式也不迟。第二保存模型时一定要同时保存环境的配置、超参、随机种子和网络结构代码版本。否则三个月后你回去看旧模型完全不知道当时的网络结构或者环境状态排错成本极高。第三定期跑一遍无梯度的随机策略作为下限基准。如果你的算法表现差于随机策略那说明大概率是训练出了问题而不是环境的奖励设计得太难。这个简单的对比能帮你挡掉七八成无效调参。第四可视化的重要性怎么强调都不为过。我建议至少把以下几条线画出来平均回报、平均优势、Value Loss、entropy、grad_norm。如果你只看一条平均回报曲线那等于蒙着眼睛开车。对于策略梯度这个方向我的体会是它不像监督学习那样能靠一个验证集指标来驱动调参你始终在和不稳定性搏斗但这正是它迷人的地方——当一条完整的策略曲线在训练过程中一路向上最终把智能体训练成一个在那个环境里游刃有余的决策者时那种成就感是任何别的任务都给不了的。如果你现在正准备拿策略梯度做一个小项目建议选一个环境相对简单、动作空间维度低、奖励清晰的起步点比如CartPole、Pendulum或者一个简单的Grid World。把REINFORCE写明白再切到A2C最后上PPO。每一步的递进都会让你理解得更透彻到时候你回头看这篇应该会有完全不同的感受。 
长河君 · 2026/10/1 17:08:12 · 阅读 1.2k 策略梯度完全指南：从核心原理到PPO等主流算法实战
策略梯度这个方向我前前后后啃了快六年的强化学习赌上头发跟你保证它是整个深度强化学习里最绕、但也最值得弄懂的一根主线。网上讲策略梯度的文章多如牛毛但要么只丢一堆公式让你自己悟要么就贴一段代码让你跑完就忘。这篇不一样我打算把我从理论推导到实际调参踩过的所有坑一次性倒给你。不管你是刚入门想搞懂原理还是已经写出了自己的PPO但效果怎么都不对这篇文章应该都能给你提供一些新鲜的角度。我先说个最直观的感受策略梯度和我之前折腾的Q-learning完全不是一个路子。Q-learning是我先估算每个动作将来能拿多少分然后选分最高的那个动作策略梯度则是我直接用一个神经网络来当大脑这个大脑根据当前看到的情况决定每个动作该被选中的概率。这两者最核心的区别在于策略梯度把选择动作这个决策过程本身变成了一个可以求导的数学函数。既然能求导就可以用梯度上升去直接优化选择动作的规则而不需要通过估算价值来间接推导策略。这带来的好处是实打实的。动作空间如果大得离谱比如让机械臂输出一个连续的角度值或者让游戏角色输出一个连续的转向力度Q-learning那套枚举所有动作算Q值的做法就直接崩溃了因为动作根本数不完。策略梯度天生就能处理这种情况它输出的是一个概率分布或者连续值自然而然地覆盖了连续控制场景。再加上它天生支持随机策略探索这个老难题也顺带被解决了因为策略网络自带的概率分布就是对环境的不确定性建模。还有一个让策略梯度在学术界和工业界都站稳脚跟的理由就是它特别适合做端到端的训练。你输入像素或者传感器数据中间过一个策略网络输出直接就是动作指令。整条链路是个完整的可微函数从最终的奖励倒推回网络的每一个参数一气呵成。PG的这套逻辑贯穿了后来的A2C、A3C、PPO、TRPO、DDPG、TD3、SAC一系列算法所以如果把策略梯度这根线捋顺了后面再学什么新算法都不费劲。那变体这么多到底该怎么选从我个人的实战经验来看离散动作空间比如游戏里按不按跳、走左还是走右首选PPO它稳定、命令式调参、效果也说得过去。连续动作空间比如机器人关节力矩、自动驾驶转向角度则要看情况如果环境比较简单DDPG或者TD3都能跑得不错如果环境复杂、对探索要求高SAC最大熵策略梯度往往是最优选择它的熵正则项可以防止策略过早收敛到局部最优。经典REINFORCE更多是教学价值和验证想法的最小实现真实项目里直接用其实挺少的。搞清楚了策略梯度到底是什么、为什么重要以及主流变体的适用边界下面就该动真格的了。我先把优化对象和目标函数这层窗户纸捅破让你从第一性原理的角度理解它究竟在优化什么。1. 理解策略梯度的核心思想它究竟在优化什么很多教程上来就甩公式导致初学者把策略梯度当成一个黑盒。其实它要解决的问题特别朴素当一个智能体处在某个状态时凭什么向右转的概率是0.7而不是0.2策略梯度要做的就是通过调整神经网络参数让好动作的概率提高、坏动作的概率降低。1.1 从一个生活化的例子理解策略选择想象你在一家餐厅点菜策略就是你决定点A套餐还是B套餐的规则。刚开始你完全没经验所以点什么都随缘。但如果你有朋友告诉你上次我点B套餐觉得特别值你就会把B套餐的权重调高一点。策略梯度干的事情就是这事儿只不过它把朋友评价换成了奖励信号把调高权重换成了梯度上升。不过事情没这么简单你得到的奖励往往不是一个数字那么简单。有时候你点了B套餐吃完觉得不错正奖励但这份奖励到底是套餐本身的功劳还是因为你今天太饿了强化学习里管这个叫信用分配问题。策略梯度解决这个问题的方法是不只看当前的即时奖励而是看从当前时刻开始累积的总回报——把未来所有奖励加起来再乘以一个折扣系数。这样做的好处是策略网络能学会延迟满足比如在围棋里牺牲一个局部子去换取全局优势。1.2 为什么直接选最优动作行不通有人可能会问既然Q-learning能找出最优动作为什么还要搞一套新的策略梯度方法这里的关键是最优动作这个概念本身就模糊。对于连续控制任务比如让机器人关节输出一个2.15178牛的力矩所谓的最优动作是一个连续的浮点数Q-learning要找出它等于在一个无穷大的集合里搜索最大值计算上完全不可行。而策略梯度输出的是这个力矩的均值比如μ2.15和一个方差比如σ0.1然后从正态分布中采样完美绕开了搜索这个死结。即便在离散空间Q-learning也会出问题如果Q值估偏差一丁点动作的排序就可能翻转导致策略剧烈震荡。策略梯度仗着它是参数化的函数天然具备平滑性——网络参数的小幅更新只会导致动作概率的小幅变化这种平滑性在工程上是巨大的优势训练过程稳定得多。1.3 一个术语约定和主流文献对齐的口径在动手之前先把术语统一一下否则看任何论文都会被绕晕。我们约定策略是一个函数π它接收状态s输出动作a的概率离散时是概率分布连续时是概率密度。参数θ是神经网络的权重所以完整写法是π_θ(a|s)。我们的目标是找到一组θ使得期望回报J(θ)最大。这里的期望是指在当前策略π_θ下与环境交互生成一条轨迹一串状态、动作、奖励的序列然后把这条轨迹上所有折扣过的奖励加起来的平均值。所有策略梯度算法本质都是在估计这个目标函数J(θ)关于θ的梯度然后做梯度上升。2. 策略梯度的数学原理与公式拆解为什么可行性是根基说实话我当年第一次看到策略梯度定理的推导时也头大。但把它拆成几个小块每一步其实都有非常直觉化的解释。2.1 核心公式的逐项拆解策略梯度定理的最终形式如下这里用文字描述方便没有公式渲染环境的读者∇J(θ) E_{τ~π_θ} [ Σ_t ∇log π_θ(a_t|s_t) × R(τ) ]这个公式看着吓人其实拆开就三部分第一部分是∇log π_θ(a_t|s_t)这是对选择出当前动作这个概率的对数取梯度。它回答的问题是如果在当前状态下我的策略网络给了这个动作0.4的概率那么要让这个概率进一步上升网络的参数该往哪个方向调。这个方向就是梯度。第二部分是R(τ)这是这条轨迹的累积回报。它相当于一个标量权重如果这条轨迹回报是正的那上述梯度方向就朝增大该动作概率的方向走如果回报是负的就反过来减小该动作的概率。第三部分是E期望符号。因为在真实训练中我们不可能穷举所有可能的轨迹我们只能用采样来近似这一期望。每采样一条轨迹就等于从期望分布里抽了一个样本。采样足够多期望就被估计得越准。2.2 为什么概率的对数无处不在你可能好奇为什么偏偏是log而不是直接对概率求梯度这里藏着两个实用理由。第一log把乘法变成了加法这在计算上是大好事。一条完整的轨迹里每一步动作的概率要相乘起来才是整条轨迹的概率而相乘在数值上很容易下溢特别是一长串概率连乘取log之后就变成连加稳如老狗。第二∇log π_θ(a|s) ∇π_θ(a|s) / π_θ(a|s)这个除法的形式有个奇妙的作用它会自动对不太可能被选中的动作给出更大的梯度步长而对高频动作给出更小的步长相当于一种自适应的学习率修正。从另一个角度理解这个技巧在统计里叫似然比或者重要采样的思想我们想知道如果策略参数稍微变一下这条轨迹出现的概率会怎么变用log就能把这个变化率干净利落地表示出来。这也是为什么几乎所有PG算法从REINFORCE到PPO公式里都离不开log π这一项。2.3 引入Baseline降低方差的关键一步策略梯度有一个名声在外的软肋方差大。为了缓解这个问题有一个几乎人尽皆知的改进——减去一个Baseline基线。我们用b(s)表示一个和动作无关的基线值公式变成∇J(θ) E[ Σ_t ∇log π_θ(a_t|s_t) × (R(τ) - b(s_t)) ]这个减法是有严格数学证明的。因为Σ_t ∇log π_θ(a_t|s_t)在期望意义下等于0这一步推导在主流强化学习教材里都能找到所以加一个不依赖动作的项不会改变梯度的期望值只改变它的方差。直观理解就是如果R(τ)有时是100有时是-50直接拿它当权重梯度的波动就会大得吓人但如果我们先做个减法比如减去平均值把每个回报变成一个相对值——比平均水平高出多少梯度就稳定多了。选b(s)有个期权窍门最优的基线是状态价值函数V(s)。也就是说用V(s)作为baseline相当于问每个动作与当前状态平均水平相比你能带来多少额外优势。这个概念被正式定义为优势函数A(s,a) Q(s,a) - V(s)。几乎所有现代PG算法A2C、PPO、GAE都在围绕如何更好地估计这个优势函数做文章。2.4 从REINFORCE到Actor-Critic直觉上发生了什么进步REINFORCE是策略梯度最原始的形态它用一整条轨迹的累积回报R(τ)作为权重简单粗暴但由于轨迹的随机性太强方差大得离谱。打个比方你用一整天的炒股盈亏来决定明天是否该继续当前策略但今天赚了明天亏完全可能是运气跟策略好坏没关系。Actor-Critic演员-评论家的改进在于引入了一个评论家批评网络它专门负责估计状态的价值V(s)。更新策略时就拿着当前回报减去评论家给出的预估价值当权重本质是用一个学习到的基线替代简单的蒙特卡洛回报。这么做的好处在于评论家网络能看到更多的历史经验和状态信息它的估计比单一轨迹更平滑策略网络只需要关注相对优势而不是绝对回报训练信号的信噪比大幅提升。如今工业界用得最多的PPO就是在这个框架之上增加了裁剪目标把更新步长控制在安全范围内避免一步迈太大导致策略直接崩盘。3. 主流策略梯度算法家族详解从REINFORCE到PPO、SAC纸上谈兵到此为止。这个部分我讲点实在的每种算法的核心思想是什么、算法伪代码长什么样、在什么场景下用、我实际用下来有什么感受。3.1 REINFORCE——最小的实现理解一切的基石REINFORCE的思想一句话收集一整条轨迹算总回报然后用总回报当权重去更新策略网络。具体流程如下用当前策略π_θ在环境里跑完一整条轨迹记录每一步的状态、动作、奖励从结束后往前倒着算每一步的折扣回报G_t r_t γ·r_{t1} γ²·r_{t2} ...对每个时刻t计算loss -log π_θ(a_t|s_t) × G_t然后取平均对θ求梯度θ θ α × ∇θ执行梯度上升严格来说是梯度下降更新loss因为前面加了负号。我在一个小型的CartPole环境上跑过REINFORCE收敛速度确实慢大概要几百个episode才能稳定。这个算法的致命弱点是方差太大一条轨迹里偶尔有几个好奖励就会主导整个梯度更新。但它作为教学用例无可替代因为每一个概念轨迹、折扣回报、对数概率梯度都在里面露了脸。如果你想深入理解PG我建议一定亲手实现一次REINFORCE而不是直接用PPO库。3.2 Actor-Critic家族A2C与优势函数A2CAdvantage Actor-Critic在REINFORCE的基础上多了一个Critic网络用来估计V(s)。A2C的更新流程采样batch个transitions, a, r, s用Critic网络计算V(s)和V(s)进而算出优势A r γ·V(s) - V(s)Actor网络的loss -log π(a|s) × A注意A不取梯度Critic网络的loss ||A||²即让价值估计越来越准两个网络各自更新。A2C的核心优势是每个时间步都可以做一次更新而不需要等一整条轨迹跑完学习效率大幅提升。但我必须提醒一点A2C对超参数非常敏感尤其是Critic的学习率如果设置过大会导致价值估计发散进而污染Actor的学习信号。今天回头看A2C已经不算是最前沿的选择了但它仍然是理解策略梯度加价值函数组合思维的最佳范例。3.3 TRPO与PPO如何安全地迈出每一步TRPO的出现是策略梯度历史上一个里程碑。它的核心约束是每次参数更新后新旧策略的KL散度不能超过某个阈值。翻译成人话就是你不能一股脑把策略改得面目全非每步只能迈一小步且要保证新旧策略在分布上别差太远。TRPO算法有个看起来很美的理论保证——单调改进但它在实现上要解一个二阶近似问题计算复杂度极高工程落地非常痛苦。PPO就是TRPO的低成本替代方案。我用了很久PPO它的核心就一个技巧裁剪。把新旧策略的概率比写成r_t(θ)目标函数变成L(θ) E[ min(r_t(θ)·A_t, clip(r_t(θ), 1-ε, 1ε)·A_t) ]也就是说不论优势是正的还是负的只要新策略偏离旧策略太远就把目标函数压住防止更新过量。这个裁剪操作只需要一阶梯度就能实现计算量比TRPO低一个量级效果却几乎持平。开源社区里稳定跑的游戏机器人任务百分之七八十都是PPO的变体这个地位基本坐实了。我在实际调PPO时有一个直观经验ε通常取0.2如果训练不稳可以降到0.1GAE的λ参数建议从0.95起步环境需要长期信用分配时调到0.99短视任务则调到0.8。不要试图一次性调太多超参数一次只动一个否则效果变差了都不知道是谁的锅。3.4 连续动作空间的王牌DDPG、TD3与SAC连续控制场景比如机械臂、自动驾驶、以及很多仿真环境策略梯度必须输出连续值。这时候有两个路线一个是直接基于确定性策略梯度定理的DDPG它输出一个确定性的动作值而不是概率分布另一个是最大熵框架下的SAC它仍然输出概率分布但额外加了一个熵正则项。DDPG的bug在于它对超参数敏感很容易过度估计Q值导致策略在实际环境中表现不佳。TD3解决了这个问题的七八成核心手段是双Q网络取两者最小值加延迟更新Actor教Critic慢半拍更新。TD3在大多数连续控制基准上表现良好但它的弱点在于探索能力一般因为策略是确定性的探索本质上依赖于给动作加噪音。SAC则从另一个角度切入在目标函数里加入一个熵项。熵越高策略的随机性越大越不容易过早收敛到局部最优。SAC的训练稳定性和最终性能都极度出色几乎成了连续控制任务的首选算法。代价是它需要调三个温度相关参数超参搜索空间更大对算力的要求也更高。4. 策略梯度的实战实现要点稳定训练的先决条件理论读得再通透写出来的代码不收敛就是白搭。这个部分我把自己踩坑、填坑、再踩新坑的实战经验拆开揉碎讲一讲。4.1 环境与接口设计从游戏到仿真的适配思路PG算法本身不关心你的环境是雅达利游戏还是机械臂仿真但接口设计会影响你调试的难度。我现在设计交互接口时固定遵循一个原则把动作空间的类型离散/连续、观测空间的维度、奖励的范围显式记录下来并且在启动训练前先用一个随机策略跑几个episode统计一下奖励的均值和方差。这一步极其重要。如果随机策略的平均回报是20而你的算法训练了一千个episode才勉勉强强到25那说明算法基本没学会任何东西如果随机策略是-5训练后稳定在100以上才说明策略学到了有效的信号。这个随机基准让我少走了好多弯路——很多次我以为是超参数调得不好最终发现是环境奖励本身设计得就有问题。4.2 网络结构设计不只是堆几层全连接PG里的Actor网络和Critic网络的结构设计有点讲究但不多重点在于分家。如果你把策略网络和价值网络放到同一个网络里共享底层特征在小规模任务上没什么问题但到了复杂任务比如图像输入共享底部特征可以大幅提升采样效率而到了任务目标冲突明显的场景共享反而会让梯度互相干扰。我的习惯是小规模低维输入比如CartPole全分开各自独立两三层的MLP大规模图像输入则先共享一个卷积Encoder后面分成Actor和Critic两个头。激活函数也有讲究。Actor输出层如果处理连续动作常用tanh来把输出限制在[-1,1]或做线性缩放如果处理离散动作最后接Softmax输出概率分布。Critic输出层一般不加激活函数因为它要拟合的是任意范围的累积回报。隐藏层的话ReLU在大多数场景下是最稳的SELU或Mish在部分任务上能小幅提升但没必要为了涨点一个百分点去换调试复杂度。4.3 超参数调节的黄金三角学习率、折扣因子、GAE超参数是PG调优的真正主战场。我说说每一类超参数的脾气学习率的坑最深。我已经记不清有多少次因为学习率设置过大导致策略在几百万步之后突然崩掉性能曲线像坐过山车一样上去又掉下来。我的建议是Actor和Critic分开设学习率Actor的学习率取Critic的五分之一甚至十分之一。如果发现训练初期策略就不稳定第一件事是把Actor的学习率再除以10试试。同时强烈建议使用线性学习率衰减或者是Adam优化器并配合gradient clipping把梯度范数限制在40左右能有效防止极端样本导致的参数爆炸。折扣因子γ决定策略的眼界远近。γ越接近1模型越看重长远回报但方差也会随之增大γ越小模型越短视训练越快但容易陷入局部最优。在多数环境中γ取0.99是个稳妥的选择只有类似CartPole这类极短任务才建议0.9到0.95之间。GAE广义优势估计是我觉得PG训练中最重要的调参工具。它的λ参数在0到1之间控制优势估计的偏差与方差权衡。λ0时退化成一步TD误差偏差大但方差小λ1时退化成蒙特卡洛回报方差大但偏差小。我用下来发现如果环境奖励非常稀疏λ往0.99调如果环境奖励噪声大、容易震荡λ往0.9调。先固定其他参数单独扫一遍λ往往能获得显著收益。4.4 奖励设计和归一化很多人书架在此处重复但不重复地强调奖励设计是重中之重。如果你设计的奖励函数里有两个分量在打架比如既要机器人物块移动得快又要它稳那策略优化会在两个目标之间反复横跳终局就是不收敛。归一化也是门大学问。一种常见做法是对奖励做Running Normalization运行归一化即维护一个滑动均值和方差把奖励除以标准差。但这里有个禁忌不要在训练初期就做严格归一化因为初期价值估计不准归一化反而会放大噪声。我的做法是先跑几个episode收集统计量等值稳定了再开归一化或者干脆不用奖励归一化改用裁剪奖励——把单步奖励限制到[-1,1]处理极端离群值时很有效。5. 策略梯度训练中的常见问题与排查技巧实录聊完了设计和实现现在进入我最有心得的部分debug。PG算法训练出了问题大头都跑不出下面这几个方向。5.1 现象损失下降了但策略性能没提升这是我见过最多的假象。策略网络的loss数值在下降负号目标变小说明梯度在上涨但你在环境中测试发现智能体仍然是个傻子。此时第一件事确认优势函数是否计算正确。我犯过的一个典型错误是优势计算里忘了对rγV(s)做detach导致梯度倒灌到Critic又通过Critic流回Actor整个梯度路径乱套。检查方法很简单在训练早期把优势的均值和方差打出来如果优势值小到1e-6级别那很可能出现了优势消失问题——策略在更新时根本接收不到有效信号。另一个很隐蔽的原因是Critic的估计开始偏大导致优势值整体变小甚至变负。这个情况可以盯一下Value Loss如果它快速掉到接近零而优势均值也在同步缩小多半就是Critic过度自信了把它学习率压低会有帮助。5.2 现象训练中期的策略突然崩溃策略刚刚已经学到不错的水平比如平均回报从20涨到了80突然在某个epoch之后性能暴跌甚至掉回随机水平。对我而言这个几乎可以锁定为策略更新过大。检查项如下Actor的学习率是否太大PPO的话检查clip比例的均值正常应该在0.05到0.2之间如果普遍超过0.3说明策略每步迈得太远了要么降低学习率要么缩小ε。梯度爆炸盯住训练日志里的grad_norm如果出现几百上千的值说明梯度已经失控gradient clipping没到位。每轮训练更新的epoch数是否过多PPO里如果一次采样的数据被重复利用太多次策略就会被推向一个和当前样本分布不匹配的极端区域。这个指标我建议控制在3到5个epoch之内。5.3 现象训练可以收敛但复现性差换一次随机种子最终性能能差出一倍多。这个问题的根源是PG的蒙特卡洛估计天然方差大要做的不是抱怨而是提高评估的置信度。切实有效的手段第一固定随机种子保证同一配置的可复现性至少在同机同版本下可行第二多次运行取中位数而不是取一次最好成绩第三训练过程中的checkpoint选优要谨慎——不要选训练曲线上最高的那一个点那个点往往是运气爆棚的偶发事件选倒数第5个或第10个点鲁棒性往往更好。5.4 现象PPO输出动作全是一个固定值熵崩了如果训练一段时间后你发现策略网络输出的动作概率分布几乎变成了one-hot也就是熵接近于零这通常是过早收敛信号。策略在早期偶然尝到一点甜头就把所有概率压到了一个动作上随后陷入局部最优。应对方法有这么几个方向增加探索噪声调大熵系数PPO里有个entropy_coef超参数默认通常是0.0但如果你发现熵崩了试着调到0.01附近鼓励策略保持一定的随机性重新设计奖励让中间态也有梯度信号而只有终局才有奖励。如果你用的是SAC它的熵正则项会自己管理探索量但需要留意温度参数是否退化如果温度降到极低探索也会失效。6. 策略梯度的进阶技巧与我的最终经验沉淀最后这部分分享一些我长期积累的、很难在教科书上看到的小技巧也是我团队内部的常规操作。6.1 从并行环境到帧堆叠的工程实践并行环境几乎是PG训练的标准配置了。因为PG的梯度估计依赖大量采样单环境的串行采样效率低到令人发指。比如MuJoCo机器人环境单环境跑步设想吃到有效的梯度信号可能要几个小时而32个并行环境只需几分钟。并行环境的实现有一个细节容易被忽略需要保证每个环境的随机种子不同否则多个环境会给出完全相同的轨迹那就跟单环境跑了一遍没区别。此外在一些视觉任务中帧堆叠把连续4帧拼接成一个状态输入是必须的因为只有一帧图片无法反映物体的运动方向。我第一次做雷鸟游戏时因为只输入单帧画面策略怎么都学不会追踪高速飞行的目标后来改成帧堆叠性能直接上了一个台阶。6.2 关于探索与利用的平衡手动加噪的艺术如果发现自己用的算法比如DDPG探索不足可以尝试在动作上加一个随时间衰减的高斯噪声也就是ϵ-greedy的连续动作版。我常用的套路是训练初始阶段噪声标准差设为0.3随着训练步数线性衰减到0.05。这个衰减的速度要与环境的复杂程度匹配任务越复杂噪声保持的时间越长。PPO这类on-policy算法自带随机策略所以不用刻意加噪但当熵系数设置得太大时策略会变成一个到处乱撞的随机游走学习效率很低。此时可以观察平均熵这个指标如果熵一直居高不下且造成的agent始终无法形成稳定策略就该调低熵权重。6.3 从判断到工程个人项目应当避开的坑最后说几个特别容易在个人项目中踩到的坑第一不要过早引入复杂的分布式框架先单机跑通。很多人一上来就上Ray、分布式经验池结果问题定位变成了一场灾难。单机能跑通再加分布式也不迟。第二保存模型时一定要同时保存环境的配置、超参、随机种子和网络结构代码版本。否则三个月后你回去看旧模型完全不知道当时的网络结构或者环境状态排错成本极高。第三定期跑一遍无梯度的随机策略作为下限基准。如果你的算法表现差于随机策略那说明大概率是训练出了问题而不是环境的奖励设计得太难。这个简单的对比能帮你挡掉七八成无效调参。第四可视化的重要性怎么强调都不为过。我建议至少把以下几条线画出来平均回报、平均优势、Value Loss、entropy、grad_norm。如果你只看一条平均回报曲线那等于蒙着眼睛开车。对于策略梯度这个方向我的体会是它不像监督学习那样能靠一个验证集指标来驱动调参你始终在和不稳定性搏斗但这正是它迷人的地方——当一条完整的策略曲线在训练过程中一路向上最终把智能体训练成一个在那个环境里游刃有余的决策者时那种成就感是任何别的任务都给不了的。如果你现在正准备拿策略梯度做一个小项目建议选一个环境相对简单、动作空间维度低、奖励清晰的起步点比如CartPole、Pendulum或者一个简单的Grid World。把REINFORCE写明白再切到A2C最后上PPO。每一步的递进都会让你理解得更透彻到时候你回头看这篇应该会有完全不同的感受。