把系列写到第三篇终于可以把话题从“表格”和“值函数”里彻底拔出来了。前两篇我们聊了强化学习的基础问题设定也写了怎么绕过“状态太多装不下表”的尴尬——用神经网络做函数近似把DQN搭起来跑通。但如果你认真跑过DQN应该会和我有一种类似的微妙不满策略才是我们最终要的东西为什么绕了一大圈去学一个价值函数再从价值函数里抠动作这一篇我们换个坐标系直接从策略下手聊聊强化学习里目前最常用、最不容易翻车的算法之一PPO近端策略优化。我会把理论压缩到“够用就行”把Python实现逻辑和调参踩坑放到最重适合已经跑通DQN、想系统理解策略梯度类方法的读者。老实说PPO这个名字第一次看到容易劝退。近端、策略、优化每一个词都像论文里抠出来的。但剥开看它解决的其实是一个特别朴素的问题怎么让一个神经网络策略“稳稳地越变越好”。我从机械臂控制、游戏AI到各种仿真环境里和它打了很久交道可以负责任地说理解了PPO再去看它的亲戚们TRPO、SAC、TD3都会轻松很多。1. 为什么第三篇必须转向策略优化基于值的方法遇到的天花板1.1 连续动作空间里的“求最大值”有多尴尬DQN这一类基于值的方法核心是学一个Q函数在状态s下估算每个动作a的期望回报然后决策时取argmax。这个流程在离散动作空间里非常流畅比如CartPole里只有左和右表格或网络输出两个数比较大小就行。但一旦动作变成连续的问题立刻来了。你要控制一个机械臂动作是七个关节的角度变化每个维度是一个连续值。理论上Q函数还在但决策需要求解“在给定状态s下使得Q(s,a)最大的a”——这变成一个连续优化问题。每走一步都要算一遍哪怕是简单的爬山或梯度上升代价也高得吓人。更何况Q网络本身只是一个近似值对a求导得到的梯度方向很容易被误差带偏数值不稳定。记住这个核心区别基于值的方法是在“动作集合”上做选择策略优化方法是在“动作分布”上做调整。后者天然不需要argmax连续动作空间对它来说和离散动作空间没有本质差别。1.2 策略梯度让网络直接长出一个策略策略优化方法的思路很直接。我们定义一个带参数θ的策略网络π_θ(a|s)它输出的是在状态s下各个动作的概率离散或概率分布连续。目标函数写成策略在环境中能获得的期望回报J(θ) E_{τ ~ π_θ}[ Σ_t γ^t r_t ]这里的τ是一条完整轨迹。通过一段并不复杂的推导可以得到策略梯度公式∇_θ J(θ) E[ ∇_θ log π_θ(a_t|s_t) · A(s_t, a_t) ]其中A(s,a)是优势函数。这个公式的直觉极其朴素如果某个动作的优势为正就提高被选中的概率为负就降低。每个时刻都在做“好的更好坏的更差”的调整。为什么这里用的是优势A而不是直接用回报G因为减去一个只依赖于状态的基线可以显著降低方差。用一个生活类比评价一次考试你更关心的是“比平时进步了多少”而不是“绝对考了多少分”。优势函数就是“比平时好多少”的那部分基线通常是一个状态价值函数V(s)这也构成了Actor-Critic的基本形态——Actor是策略网络Critic是价值网络。1.3 REINFORCE的方差困境最早期的策略梯度算法是REINFORCE它用一条完整回合的回报作为动作的权重。数学上没错但实际训练非常酸爽采样一条轨迹可能需要几百步最后只有一两个标量奖励能用来更新整个网络。不同回合之间的随机性巨大这导致梯度方差高得离谱训练曲线像心电图。而且REINFORCE还有一个致命伤数据利用率低。每个回合采样完更新一次参数这批数据就扔掉了。想想看一个回合几百步的交互经验最后只换来一次梯度更新这在复杂环境里根本跑不动。于是人们自然想到一个办法能不能用旧策略采样的数据去更新新策略的参数如果可以数据就能重复用好几轮样本效率就上去了。这个想法落地的方式就是重要性采样也是PPO整个算法的地基。2. PPO的数学直觉从TRPO到Clip到底在保护什么2.1 重要性采样用旧数据估新策略重要性采样的核心形式是如果数据是从旧策略π_old生成的那么用它来估计新策略π_θ的期望需要在每一项上乘一个比率r_t(θ) π_θ(a_t|s_t) / π_old(a_t|s_t)当新旧策略接近时这个比率接近1当新策略偏离旧策略很远时这个比率会迅速变大或变小。你可以把r_t理解成一个“权重校准器”——旧策略下某个动作出现的次数偏多或偏少用它拉回新策略下的合理水平。理论上是这样但实际中麻烦在于重要性采样估计的方差和两个分布的差异程度成正比。如果新旧策略差太远比值可能变成几十甚至上百梯度的方差爆炸一次更新就把网络推入深渊。2.2 把比率关进笼子Clip目标函数TRPO的解法是把更新限制在一个“信任域”里——要求新旧策略的KL散度不超过一个阈值然后在这个约束下求解最优点。这个思路严谨但实现复杂需要算二阶导、共轭梯度工程上极其繁琐。PPO的精妙之处在于它把硬约束变成了一个软目标。PPO-Clip的目标函数长这样L_Clip(θ) E[ min( r_t · A_t, clip(r_t, 1-ε, 1ε) · A_t ) ]其中ε通常取0.2。这个min的用意很巧妙。当A_t为正时策略想让该动作的概率增大也就是r_t 1但如果r_t超过了1ε第二项就会更小梯度就不再鼓励继续增大。当A_t为负时策略想降低该动作概率如果r_t低于1-ε同样会停止惩罚。换句话说PPO允许你在“安全范围”内随意调整策略但想一步迈出笼子对不起梯度清零。这就是“近端”二字的含义策略更新不能离旧策略太远。2.3 KL惩罚版和Clip版怎么选PPO还有另一个变体PPO-Penalty思路是在目标函数里直接减掉KL散度项L(θ) E[ r_t · A_t ] - β · KL(π_old, π_θ)β会动态调整如果当前KL太大β加倍若太小β减半让它始终维持在一个目标区间。理论上看KL版本更优雅但我在实际使用中几乎总是选Clip版原因有三个。第一KL版本需要额外估算KL散度离散和连续动作空间量纲不一样阈值不好定第二β的调节频率和步长本身是新超参又多了一个调试点第三Clip版本在很多任务上表现相当稳定调参面更窄。当然这不意味着KL版一无是处。如果你需要严格限制每次更新对策略分布的改变比如真实机器人上线的安全边界很紧KL约束更可控。3. Python实现PPO核心四块代码拆开讲3.1 环境与网络Actor和Critic各司其职先从一个最小可运行的实现开始用常见的CartPole环境演示离散动作版本。网络设计遵循一个不成文的惯例Actor和Critic共享特征提取层可以但训练时容易互相干扰初学者建议先分开稳定后再做共享。import torch import torch.nn as nn import numpy as np from torch.distributions import Categorical class Actor(nn.Module): def __init__(self, obs_dim, act_dim, hidden64): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), nn.Linear(hidden, act_dim) ) def forward(self, x): logits self.net(x) return Categorical(logitslogits)这里有几个细节值得说。第一隐层用Tanh而不是ReLU是经验之谈策略网络往往需要更平滑的梯度面ReLU带来的尖锐拐点会在PPO更新时造成意外的比率抖动。第二Actor输出层不加Softmax因为Categorical内部会处理logits你只需要给原始打分。第三Critic网络输出的是一个标量价值估计去掉最后一维class Critic(nn.Module): def __init__(self, obs_dim, hidden64): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), nn.Linear(hidden, 1) ) def forward(self, x): return self.net(x).squeeze(-1)3.2 采集一条rollout记住终点的处理PPO是on-policy算法但有了重要性采样之后它允许把同一条rollout拿来更新多次。采集阶段要做的事用当前策略跑环境把每一步的obs、action、log_prob、reward、value以及done全部记录下来同时拿到最后一个状态的value。def collect_rollout(env, actor, critic, max_steps2048, gamma0.99): obs, _ env.reset() obs_list, act_list, logp_list [], [], [] rew_list, val_list, done_list [], [], [] total_reward 0.0 while len(obs_list) max_steps: obs_t torch.FloatTensor(obs) dist actor(obs_t) value critic(obs_t) action dist.sample() logp dist.log_prob(action) next_obs, reward, terminated, truncated, _ env.step(action.item()) done terminated or truncated obs_list.append(obs) act_list.append(action.item()) logp_list.append(logp.item()) rew_list.append(reward) val_list.append(value.item()) done_list.append(done) total_reward reward obs next_obs if done: obs, _ env.reset() last_value 0.0 if done else critic(torch.FloatTensor(obs)).item() return (obs_list, act_list, logp_list, rew_list, val_list, done_list, last_value, total_reward)初学最容易出错的地方就是last_value。很多人直接把整个序列都当成未结束来处理导致GAE高估后续回报。记住规则如果最后一步之后环境刚好donelast_value就是0否则它代表“离开rollout时剩余状态的真实价值”必须用Critic去估。3.3 GAE计算方差和偏差的平衡杆GAE广义优势估计是PPO里最值得多花两分钟理解的部分。它用一条公式统一了TD(0)和蒙特卡洛回报A_t δ_t (γλ)·δ_{t1} (γλ)²·δ_{t2} ...其中δ_t r_t γ·V(s_{t1}) - V(s_t)。λ取0时退化为一步TD偏差低但方差略高λ取1时接近蒙特卡洛偏差小但方差大。实践中λ取0.95是个非常通用的起点。def compute_gae(rewards, values, dones, last_value, gamma0.99, lam0.95): advantages np.zeros_like(rewards) gae 0.0 next_value last_value for t in reversed(range(len(rewards))): if dones[t]: next_value 0.0 delta rewards[t] gamma * next_value - values[t] gae delta gamma * lam * gae advantages[t] gae next_value values[t] returns advantages values return advantages, returns这段代码是“倒着算”的从最后一步往前累加。有一个细节dones[t]为True时把next_value清零这是避免跨episode传播价值的关键。如果你发现训练曲线在某类环境里震荡特别严重先检查这一行。3.4 PPO更新二十行代码里的手感有了优势值和回报更新部分其实非常短。核心就是计算新旧策略的log概率差得到比率然后套Clip。def ppo_update(actor, critic, opt, obs, acts, logp_old, advantages, returns, clip_eps0.2, epochs10, batch_size64, entropy_coef0.01): advantages (advantages - advantages.mean()) / (advantages.std() 1e-8) dataset_size len(obs) for _ in range(epochs): perm np.random.permutation(dataset_size) for i in range(0, dataset_size, batch_size): idx perm[i:ibatch_size] obs_b torch.FloatTensor(obs)[idx] act_b torch.LongTensor(acts)[idx] old_logp_b torch.FloatTensor(logp_old)[idx] adv_b torch.FloatTensor(advantages)[idx] ret_b torch.FloatTensor(returns)[idx] dist actor(obs_b) logp dist.log_prob(act_b) ratio (logp - old_logp_b).exp() surr1 ratio * adv_b surr2 torch.clamp(ratio, 1 - clip_eps, 1 clip_eps) * adv_b policy_loss -torch.min(surr1, surr2).mean() entropy dist.entropy().mean() value_loss nn.functional.mse_loss(critic(obs_b), ret_b) loss policy_loss 0.5 * value_loss - entropy_coef * entropy opt.zero_grad() loss.backward() nn.utils.clip_grad_norm_(actor.parameters(), 0.5) nn.utils.clip_grad_norm_(critic.parameters(), 0.5) opt.step()训练主循环只需把刚才的函数串起来env gym.make(CartPole-v1) actor Actor(env.observation_space.shape[0], env.action_space.n) critic Critic(env.observation_space.shape[0]) opt torch.optim.Adam(list(actor.parameters()) list(critic.parameters()), lr3e-4) for iteration in range(500): data collect_rollout(env, actor, critic) obs, acts, logp_old, rews, vals, dones, last_val, ep_rew data adv, ret compute_gae(rews, vals, dones, last_val) ppo_update(actor, critic, opt, obs, acts, logp_old, adv, ret) if iteration % 10 0: print(fIter {iteration}, reward {ep_rew:.2f})跑起来之后绝大多数环境在几十轮内就能看到回报明显上涨。但“能跑”和“跑得好”之间隔着整整一章节的坑。4. 这些坑你迟早会踩一遍PPO调参实感4.1 优势不标准化一个容易忽视的训练失控源前面代码里我直接加了标准化advantages (advantages - mean) / (std 1e-8)。这一步看起来随手实际影响巨大。如果奖励的尺度是几千优势值的绝对值也会跟着上千而学习率是固定的那么梯度步长在数值上会被放大到一个离谱的量级参数更新变成随机散步。我踩过一次特别典型的坑。某次在一个连续控制任务上回报在0到5000之间波动我把优势标准化这行注释掉测试效果结果Policy Loss直接从10^2漂到10^5训练曲线像刀削一样断崖崩掉。原因就是优势值没有统一标度而Adam虽然自适应但它按参数维度累积历史梯度爆炸的梯度量级会污染整个优化过程。记住这条顺序先标准化优势再做minibatch训练。这几乎成了所有开源PPO实现的默认操作不是没有理由的。4.2 熵正则防止策略“过早认命”策略网络很容易陷入一种状态前期瞎探索时某几个动作偶然拿到正奖励概率被迅速推高然后整个策略坍缩成一个几乎确定性的分布。在稀疏奖励环境里这是PPO最经典的失败模式。熵正则的作用是给目标函数加一项让策略的熵不要掉得太快。熵高意味着动作分布更均匀探索更充分熵低说明策略越来越确定但也可能越确定越偏。目标函数里的 -entropy_coef * entropy 就是在鼓励策略保持一定的随机性。我在实践中习惯把熵系数设成0.01或0.005。如果发现熵下降速度异常快先不要急着调奖励函数把entropy_coef提高到0.02试试。另一个小技巧训练日志里打印每个阶段的平均熵如果熵从初始值掉到接近0而回报还没起来基本可以判断是探索不足需要换随机种子或调高熵权重。4.3 怀疑人生时的排查顺序PPO训练失败时外界因素太多环境reward设计、超参数、网络结构、甚至数据采集顺序都可能出问题。我给自己定了一个排查顺序遇到任何训练崩盘都按这个查现象优先检查常见修复回报全程不动奖励是否太稀疏、探索不够提高熵系数、加奖励整形曲线暴涨后暴跌优势是否标准化、学习率偏高降学习率、检查梯度裁剪策略收敛到单动作熵正则权重过低提高到0.02~0.05value loss一直不降回报尺度差异大Critic输出加归一化或调小网络更新后ratio异常clip失效、logp计算错误检查old_logp是否冻结另一个很多人忽略的点time_limit截断和terminated真正终止性质不同。在CartPole这类环境里超过200步会truncated但它不代表自然结束。如果错误地把truncated当成done来处理GAE价值函数会被系统性地低估因为每段rollout末尾都被当成归零。严格来说应该分别记录许多环境库已经帮你分开返回下手前先看清楚。5. 从CartPole到连续控制只需改三处但要注意更多5.1 Actor输出的迁移从离散分布到高斯分布把PPO从离散动作环境搬到连续控制环境最直观的改动就是Actor网络。离散用Categorical连续则让网络输出动作均值μ和对数标准差log_std然后用Normal分布采样。import torch import torch.nn as nn from torch.distributions import Normal class GaussianActor(nn.Module): def __init__(self, obs_dim, act_dim, hidden256): super().__init__() self.shared nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.mu_head nn.Linear(hidden, act_dim) self.log_std nn.Parameter(torch.zeros(act_dim)) def forward(self, x): h self.shared(x) mu self.mu_head(h) std torch.exp(self.log_std.clamp(-20, 2)) return Normal(mu, std)三个关键改动输出不再是离散logits而是连续分布的均值向量log_std采用可学习参数而不是固定值可以让策略自己决定置信度log_prob计算后需要按动作维度求和dist.log_prob(action).sum(-1)因为在多维高斯分布下每个维度的对数概率要相加才是联合概率。这个改动看起来小但它直接影响梯度行为。很多人搬到连续控制后训练不稳往往不是PPO的问题而是log_std初始化不合适——初始太小策略一开始就“太自信”初始太大输出接近均匀分布探索没有方向感。我一般初始化为0对应标准差1.0让智能体从小范围探索开始。5.2 判断收敛不要只看累计奖励连续控制任务的PPO训练曲线通常比CartPole难看很多波动大、短期平台期长。如果你只盯着reward曲线很容易误判。我训练时会额外看四个指标平均熵随训练缓慢下降是正常的快速归零要警惕平均KL散度或比率均值每次PPO更新后新旧策略差异如果一直在clip边界附近说明策略在“硬撑着”往前赶可以考虑调低学习率或加大clip_epsCritic的损失如果value loss迟迟不降说明价值网络没有学到可用的价值信号回报设计大概率有问题Explained Variance这个指标衡量Critic预测对回报方差的解释程度越接近1说明价值估计越可靠。我一般以0.5以上作为“训练终于走上正轨”的粗略信号。还需要强调一点PPO本质是on-policy算法单次训练曲线受随机种子影响非常大。我见过同一个任务只换seed一个跑出完美收敛一个完全原地踏步。所以下结论前至少跑3到5个随机种子用平均曲线和中位曲线说话不要拿一次漂亮的结果当成算法能力。5.3 为什么我推荐先掌握PPO再去碰其他算法PPO不是每个场景里最强的算法但它几乎是综合性价比最高的。相比SAC它少了很多温度系数相关的调参相比TD3它对超参数不那么敏感相比TRPO它实现起来简单太多。很多人一上来就想跑SAC或最新方法结果被一堆细节淹没反而连策略梯度都搞不清。我个人经验是先把PPO跑熟理解它的更新流程、GAE计算、熵正则的意义再去看其他算法会事半功倍。因为后续几乎所有现代算法都在处理同一个问题——如何用旧数据稳定更新新策略。PPO给了你一个最稳妥的答案模板其他算法是在这个模板上换不同的“保护机制”而已。最后分享一个我平时调试PPO的小习惯每次迭代后把ratio的均值打出来如果平均值偏离1太远说明新旧策略差异已经不小我会手动把clip_eps调小一圈。这个细节不在任何标准教程里但能帮你提前发现策略漂移的苗头比等到reward崩了再回溯要高效得多。 
长河君 · 2026/10/10 7:21:32 · 阅读 1.2k PPO算法详解：从策略梯度到近端策略优化的工程实践
把系列写到第三篇终于可以把话题从“表格”和“值函数”里彻底拔出来了。前两篇我们聊了强化学习的基础问题设定也写了怎么绕过“状态太多装不下表”的尴尬——用神经网络做函数近似把DQN搭起来跑通。但如果你认真跑过DQN应该会和我有一种类似的微妙不满策略才是我们最终要的东西为什么绕了一大圈去学一个价值函数再从价值函数里抠动作这一篇我们换个坐标系直接从策略下手聊聊强化学习里目前最常用、最不容易翻车的算法之一PPO近端策略优化。我会把理论压缩到“够用就行”把Python实现逻辑和调参踩坑放到最重适合已经跑通DQN、想系统理解策略梯度类方法的读者。老实说PPO这个名字第一次看到容易劝退。近端、策略、优化每一个词都像论文里抠出来的。但剥开看它解决的其实是一个特别朴素的问题怎么让一个神经网络策略“稳稳地越变越好”。我从机械臂控制、游戏AI到各种仿真环境里和它打了很久交道可以负责任地说理解了PPO再去看它的亲戚们TRPO、SAC、TD3都会轻松很多。1. 为什么第三篇必须转向策略优化基于值的方法遇到的天花板1.1 连续动作空间里的“求最大值”有多尴尬DQN这一类基于值的方法核心是学一个Q函数在状态s下估算每个动作a的期望回报然后决策时取argmax。这个流程在离散动作空间里非常流畅比如CartPole里只有左和右表格或网络输出两个数比较大小就行。但一旦动作变成连续的问题立刻来了。你要控制一个机械臂动作是七个关节的角度变化每个维度是一个连续值。理论上Q函数还在但决策需要求解“在给定状态s下使得Q(s,a)最大的a”——这变成一个连续优化问题。每走一步都要算一遍哪怕是简单的爬山或梯度上升代价也高得吓人。更何况Q网络本身只是一个近似值对a求导得到的梯度方向很容易被误差带偏数值不稳定。记住这个核心区别基于值的方法是在“动作集合”上做选择策略优化方法是在“动作分布”上做调整。后者天然不需要argmax连续动作空间对它来说和离散动作空间没有本质差别。1.2 策略梯度让网络直接长出一个策略策略优化方法的思路很直接。我们定义一个带参数θ的策略网络π_θ(a|s)它输出的是在状态s下各个动作的概率离散或概率分布连续。目标函数写成策略在环境中能获得的期望回报J(θ) E_{τ ~ π_θ}[ Σ_t γ^t r_t ]这里的τ是一条完整轨迹。通过一段并不复杂的推导可以得到策略梯度公式∇_θ J(θ) E[ ∇_θ log π_θ(a_t|s_t) · A(s_t, a_t) ]其中A(s,a)是优势函数。这个公式的直觉极其朴素如果某个动作的优势为正就提高被选中的概率为负就降低。每个时刻都在做“好的更好坏的更差”的调整。为什么这里用的是优势A而不是直接用回报G因为减去一个只依赖于状态的基线可以显著降低方差。用一个生活类比评价一次考试你更关心的是“比平时进步了多少”而不是“绝对考了多少分”。优势函数就是“比平时好多少”的那部分基线通常是一个状态价值函数V(s)这也构成了Actor-Critic的基本形态——Actor是策略网络Critic是价值网络。1.3 REINFORCE的方差困境最早期的策略梯度算法是REINFORCE它用一条完整回合的回报作为动作的权重。数学上没错但实际训练非常酸爽采样一条轨迹可能需要几百步最后只有一两个标量奖励能用来更新整个网络。不同回合之间的随机性巨大这导致梯度方差高得离谱训练曲线像心电图。而且REINFORCE还有一个致命伤数据利用率低。每个回合采样完更新一次参数这批数据就扔掉了。想想看一个回合几百步的交互经验最后只换来一次梯度更新这在复杂环境里根本跑不动。于是人们自然想到一个办法能不能用旧策略采样的数据去更新新策略的参数如果可以数据就能重复用好几轮样本效率就上去了。这个想法落地的方式就是重要性采样也是PPO整个算法的地基。2. PPO的数学直觉从TRPO到Clip到底在保护什么2.1 重要性采样用旧数据估新策略重要性采样的核心形式是如果数据是从旧策略π_old生成的那么用它来估计新策略π_θ的期望需要在每一项上乘一个比率r_t(θ) π_θ(a_t|s_t) / π_old(a_t|s_t)当新旧策略接近时这个比率接近1当新策略偏离旧策略很远时这个比率会迅速变大或变小。你可以把r_t理解成一个“权重校准器”——旧策略下某个动作出现的次数偏多或偏少用它拉回新策略下的合理水平。理论上是这样但实际中麻烦在于重要性采样估计的方差和两个分布的差异程度成正比。如果新旧策略差太远比值可能变成几十甚至上百梯度的方差爆炸一次更新就把网络推入深渊。2.2 把比率关进笼子Clip目标函数TRPO的解法是把更新限制在一个“信任域”里——要求新旧策略的KL散度不超过一个阈值然后在这个约束下求解最优点。这个思路严谨但实现复杂需要算二阶导、共轭梯度工程上极其繁琐。PPO的精妙之处在于它把硬约束变成了一个软目标。PPO-Clip的目标函数长这样L_Clip(θ) E[ min( r_t · A_t, clip(r_t, 1-ε, 1ε) · A_t ) ]其中ε通常取0.2。这个min的用意很巧妙。当A_t为正时策略想让该动作的概率增大也就是r_t 1但如果r_t超过了1ε第二项就会更小梯度就不再鼓励继续增大。当A_t为负时策略想降低该动作概率如果r_t低于1-ε同样会停止惩罚。换句话说PPO允许你在“安全范围”内随意调整策略但想一步迈出笼子对不起梯度清零。这就是“近端”二字的含义策略更新不能离旧策略太远。2.3 KL惩罚版和Clip版怎么选PPO还有另一个变体PPO-Penalty思路是在目标函数里直接减掉KL散度项L(θ) E[ r_t · A_t ] - β · KL(π_old, π_θ)β会动态调整如果当前KL太大β加倍若太小β减半让它始终维持在一个目标区间。理论上看KL版本更优雅但我在实际使用中几乎总是选Clip版原因有三个。第一KL版本需要额外估算KL散度离散和连续动作空间量纲不一样阈值不好定第二β的调节频率和步长本身是新超参又多了一个调试点第三Clip版本在很多任务上表现相当稳定调参面更窄。当然这不意味着KL版一无是处。如果你需要严格限制每次更新对策略分布的改变比如真实机器人上线的安全边界很紧KL约束更可控。3. Python实现PPO核心四块代码拆开讲3.1 环境与网络Actor和Critic各司其职先从一个最小可运行的实现开始用常见的CartPole环境演示离散动作版本。网络设计遵循一个不成文的惯例Actor和Critic共享特征提取层可以但训练时容易互相干扰初学者建议先分开稳定后再做共享。import torch import torch.nn as nn import numpy as np from torch.distributions import Categorical class Actor(nn.Module): def __init__(self, obs_dim, act_dim, hidden64): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), nn.Linear(hidden, act_dim) ) def forward(self, x): logits self.net(x) return Categorical(logitslogits)这里有几个细节值得说。第一隐层用Tanh而不是ReLU是经验之谈策略网络往往需要更平滑的梯度面ReLU带来的尖锐拐点会在PPO更新时造成意外的比率抖动。第二Actor输出层不加Softmax因为Categorical内部会处理logits你只需要给原始打分。第三Critic网络输出的是一个标量价值估计去掉最后一维class Critic(nn.Module): def __init__(self, obs_dim, hidden64): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), nn.Linear(hidden, 1) ) def forward(self, x): return self.net(x).squeeze(-1)3.2 采集一条rollout记住终点的处理PPO是on-policy算法但有了重要性采样之后它允许把同一条rollout拿来更新多次。采集阶段要做的事用当前策略跑环境把每一步的obs、action、log_prob、reward、value以及done全部记录下来同时拿到最后一个状态的value。def collect_rollout(env, actor, critic, max_steps2048, gamma0.99): obs, _ env.reset() obs_list, act_list, logp_list [], [], [] rew_list, val_list, done_list [], [], [] total_reward 0.0 while len(obs_list) max_steps: obs_t torch.FloatTensor(obs) dist actor(obs_t) value critic(obs_t) action dist.sample() logp dist.log_prob(action) next_obs, reward, terminated, truncated, _ env.step(action.item()) done terminated or truncated obs_list.append(obs) act_list.append(action.item()) logp_list.append(logp.item()) rew_list.append(reward) val_list.append(value.item()) done_list.append(done) total_reward reward obs next_obs if done: obs, _ env.reset() last_value 0.0 if done else critic(torch.FloatTensor(obs)).item() return (obs_list, act_list, logp_list, rew_list, val_list, done_list, last_value, total_reward)初学最容易出错的地方就是last_value。很多人直接把整个序列都当成未结束来处理导致GAE高估后续回报。记住规则如果最后一步之后环境刚好donelast_value就是0否则它代表“离开rollout时剩余状态的真实价值”必须用Critic去估。3.3 GAE计算方差和偏差的平衡杆GAE广义优势估计是PPO里最值得多花两分钟理解的部分。它用一条公式统一了TD(0)和蒙特卡洛回报A_t δ_t (γλ)·δ_{t1} (γλ)²·δ_{t2} ...其中δ_t r_t γ·V(s_{t1}) - V(s_t)。λ取0时退化为一步TD偏差低但方差略高λ取1时接近蒙特卡洛偏差小但方差大。实践中λ取0.95是个非常通用的起点。def compute_gae(rewards, values, dones, last_value, gamma0.99, lam0.95): advantages np.zeros_like(rewards) gae 0.0 next_value last_value for t in reversed(range(len(rewards))): if dones[t]: next_value 0.0 delta rewards[t] gamma * next_value - values[t] gae delta gamma * lam * gae advantages[t] gae next_value values[t] returns advantages values return advantages, returns这段代码是“倒着算”的从最后一步往前累加。有一个细节dones[t]为True时把next_value清零这是避免跨episode传播价值的关键。如果你发现训练曲线在某类环境里震荡特别严重先检查这一行。3.4 PPO更新二十行代码里的手感有了优势值和回报更新部分其实非常短。核心就是计算新旧策略的log概率差得到比率然后套Clip。def ppo_update(actor, critic, opt, obs, acts, logp_old, advantages, returns, clip_eps0.2, epochs10, batch_size64, entropy_coef0.01): advantages (advantages - advantages.mean()) / (advantages.std() 1e-8) dataset_size len(obs) for _ in range(epochs): perm np.random.permutation(dataset_size) for i in range(0, dataset_size, batch_size): idx perm[i:ibatch_size] obs_b torch.FloatTensor(obs)[idx] act_b torch.LongTensor(acts)[idx] old_logp_b torch.FloatTensor(logp_old)[idx] adv_b torch.FloatTensor(advantages)[idx] ret_b torch.FloatTensor(returns)[idx] dist actor(obs_b) logp dist.log_prob(act_b) ratio (logp - old_logp_b).exp() surr1 ratio * adv_b surr2 torch.clamp(ratio, 1 - clip_eps, 1 clip_eps) * adv_b policy_loss -torch.min(surr1, surr2).mean() entropy dist.entropy().mean() value_loss nn.functional.mse_loss(critic(obs_b), ret_b) loss policy_loss 0.5 * value_loss - entropy_coef * entropy opt.zero_grad() loss.backward() nn.utils.clip_grad_norm_(actor.parameters(), 0.5) nn.utils.clip_grad_norm_(critic.parameters(), 0.5) opt.step()训练主循环只需把刚才的函数串起来env gym.make(CartPole-v1) actor Actor(env.observation_space.shape[0], env.action_space.n) critic Critic(env.observation_space.shape[0]) opt torch.optim.Adam(list(actor.parameters()) list(critic.parameters()), lr3e-4) for iteration in range(500): data collect_rollout(env, actor, critic) obs, acts, logp_old, rews, vals, dones, last_val, ep_rew data adv, ret compute_gae(rews, vals, dones, last_val) ppo_update(actor, critic, opt, obs, acts, logp_old, adv, ret) if iteration % 10 0: print(fIter {iteration}, reward {ep_rew:.2f})跑起来之后绝大多数环境在几十轮内就能看到回报明显上涨。但“能跑”和“跑得好”之间隔着整整一章节的坑。4. 这些坑你迟早会踩一遍PPO调参实感4.1 优势不标准化一个容易忽视的训练失控源前面代码里我直接加了标准化advantages (advantages - mean) / (std 1e-8)。这一步看起来随手实际影响巨大。如果奖励的尺度是几千优势值的绝对值也会跟着上千而学习率是固定的那么梯度步长在数值上会被放大到一个离谱的量级参数更新变成随机散步。我踩过一次特别典型的坑。某次在一个连续控制任务上回报在0到5000之间波动我把优势标准化这行注释掉测试效果结果Policy Loss直接从10^2漂到10^5训练曲线像刀削一样断崖崩掉。原因就是优势值没有统一标度而Adam虽然自适应但它按参数维度累积历史梯度爆炸的梯度量级会污染整个优化过程。记住这条顺序先标准化优势再做minibatch训练。这几乎成了所有开源PPO实现的默认操作不是没有理由的。4.2 熵正则防止策略“过早认命”策略网络很容易陷入一种状态前期瞎探索时某几个动作偶然拿到正奖励概率被迅速推高然后整个策略坍缩成一个几乎确定性的分布。在稀疏奖励环境里这是PPO最经典的失败模式。熵正则的作用是给目标函数加一项让策略的熵不要掉得太快。熵高意味着动作分布更均匀探索更充分熵低说明策略越来越确定但也可能越确定越偏。目标函数里的 -entropy_coef * entropy 就是在鼓励策略保持一定的随机性。我在实践中习惯把熵系数设成0.01或0.005。如果发现熵下降速度异常快先不要急着调奖励函数把entropy_coef提高到0.02试试。另一个小技巧训练日志里打印每个阶段的平均熵如果熵从初始值掉到接近0而回报还没起来基本可以判断是探索不足需要换随机种子或调高熵权重。4.3 怀疑人生时的排查顺序PPO训练失败时外界因素太多环境reward设计、超参数、网络结构、甚至数据采集顺序都可能出问题。我给自己定了一个排查顺序遇到任何训练崩盘都按这个查现象优先检查常见修复回报全程不动奖励是否太稀疏、探索不够提高熵系数、加奖励整形曲线暴涨后暴跌优势是否标准化、学习率偏高降学习率、检查梯度裁剪策略收敛到单动作熵正则权重过低提高到0.02~0.05value loss一直不降回报尺度差异大Critic输出加归一化或调小网络更新后ratio异常clip失效、logp计算错误检查old_logp是否冻结另一个很多人忽略的点time_limit截断和terminated真正终止性质不同。在CartPole这类环境里超过200步会truncated但它不代表自然结束。如果错误地把truncated当成done来处理GAE价值函数会被系统性地低估因为每段rollout末尾都被当成归零。严格来说应该分别记录许多环境库已经帮你分开返回下手前先看清楚。5. 从CartPole到连续控制只需改三处但要注意更多5.1 Actor输出的迁移从离散分布到高斯分布把PPO从离散动作环境搬到连续控制环境最直观的改动就是Actor网络。离散用Categorical连续则让网络输出动作均值μ和对数标准差log_std然后用Normal分布采样。import torch import torch.nn as nn from torch.distributions import Normal class GaussianActor(nn.Module): def __init__(self, obs_dim, act_dim, hidden256): super().__init__() self.shared nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.mu_head nn.Linear(hidden, act_dim) self.log_std nn.Parameter(torch.zeros(act_dim)) def forward(self, x): h self.shared(x) mu self.mu_head(h) std torch.exp(self.log_std.clamp(-20, 2)) return Normal(mu, std)三个关键改动输出不再是离散logits而是连续分布的均值向量log_std采用可学习参数而不是固定值可以让策略自己决定置信度log_prob计算后需要按动作维度求和dist.log_prob(action).sum(-1)因为在多维高斯分布下每个维度的对数概率要相加才是联合概率。这个改动看起来小但它直接影响梯度行为。很多人搬到连续控制后训练不稳往往不是PPO的问题而是log_std初始化不合适——初始太小策略一开始就“太自信”初始太大输出接近均匀分布探索没有方向感。我一般初始化为0对应标准差1.0让智能体从小范围探索开始。5.2 判断收敛不要只看累计奖励连续控制任务的PPO训练曲线通常比CartPole难看很多波动大、短期平台期长。如果你只盯着reward曲线很容易误判。我训练时会额外看四个指标平均熵随训练缓慢下降是正常的快速归零要警惕平均KL散度或比率均值每次PPO更新后新旧策略差异如果一直在clip边界附近说明策略在“硬撑着”往前赶可以考虑调低学习率或加大clip_epsCritic的损失如果value loss迟迟不降说明价值网络没有学到可用的价值信号回报设计大概率有问题Explained Variance这个指标衡量Critic预测对回报方差的解释程度越接近1说明价值估计越可靠。我一般以0.5以上作为“训练终于走上正轨”的粗略信号。还需要强调一点PPO本质是on-policy算法单次训练曲线受随机种子影响非常大。我见过同一个任务只换seed一个跑出完美收敛一个完全原地踏步。所以下结论前至少跑3到5个随机种子用平均曲线和中位曲线说话不要拿一次漂亮的结果当成算法能力。5.3 为什么我推荐先掌握PPO再去碰其他算法PPO不是每个场景里最强的算法但它几乎是综合性价比最高的。相比SAC它少了很多温度系数相关的调参相比TD3它对超参数不那么敏感相比TRPO它实现起来简单太多。很多人一上来就想跑SAC或最新方法结果被一堆细节淹没反而连策略梯度都搞不清。我个人经验是先把PPO跑熟理解它的更新流程、GAE计算、熵正则的意义再去看其他算法会事半功倍。因为后续几乎所有现代算法都在处理同一个问题——如何用旧数据稳定更新新策略。PPO给了你一个最稳妥的答案模板其他算法是在这个模板上换不同的“保护机制”而已。最后分享一个我平时调试PPO的小习惯每次迭代后把ratio的均值打出来如果平均值偏离1太远说明新旧策略差异已经不小我会手动把clip_eps调小一圈。这个细节不在任何标准教程里但能帮你提前发现策略漂移的苗头比等到reward崩了再回溯要高效得多。