1. 项目思路与整体设计1.1 为什么“稀疏奖励”值得专门逼自己做一个项目做强化学习的人应该都有过这种经验训练一个智能体让它去完成一个目标结果跑了上百万步奖励曲线始终躺平不动。最磨人的场景就是稀疏奖励环境——智能体在整个 episode 里几乎拿不到任何反馈除非它恰好撞上了那个极小概率的成功条件。我最初遇到的场景是一个 2D 推箱子任务。智能体控制一只机械臂末端把一个随机位置的方块推到目标区域。环境本身不难但奖励只有一条方块完全进入目标区时给 1其他时候都是 0。对于随机策略来说这个事件发生的概率低到可以忽略。我试过给奖励塑形reward shaping把“距离目标近了就给一点奖励”加进去结果是策略很容易钻空子——机械臂学会了把方块推到一个距离目标最近但永远进不去的角落因为那个位置的累积塑形奖励反而最高。塑形坏了但问题本身没变怎么在没有逐步反馈的情况下让智能体从“完全失败”的经验里学到东西。这正是 hindsight 这个项目想解决的核心问题。它对应的技术就是 Hindsight Experience Replay后见经验回放一般简称 HER以及围绕它的一套目标条件化策略训练方案。这个项目适合谁参考第一类是刚接触强化学习、被稀疏奖励折磨的初学者你可以把 HER 当作“稀疏奖励问题的第一个标准答案”来学第二类是已经在做机器人操作、导航这类 goal-conditioned 任务的工程师HER 的思路可以直接迁移到你的真实场景里。1.2 hindsight 的核心思想目标重标注我第一次看到 HER 的原始思路时第一反应是“这也太直接了”。它最核心的洞察是在一次 episode 里智能体虽然没能到达我们指定的目标 (g)但它确实到达了某个状态 (s_t)。如果我们把这趟经验里的“目标”改成它实际到达的状态 (s_t)那么这条经验就变成了一条“成功经验”——因为“最终状态等于目标”这个条件满足了。这个操作叫目标重标注goal relabeling。它的原理并不复杂但背后有一个非常重要的逻辑转变不把失败看作失败而是把失败看作“完成了另一个目标”的数据。原本一条完全没有奖励信号的轨迹经过重标注后变成了带有正向反馈的转移数据 ((s_t, a_t, r, s_{t1}, g))其中 (r) 可以直接计算出来因为新目标就是实际达到的状态。这个思路之所以成立依赖一个前提任务的目标必须是“可重标注的”也就是说我们需要一个函数能在事后判断“哪个状态算达成目标”。在推箱子任务里目标就是方块的位置在抓取任务里目标就是末端执行器的位置。这类环境天然适合 HER。反过来如果任务的目标无法事后定义比如“下棋赢棋”HER 就不适用。用生活化的类比来说这就像学投篮。你本来想投进篮筐但球实际落在了偏右 30 厘米的位置。如果你只盯着“没进”这个结果这次练习就没有任何反馈。但如果你把这次投篮重新定义成“把球投到偏右 30 厘米处”这次练习就是成功的——你得到了一次“如何投到某一点”的有效示范。积累足够多这样的“偏一点”示范你就能逐渐逼近真正的篮筐。1.3 技术选型为什么是 DDPG HER 而不是其他组合HER 本身不是一个独立的算法它是一种经验回放技巧必须挂在一个 off-policy 的强化学习算法上使用。原因很简单HER 需要反复从回放缓冲区里采样旧经验并修改目标这天然要求算法允许“用旧数据更新”也就是 off-policy 属性。像 PPO 这类 on-policy 算法每条数据只用一次重标注毫无意义。我当时选的基座是 DDPG。选它的原因有三个连续动作控制场景机械臂末端位置控制DDPG 是标准选择TD3 虽然效果更好但实现复杂度更高新项目起步时容易把问题混淆在算法 bug 里DDPG 和 HER 的组合在 OpenAI Baselines 和稳定基线环境里都有成熟实现方便对照验证。如果你现在重新选我建议直接用 TD3 或 SAC 作为基座效果会更好。HER 的收益和基座算法是正交的你完全可以把 HER 的“重标注 目标条件化”机制移植到 SAC 上。我当时用 DDPG 纯粹是为了先跑通整个流程后面实验也证明 TD3HER 的稳定性明显更好。另外一个设计选择是不修改环境奖励函数。很多人在遇到稀疏奖励时第一反应是加塑形但塑形引入的 bias 问题在 goal-conditioned 任务里很常见。HER 的价值就是让你可以保持奖励函数的稀疏、干净把学习压力转移到数据使用方式上。这个设计决策贯穿了整个项目环境只提供稀疏的二值奖励其他所有“学习信号”都来自重标注机制。2. 核心算法拆解目标重标注的完整逻辑2.1 目标条件化策略与通用价值函数HER 不是一个孤立的技巧它要求整个策略和价值函数都变成目标条件化的。普通的 actor-critic 结构里(Q(s, a)) 是状态和动作的函数在 HER 的框架下我们要学习的是 (Q(s, a, g))——给定一个目标 (g)在当前状态下执行动作 (a) 的期望回报。目标条件化背后的理论支撑是通用价值函数逼近UVFAUniversal Value Function Approximators。这个概念听起来高深实现起来其实很简单只需要在输入层把目标 (g) 和状态 (s) 拼接起来作为同一个网络的输入。目标可以是向量、坐标、图像编码只要它能表达“期望的最终状态”。这里有一个非常关键的细节重标注后的转移数据目标 (g) 是随未来状态变化的而不是随当前状态变化的。也就是说对于同一条转移 ((s_t, a_t, s_{t1}))我们可以通过修改目标 (g)把它变成多条不同目标下的训练样本。这就是经验复用效率的来源。我实际实现时通常用一个字典存储目标计算原始奖励时使用原始目标 (g);计算重标注奖励时使用新目标 (g)。奖励函数是一个纯函数给定当前状态、动作、下一个状态和目标就能计算奖励。用 Python 写就是这样def compute_reward(state, action, next_state, goal): # 推箱子任务里goal 是目标方块位置next_state 里包含实际方块位置 distance np.linalg.norm(next_state[:2] - goal) return float(distance 0.05)这个函数在后面重标注时会被反复调用所以保持它的纯粹性和计算效率很重要。我见过有人把奖励计算写在环境内部重标注时还得重新走一遍环境逻辑性能差且容易出错。2.2 重标注机制四种采样策略怎么选HER 论文里给出了四种重标注目标的选择策略final使用 episode 最后一步的状态作为重标注目标future从当前时刻 (t) 之后的部分随机选取一个状态作为目标episode从整条 episode 中随机选取一个状态作为目标random从回放缓冲区里随机选取一个已访问的状态作为目标。我四种都测过结论和论文基本一致future 策略最稳定final 次之episode 和 random 效果明显差一截。原因在于时间结构。future 策略选取的是“当前时刻之后”的状态所以重标注的目标和当前转移之间存在合理的因果顺序——智能体确实是在朝那个目标移动的路径上。episode 策略可能选到当前时刻之前的状态作为目标等于让智能体“回溯到过去”时间上自相矛盾训练出来的策略会很混乱。在实现时每采到一条 episode我会对它做一次批量重标注处理生成“原始经验”和“重标注经验”两组数据。重标注的比例通常设置为一比一也就是原始经验占比 0.5。如果你的回放缓冲区显存吃紧可以适当降低到 0.3但太低会明显影响学习速度。2.3 从公式角度理解 HER 的价值假设我们有一个稀疏奖励函数只有到达目标 (g) 才给奖励[ r(s_t, a_t, g) \begin{cases} 1 |s_{t1} - g| \le \varepsilon \ 0 \text{otherwise} \end{cases} ]普通经验回放学的是[ Q(s_t, a_t, g) \leftarrow r(s_t, a_t, g) \gamma \max_{a} Q(s_{t1}, a, g) ]因为 (r) 几乎总是 0Q 函数的梯度信号极其稀疏。用 DDPG 训练时actor 网络的更新依赖 critic 的梯度[ \nabla_\theta J \mathbb{E}{s \sim D} \left[ \nabla_a Q(s, a, g) \big|{a\pi(s,g)} \nabla_\theta \pi(s,g) \right] ]当 critic 对几乎所有状态动作都输出近似 0 的值时梯度就是一片噪声策略根本学不到方向。使用 HER 重标注后我们额外生成了一条转移原目标 (g) 被替换成实际达到的状态 (s_{tk})未来某个状态。因为 (s_{t1}) 离 (s_{tk}) 可能很近奖励 (r(s_t, a_t, s_{tk})) 等于 1 的概率显著提高[ Q(s_t, a_t, s_{tk}) \leftarrow r(s_t, a_t, s_{tk}) \gamma \max_{a} Q(s_{t1}, a, s_{tk}) ]这样做的效果是即使原始目标完全没达成critic 也能从“伪成功”的转移里学到“哪些状态动作组合容易获得奖励”。这些梯度信息再通过共享的目标条件化结构泛化到原始目标上。这就是为什么 HER 能让一个完全拿不到奖励的策略从零开始学会任务。3. 环境配置与模型实现细节3.1 环境选择自建 2D 推箱子任务我不想一开始就上 Fetch 这种重环境因为调试难度高训练速度慢。所以我先用 OpenAI Gym 的 API 规范自建了一个 2D 推箱子环境目的很明确用最少的时间验证 HER 机制是否正确工作。环境参数如下参数值说明状态空间4 维机械臂末端 (x, y) 和方块位置 (x, y)动作空间2 维末端位置的目标增量连续值初始位置固定机械臂在左下角方块在中间目标范围全地图每次 reset 随机采样一个目标位置奖励稀疏方块与目标距离小于 0.05 时给 1最大步数100超过则 episode 终止并重置这个环境的设计有几个讲究。动作空间我没用“速度”而是用“目标增量”这样智能体可以直接输出一个位置偏移配合低步数限制任务不至于太难。目标和初始方块位置都是随机采样这保证了 goal-conditioned 策略必须学会“不同目标下用不同动作”。动作空间加了一点高斯噪声这是 DDPG 探索的标准做法。我用的噪声标准差是 0.05同时加了 0.1 的 OU 噪声做平滑。这个组合在推箱子任务里表现还可以但如果你用 SAC直接换成熵正则化探索就好不需要手动加噪声。3.2 网络结构与参数设定因为状态和目标都是低维向量我没有用复杂的网络结构三层 MLP 就够了。具体参数网络层维度激活函数输入层状态维 目标维6 维ReLU隐藏层 1256ReLU隐藏层 2256ReLU输出层动作维2 维tanhactor/ 线性critic这里有一个很多人容易忽略的细节actor 的输出必须经过 tanh 压缩到 [-1, 1]然后映射到实际动作范围。如果不做这个处理actor 网络输出的动作值会漂移导致末端位置变化过大任务永远不可能成功。我的映射方式是action actor.forward(torch.cat([state, goal], dim-1)) action torch.tanh(action) * action_scale # action_scale 根据环境动作范围设置critic 的输入包含两个部分状态目标拼接向量和动作。我直接把动作当作第四层输入和前面特征拼接。论文推荐这种结构因为可以让状态特征先独立提取再融合动作信息比从第一层就拼接动作的表现更稳定。优化器全部用 Adamactor 和 critic 学习率都是 3e-4。Replay buffer 大小是 100 万条未来状态采样的时间窗口是 20 步以内。批量大小是 128。3.3 训练流程与关键代码实现HER 的训练流程和普通 off-policy RL 最大的区别在数据收集之后。标准流程是智能体在环境中跑一个完整的 episode收集整条 episode 的状态、动作、奖励、下一状态序列把原始 episode 存入回放缓冲区对 episode 做重标注生成新的转移并存入回放缓冲区从回放缓冲区采样一个 batch更新 critic 和 actor。步骤 4 是核心。我的实现简化如下def hindsight_relabel(episode, replay_buffer, relabel_ratio0.5): # episode 是包含 states, actions, goals, rewards, next_states 的字典 for t in range(len(episode)): # 原始经验 replay_buffer.add(episode[states][t], episode[actions][t], episode[rewards][t], episode[next_states][t], episode[goals][t]) # 按比例生成重标注经验 if np.random.rand() relabel_ratio: # future 策略从 t 之后随机选一个状态作为新目标 future_idx np.random.randint(t 1, min(t 20, len(episode))) new_goal episode[states][future_idx] new_reward compute_reward(episode[states][t], episode[actions][t], episode[next_states][t], new_goal) replay_buffer.add(episode[states][t], episode[actions][t], new_reward, episode[next_states][t], new_goal)注意这里的 new_goal 取的是states[future_idx]也就是未来某个时刻的“完整状态”。对于推箱子任务完整状态里包含方块位置所以新目标就是“方块在我未来将要到达的位置”。这保证了重标注后的目标没有超出任务本身的物理可行性。训练循环则比较常规for update_step in range(total_steps): batch replay_buffer.sample(batch_size) # 更新 critic with torch.no_grad(): next_action target_actor(next_state, goal) target_q reward gamma * target_critic(next_state, next_action, goal) current_q critic(state, action, goal) critic_loss F.mse_loss(current_q, target_q) # 更新 actor actor_loss -critic(state, actor(state, goal), goal).mean()这个流程跑通之后我的核心验证指标不是单次成功率而是回放缓冲区里“成功转移”的比例随时间的变化。HER 的威力体现在这里原始经验里成功转移极少但重标注经验把大量“伪成功”注入缓冲区critic 的梯度信号迅速变得有效。4. 训练过程中的踩坑记录与排查思路4.1 奖励曲线不涨的三种原因我的第一版实验跑了 30 万步成功率纹丝不动。排查下来发现是三个问题的叠加。第一个是动作输出边界问题。DDPG 对动作 scale 非常敏感如果 actor 输出的动作被映射到过大范围每一步位置偏移太大末端会在目标附近反复震荡永远无法稳定停留。解决办法是动态缩放训练初期动作范围给大一些促进探索后期手动缩小到基础范围的 1/3。这里我用了一个很土的线性退火函数但效果很好。第二个是探索噪声过小。稀疏奖励环境下前期必须大幅度探索如果噪声太小智能体只能在小范围空间内动作永远发现不了成功路径。我最初噪声标准差是 0.02完全不够。调大到 0.1 之后训练曲线开始有动静。第三个问题最隐蔽重标注目标和原始目标混用导致目标分布偏移。我的 replay buffer 里既有原始目标也有重标注目标但目标都是随机采样的。如果某一批数据里重标注目标占比太高策略会被“成功经验”带偏——它学会了到达重标注目标但对原始目标的泛化能力反而变弱。设置 relabel_ratio 0.5 并固定住不动态调整是更稳的选择。4.2 重标注比例与批次采样的相互影响HER 有个微妙的 trade-off重标注比例越高缓冲区里“成功转移”越多critic 学得越快但完全依赖重标注经验会导致原始目标的经验被稀释策略在真实目标上的表现反而未必最好。我做了几组对比实验relabel_ratio30 万步成功率60 万步成功率观察0.238%71%前期慢后期稳定0.561%89%综合最优0.854%76%前期快后期飘0.8 那组在 30 万步时表现很好但后期成功率不升反降。原因是重标注目标高度重复智能体过拟合到一些“容易成功的伪目标”上对随机采样的新目标泛化能力下降。0.2 那组则因为成功信号太少学习速度太慢。我的建议是如果你的任务成功率目标在 80% 以上用 0.5 是安全选择如果你只想快速看到智能体“动起来”可以临时调高到 0.7但记得后期调回。另外批次采样也有讲究。我一开始每次采样都重新对 batch 里的每条经验做一次随机重标注后来发现这会导致同一批数据里目标非常分散critic 的目标条件化能力训练得很差。改成在采集 episode 时预处理完毕训练时只从缓冲区均匀采样效果大幅提升。这个经验我在后面几个任务上反复验证过确认是关键细节。4.3 训练不稳定与网络发散的处理训练中途我还遇到过一个典型问题成功率一度冲到 80%然后突然掉到 40%再也没回去。这是 off-policy 强化学习中最头疼的不稳定问题。排查步骤按顺序做先看 critic loss 是否有异常尖峰。成功率高时critic loss 应该平稳下降如果 loss 突然暴涨说明目标 Q 值出现了不合理的正向偏移。检查 target network 更新频率。DDPG 的 target 网络是软更新tau 值如果太大目标值波动会把 critic 学偏。我把 tau 从 0.005 降到 0.001稳定很多。检查缓冲区里比例失衡。如果最近 1 万条经验里失败经验占了 99%Q 值会产生大范围负偏差。这个现象和回放缓冲区的均匀采样有关——老经验还在但新经验分布变化了。我最后的解决方案有两部分一是把目标网络更新改为“每 100 步同步一次 target critic”二是给经验加上优先级采样。HER 本身不要求优先级采样但配合后确实能改善后期的成功率稳定性。4.4 常见问题速查表问题现象可能原因排查与解决建议训练早期完全不动探索噪声过小或动作范围过大提高噪声方差动作输出加 tanh 限制前期进展快后期成功率停滞重标注比例过高过拟合伪目标调低 relabel_ratio 至 0.3-0.5critic loss 持续升高目标网络更新过快或过频降低 tau改为定期硬同步成功率第一次冲高后大跌经验分布偏移导致 Q 值误判限制 replay buffer 中最近经验比例使用优先级采样目标条件化能力差换目标就失败目标编码方式不好或网络容量不足确认目标与状态特征拼接方式正确增加隐藏层宽度这张表其实不只在推箱子任务上有效。我把 HER 迁移到机器人抓取仿真环境时遇到的问题几乎一模一样排查思路可以直接复用。做好一套诊断工具的收益远大于复现一个算法本身。5. 结果分析HER 到底带来了什么改变5.1 实验对比有 HER 和没 HER 的差距为了确认 HER 的收益我做了严格的对照组。同一个环境、同样的 DDPG 基座、同样的网络结构和超参数唯一区别是是否启用重标注机制。无 HER 的结果一目了然40 万步成功率始终在 2% 以下徘徊。偶尔有几次随机探索成功但成功转移在缓冲区里占比太低critic 根本学不出有效梯度下次还是全凭运气。这就是稀疏奖励问题最残酷的地方——即使偶尔成功了几次算法也无法从单点成功中提取可泛化的策略。有 HER 的结果差异巨大20 万步左右成功率开始抬头45 万步时稳定在 85% 以上。更重要的是成功率曲线不是瞬间冲上去的而是像一个缓慢爬坡的过程——这正好符合预期因为每次重标注都在教 critic“哪些状态动作组合能通向某个状态”这种知识是逐步积累的。我还做了一个额外测试把训练完成的智能体放到“全新随机目标”上测试。无 HER 的模型在新目标上几乎全部失败而 HER 模型的新目标成功率保持在 75% 左右。这印证了目标条件化的泛化能力确实通过学习得到了提升——这是重标注机制带来的独特优势普通塑形奖励做不到这一点。5.2 纵向扩展思路从 hindsight 到更复杂的自监督目标生成项目做完基础验证后我开始思考 HER 还能往哪个方向延伸。一个很有意思的方向是自动生成更有意义的重标注目标而不是单纯从已访问状态里选。原始 HER 选的都是“实际到达过的状态”这些状态多半是随机探索留下的分散点。如果能把目标生成和探索策略结合起来——比如优先选择“当前策略最容易失败的边界状态”作为重标注目标——理论上能加速训练。我在一个简化版的策略上做过小规模实验效果有提升但实现复杂度高了很多。现阶段如果你想做研究扩展这是个值得尝试的方向。另一个比较务实的扩展是把它和表示学习结合在低维状态任务里 HER 的效果已经不错但如果状态是高维图像重标注的目标就变成了图像序列中的某一帧——这对目标编码方式提出了更高的要求。可以先用一个 encoder 把图像映射到潜在空间再在潜在空间里做距离判断和重标注。这个方向我还在探索中但那套“先跑通低维验证再迁移高维场景”的流程和这个项目的经验是一致的。最后我想说一句实在的HER 不是万能药它只适用于能定义最终状态的目标条件化任务而且整体效果受基座算法影响很大。但如果你正被稀疏奖励折磨得焦头烂额不妨先把这套机制在低维环境里完整跑通——理解每个步骤为什么有效、在哪个环节容易出问题比盲目堆算力有效率得多。我这段经历里最值钱的部分就是一次次看着曲线不动、然后逐个排查到变量细节的过程。 
长河君 · 2026/11/3 6:10:24 · 阅读 1.2k 强化学习稀疏奖励困境：HER目标重标注与DDPG实战全解析
1. 项目思路与整体设计1.1 为什么“稀疏奖励”值得专门逼自己做一个项目做强化学习的人应该都有过这种经验训练一个智能体让它去完成一个目标结果跑了上百万步奖励曲线始终躺平不动。最磨人的场景就是稀疏奖励环境——智能体在整个 episode 里几乎拿不到任何反馈除非它恰好撞上了那个极小概率的成功条件。我最初遇到的场景是一个 2D 推箱子任务。智能体控制一只机械臂末端把一个随机位置的方块推到目标区域。环境本身不难但奖励只有一条方块完全进入目标区时给 1其他时候都是 0。对于随机策略来说这个事件发生的概率低到可以忽略。我试过给奖励塑形reward shaping把“距离目标近了就给一点奖励”加进去结果是策略很容易钻空子——机械臂学会了把方块推到一个距离目标最近但永远进不去的角落因为那个位置的累积塑形奖励反而最高。塑形坏了但问题本身没变怎么在没有逐步反馈的情况下让智能体从“完全失败”的经验里学到东西。这正是 hindsight 这个项目想解决的核心问题。它对应的技术就是 Hindsight Experience Replay后见经验回放一般简称 HER以及围绕它的一套目标条件化策略训练方案。这个项目适合谁参考第一类是刚接触强化学习、被稀疏奖励折磨的初学者你可以把 HER 当作“稀疏奖励问题的第一个标准答案”来学第二类是已经在做机器人操作、导航这类 goal-conditioned 任务的工程师HER 的思路可以直接迁移到你的真实场景里。1.2 hindsight 的核心思想目标重标注我第一次看到 HER 的原始思路时第一反应是“这也太直接了”。它最核心的洞察是在一次 episode 里智能体虽然没能到达我们指定的目标 (g)但它确实到达了某个状态 (s_t)。如果我们把这趟经验里的“目标”改成它实际到达的状态 (s_t)那么这条经验就变成了一条“成功经验”——因为“最终状态等于目标”这个条件满足了。这个操作叫目标重标注goal relabeling。它的原理并不复杂但背后有一个非常重要的逻辑转变不把失败看作失败而是把失败看作“完成了另一个目标”的数据。原本一条完全没有奖励信号的轨迹经过重标注后变成了带有正向反馈的转移数据 ((s_t, a_t, r, s_{t1}, g))其中 (r) 可以直接计算出来因为新目标就是实际达到的状态。这个思路之所以成立依赖一个前提任务的目标必须是“可重标注的”也就是说我们需要一个函数能在事后判断“哪个状态算达成目标”。在推箱子任务里目标就是方块的位置在抓取任务里目标就是末端执行器的位置。这类环境天然适合 HER。反过来如果任务的目标无法事后定义比如“下棋赢棋”HER 就不适用。用生活化的类比来说这就像学投篮。你本来想投进篮筐但球实际落在了偏右 30 厘米的位置。如果你只盯着“没进”这个结果这次练习就没有任何反馈。但如果你把这次投篮重新定义成“把球投到偏右 30 厘米处”这次练习就是成功的——你得到了一次“如何投到某一点”的有效示范。积累足够多这样的“偏一点”示范你就能逐渐逼近真正的篮筐。1.3 技术选型为什么是 DDPG HER 而不是其他组合HER 本身不是一个独立的算法它是一种经验回放技巧必须挂在一个 off-policy 的强化学习算法上使用。原因很简单HER 需要反复从回放缓冲区里采样旧经验并修改目标这天然要求算法允许“用旧数据更新”也就是 off-policy 属性。像 PPO 这类 on-policy 算法每条数据只用一次重标注毫无意义。我当时选的基座是 DDPG。选它的原因有三个连续动作控制场景机械臂末端位置控制DDPG 是标准选择TD3 虽然效果更好但实现复杂度更高新项目起步时容易把问题混淆在算法 bug 里DDPG 和 HER 的组合在 OpenAI Baselines 和稳定基线环境里都有成熟实现方便对照验证。如果你现在重新选我建议直接用 TD3 或 SAC 作为基座效果会更好。HER 的收益和基座算法是正交的你完全可以把 HER 的“重标注 目标条件化”机制移植到 SAC 上。我当时用 DDPG 纯粹是为了先跑通整个流程后面实验也证明 TD3HER 的稳定性明显更好。另外一个设计选择是不修改环境奖励函数。很多人在遇到稀疏奖励时第一反应是加塑形但塑形引入的 bias 问题在 goal-conditioned 任务里很常见。HER 的价值就是让你可以保持奖励函数的稀疏、干净把学习压力转移到数据使用方式上。这个设计决策贯穿了整个项目环境只提供稀疏的二值奖励其他所有“学习信号”都来自重标注机制。2. 核心算法拆解目标重标注的完整逻辑2.1 目标条件化策略与通用价值函数HER 不是一个孤立的技巧它要求整个策略和价值函数都变成目标条件化的。普通的 actor-critic 结构里(Q(s, a)) 是状态和动作的函数在 HER 的框架下我们要学习的是 (Q(s, a, g))——给定一个目标 (g)在当前状态下执行动作 (a) 的期望回报。目标条件化背后的理论支撑是通用价值函数逼近UVFAUniversal Value Function Approximators。这个概念听起来高深实现起来其实很简单只需要在输入层把目标 (g) 和状态 (s) 拼接起来作为同一个网络的输入。目标可以是向量、坐标、图像编码只要它能表达“期望的最终状态”。这里有一个非常关键的细节重标注后的转移数据目标 (g) 是随未来状态变化的而不是随当前状态变化的。也就是说对于同一条转移 ((s_t, a_t, s_{t1}))我们可以通过修改目标 (g)把它变成多条不同目标下的训练样本。这就是经验复用效率的来源。我实际实现时通常用一个字典存储目标计算原始奖励时使用原始目标 (g);计算重标注奖励时使用新目标 (g)。奖励函数是一个纯函数给定当前状态、动作、下一个状态和目标就能计算奖励。用 Python 写就是这样def compute_reward(state, action, next_state, goal): # 推箱子任务里goal 是目标方块位置next_state 里包含实际方块位置 distance np.linalg.norm(next_state[:2] - goal) return float(distance 0.05)这个函数在后面重标注时会被反复调用所以保持它的纯粹性和计算效率很重要。我见过有人把奖励计算写在环境内部重标注时还得重新走一遍环境逻辑性能差且容易出错。2.2 重标注机制四种采样策略怎么选HER 论文里给出了四种重标注目标的选择策略final使用 episode 最后一步的状态作为重标注目标future从当前时刻 (t) 之后的部分随机选取一个状态作为目标episode从整条 episode 中随机选取一个状态作为目标random从回放缓冲区里随机选取一个已访问的状态作为目标。我四种都测过结论和论文基本一致future 策略最稳定final 次之episode 和 random 效果明显差一截。原因在于时间结构。future 策略选取的是“当前时刻之后”的状态所以重标注的目标和当前转移之间存在合理的因果顺序——智能体确实是在朝那个目标移动的路径上。episode 策略可能选到当前时刻之前的状态作为目标等于让智能体“回溯到过去”时间上自相矛盾训练出来的策略会很混乱。在实现时每采到一条 episode我会对它做一次批量重标注处理生成“原始经验”和“重标注经验”两组数据。重标注的比例通常设置为一比一也就是原始经验占比 0.5。如果你的回放缓冲区显存吃紧可以适当降低到 0.3但太低会明显影响学习速度。2.3 从公式角度理解 HER 的价值假设我们有一个稀疏奖励函数只有到达目标 (g) 才给奖励[ r(s_t, a_t, g) \begin{cases} 1 |s_{t1} - g| \le \varepsilon \ 0 \text{otherwise} \end{cases} ]普通经验回放学的是[ Q(s_t, a_t, g) \leftarrow r(s_t, a_t, g) \gamma \max_{a} Q(s_{t1}, a, g) ]因为 (r) 几乎总是 0Q 函数的梯度信号极其稀疏。用 DDPG 训练时actor 网络的更新依赖 critic 的梯度[ \nabla_\theta J \mathbb{E}{s \sim D} \left[ \nabla_a Q(s, a, g) \big|{a\pi(s,g)} \nabla_\theta \pi(s,g) \right] ]当 critic 对几乎所有状态动作都输出近似 0 的值时梯度就是一片噪声策略根本学不到方向。使用 HER 重标注后我们额外生成了一条转移原目标 (g) 被替换成实际达到的状态 (s_{tk})未来某个状态。因为 (s_{t1}) 离 (s_{tk}) 可能很近奖励 (r(s_t, a_t, s_{tk})) 等于 1 的概率显著提高[ Q(s_t, a_t, s_{tk}) \leftarrow r(s_t, a_t, s_{tk}) \gamma \max_{a} Q(s_{t1}, a, s_{tk}) ]这样做的效果是即使原始目标完全没达成critic 也能从“伪成功”的转移里学到“哪些状态动作组合容易获得奖励”。这些梯度信息再通过共享的目标条件化结构泛化到原始目标上。这就是为什么 HER 能让一个完全拿不到奖励的策略从零开始学会任务。3. 环境配置与模型实现细节3.1 环境选择自建 2D 推箱子任务我不想一开始就上 Fetch 这种重环境因为调试难度高训练速度慢。所以我先用 OpenAI Gym 的 API 规范自建了一个 2D 推箱子环境目的很明确用最少的时间验证 HER 机制是否正确工作。环境参数如下参数值说明状态空间4 维机械臂末端 (x, y) 和方块位置 (x, y)动作空间2 维末端位置的目标增量连续值初始位置固定机械臂在左下角方块在中间目标范围全地图每次 reset 随机采样一个目标位置奖励稀疏方块与目标距离小于 0.05 时给 1最大步数100超过则 episode 终止并重置这个环境的设计有几个讲究。动作空间我没用“速度”而是用“目标增量”这样智能体可以直接输出一个位置偏移配合低步数限制任务不至于太难。目标和初始方块位置都是随机采样这保证了 goal-conditioned 策略必须学会“不同目标下用不同动作”。动作空间加了一点高斯噪声这是 DDPG 探索的标准做法。我用的噪声标准差是 0.05同时加了 0.1 的 OU 噪声做平滑。这个组合在推箱子任务里表现还可以但如果你用 SAC直接换成熵正则化探索就好不需要手动加噪声。3.2 网络结构与参数设定因为状态和目标都是低维向量我没有用复杂的网络结构三层 MLP 就够了。具体参数网络层维度激活函数输入层状态维 目标维6 维ReLU隐藏层 1256ReLU隐藏层 2256ReLU输出层动作维2 维tanhactor/ 线性critic这里有一个很多人容易忽略的细节actor 的输出必须经过 tanh 压缩到 [-1, 1]然后映射到实际动作范围。如果不做这个处理actor 网络输出的动作值会漂移导致末端位置变化过大任务永远不可能成功。我的映射方式是action actor.forward(torch.cat([state, goal], dim-1)) action torch.tanh(action) * action_scale # action_scale 根据环境动作范围设置critic 的输入包含两个部分状态目标拼接向量和动作。我直接把动作当作第四层输入和前面特征拼接。论文推荐这种结构因为可以让状态特征先独立提取再融合动作信息比从第一层就拼接动作的表现更稳定。优化器全部用 Adamactor 和 critic 学习率都是 3e-4。Replay buffer 大小是 100 万条未来状态采样的时间窗口是 20 步以内。批量大小是 128。3.3 训练流程与关键代码实现HER 的训练流程和普通 off-policy RL 最大的区别在数据收集之后。标准流程是智能体在环境中跑一个完整的 episode收集整条 episode 的状态、动作、奖励、下一状态序列把原始 episode 存入回放缓冲区对 episode 做重标注生成新的转移并存入回放缓冲区从回放缓冲区采样一个 batch更新 critic 和 actor。步骤 4 是核心。我的实现简化如下def hindsight_relabel(episode, replay_buffer, relabel_ratio0.5): # episode 是包含 states, actions, goals, rewards, next_states 的字典 for t in range(len(episode)): # 原始经验 replay_buffer.add(episode[states][t], episode[actions][t], episode[rewards][t], episode[next_states][t], episode[goals][t]) # 按比例生成重标注经验 if np.random.rand() relabel_ratio: # future 策略从 t 之后随机选一个状态作为新目标 future_idx np.random.randint(t 1, min(t 20, len(episode))) new_goal episode[states][future_idx] new_reward compute_reward(episode[states][t], episode[actions][t], episode[next_states][t], new_goal) replay_buffer.add(episode[states][t], episode[actions][t], new_reward, episode[next_states][t], new_goal)注意这里的 new_goal 取的是states[future_idx]也就是未来某个时刻的“完整状态”。对于推箱子任务完整状态里包含方块位置所以新目标就是“方块在我未来将要到达的位置”。这保证了重标注后的目标没有超出任务本身的物理可行性。训练循环则比较常规for update_step in range(total_steps): batch replay_buffer.sample(batch_size) # 更新 critic with torch.no_grad(): next_action target_actor(next_state, goal) target_q reward gamma * target_critic(next_state, next_action, goal) current_q critic(state, action, goal) critic_loss F.mse_loss(current_q, target_q) # 更新 actor actor_loss -critic(state, actor(state, goal), goal).mean()这个流程跑通之后我的核心验证指标不是单次成功率而是回放缓冲区里“成功转移”的比例随时间的变化。HER 的威力体现在这里原始经验里成功转移极少但重标注经验把大量“伪成功”注入缓冲区critic 的梯度信号迅速变得有效。4. 训练过程中的踩坑记录与排查思路4.1 奖励曲线不涨的三种原因我的第一版实验跑了 30 万步成功率纹丝不动。排查下来发现是三个问题的叠加。第一个是动作输出边界问题。DDPG 对动作 scale 非常敏感如果 actor 输出的动作被映射到过大范围每一步位置偏移太大末端会在目标附近反复震荡永远无法稳定停留。解决办法是动态缩放训练初期动作范围给大一些促进探索后期手动缩小到基础范围的 1/3。这里我用了一个很土的线性退火函数但效果很好。第二个是探索噪声过小。稀疏奖励环境下前期必须大幅度探索如果噪声太小智能体只能在小范围空间内动作永远发现不了成功路径。我最初噪声标准差是 0.02完全不够。调大到 0.1 之后训练曲线开始有动静。第三个问题最隐蔽重标注目标和原始目标混用导致目标分布偏移。我的 replay buffer 里既有原始目标也有重标注目标但目标都是随机采样的。如果某一批数据里重标注目标占比太高策略会被“成功经验”带偏——它学会了到达重标注目标但对原始目标的泛化能力反而变弱。设置 relabel_ratio 0.5 并固定住不动态调整是更稳的选择。4.2 重标注比例与批次采样的相互影响HER 有个微妙的 trade-off重标注比例越高缓冲区里“成功转移”越多critic 学得越快但完全依赖重标注经验会导致原始目标的经验被稀释策略在真实目标上的表现反而未必最好。我做了几组对比实验relabel_ratio30 万步成功率60 万步成功率观察0.238%71%前期慢后期稳定0.561%89%综合最优0.854%76%前期快后期飘0.8 那组在 30 万步时表现很好但后期成功率不升反降。原因是重标注目标高度重复智能体过拟合到一些“容易成功的伪目标”上对随机采样的新目标泛化能力下降。0.2 那组则因为成功信号太少学习速度太慢。我的建议是如果你的任务成功率目标在 80% 以上用 0.5 是安全选择如果你只想快速看到智能体“动起来”可以临时调高到 0.7但记得后期调回。另外批次采样也有讲究。我一开始每次采样都重新对 batch 里的每条经验做一次随机重标注后来发现这会导致同一批数据里目标非常分散critic 的目标条件化能力训练得很差。改成在采集 episode 时预处理完毕训练时只从缓冲区均匀采样效果大幅提升。这个经验我在后面几个任务上反复验证过确认是关键细节。4.3 训练不稳定与网络发散的处理训练中途我还遇到过一个典型问题成功率一度冲到 80%然后突然掉到 40%再也没回去。这是 off-policy 强化学习中最头疼的不稳定问题。排查步骤按顺序做先看 critic loss 是否有异常尖峰。成功率高时critic loss 应该平稳下降如果 loss 突然暴涨说明目标 Q 值出现了不合理的正向偏移。检查 target network 更新频率。DDPG 的 target 网络是软更新tau 值如果太大目标值波动会把 critic 学偏。我把 tau 从 0.005 降到 0.001稳定很多。检查缓冲区里比例失衡。如果最近 1 万条经验里失败经验占了 99%Q 值会产生大范围负偏差。这个现象和回放缓冲区的均匀采样有关——老经验还在但新经验分布变化了。我最后的解决方案有两部分一是把目标网络更新改为“每 100 步同步一次 target critic”二是给经验加上优先级采样。HER 本身不要求优先级采样但配合后确实能改善后期的成功率稳定性。4.4 常见问题速查表问题现象可能原因排查与解决建议训练早期完全不动探索噪声过小或动作范围过大提高噪声方差动作输出加 tanh 限制前期进展快后期成功率停滞重标注比例过高过拟合伪目标调低 relabel_ratio 至 0.3-0.5critic loss 持续升高目标网络更新过快或过频降低 tau改为定期硬同步成功率第一次冲高后大跌经验分布偏移导致 Q 值误判限制 replay buffer 中最近经验比例使用优先级采样目标条件化能力差换目标就失败目标编码方式不好或网络容量不足确认目标与状态特征拼接方式正确增加隐藏层宽度这张表其实不只在推箱子任务上有效。我把 HER 迁移到机器人抓取仿真环境时遇到的问题几乎一模一样排查思路可以直接复用。做好一套诊断工具的收益远大于复现一个算法本身。5. 结果分析HER 到底带来了什么改变5.1 实验对比有 HER 和没 HER 的差距为了确认 HER 的收益我做了严格的对照组。同一个环境、同样的 DDPG 基座、同样的网络结构和超参数唯一区别是是否启用重标注机制。无 HER 的结果一目了然40 万步成功率始终在 2% 以下徘徊。偶尔有几次随机探索成功但成功转移在缓冲区里占比太低critic 根本学不出有效梯度下次还是全凭运气。这就是稀疏奖励问题最残酷的地方——即使偶尔成功了几次算法也无法从单点成功中提取可泛化的策略。有 HER 的结果差异巨大20 万步左右成功率开始抬头45 万步时稳定在 85% 以上。更重要的是成功率曲线不是瞬间冲上去的而是像一个缓慢爬坡的过程——这正好符合预期因为每次重标注都在教 critic“哪些状态动作组合能通向某个状态”这种知识是逐步积累的。我还做了一个额外测试把训练完成的智能体放到“全新随机目标”上测试。无 HER 的模型在新目标上几乎全部失败而 HER 模型的新目标成功率保持在 75% 左右。这印证了目标条件化的泛化能力确实通过学习得到了提升——这是重标注机制带来的独特优势普通塑形奖励做不到这一点。5.2 纵向扩展思路从 hindsight 到更复杂的自监督目标生成项目做完基础验证后我开始思考 HER 还能往哪个方向延伸。一个很有意思的方向是自动生成更有意义的重标注目标而不是单纯从已访问状态里选。原始 HER 选的都是“实际到达过的状态”这些状态多半是随机探索留下的分散点。如果能把目标生成和探索策略结合起来——比如优先选择“当前策略最容易失败的边界状态”作为重标注目标——理论上能加速训练。我在一个简化版的策略上做过小规模实验效果有提升但实现复杂度高了很多。现阶段如果你想做研究扩展这是个值得尝试的方向。另一个比较务实的扩展是把它和表示学习结合在低维状态任务里 HER 的效果已经不错但如果状态是高维图像重标注的目标就变成了图像序列中的某一帧——这对目标编码方式提出了更高的要求。可以先用一个 encoder 把图像映射到潜在空间再在潜在空间里做距离判断和重标注。这个方向我还在探索中但那套“先跑通低维验证再迁移高维场景”的流程和这个项目的经验是一致的。最后我想说一句实在的HER 不是万能药它只适用于能定义最终状态的目标条件化任务而且整体效果受基座算法影响很大。但如果你正被稀疏奖励折磨得焦头烂额不妨先把这套机制在低维环境里完整跑通——理解每个步骤为什么有效、在哪个环节容易出问题比盲目堆算力有效率得多。我这段经历里最值钱的部分就是一次次看着曲线不动、然后逐个排查到变量细节的过程。