近几年强化学习社区反复被点到的一个关键词就是 DreamerV1 这种“纯潜空间想象驱动的强化学习新范式”。这句话拆开看其实很有门道它指的不是简单拿生成模型做数据增强而是把整个策略学习流程都搬进了模型的隐性表示空间让智能体靠“脑补”出来的轨迹完成训练。我最初读它时也觉得只是把世界模型和强化学习拼在一起但真正复现和调参之后才意识到这里的范式转移比表面上看要深刻得多策略不再依赖真实交互样本做梯度计算而是在低维潜空间里批量展开“虚拟人生”。如果你正被样本效率折磨或者希望把强化学习用到像素级控制任务上这篇文章值得看完我会把 DreamerV1 的核心设计、复现步骤和踩过的坑一次性讲透。1. 项目核心需求与整体设计思路1.1 为什么需要“纯潜空间想象”传统无模型强化学习做决策的方式基本靠两条路要么用策略梯度直接调策略要么用价值函数间接推策略。这两种方法都依赖大量真实环境交互样本效率低是出名的。我自己跑过很多连续控制实验一个简单的机械臂任务普通无模型算法可能要几十万步才会看到稳定上升如果是像素输入这个数字还要再翻几倍。成本高只是一个方面更麻烦的是很多任务不允许你无限试错比如真实机器人一次错误可能就把硬件搞坏了。所以大家很自然想到能不能先学一个环境模型在这个模型里做模拟再多快好省地训练策略答案是可以但关键在于是“在哪一层做模拟”。早期的基于模型强化学习流行的是直接在像素空间做预测把下一帧图像生成出来再在生成的图像上去算奖励、做规划。这种方案听起来直接跑起来却极痛苦因为像素里大部分信息是冗余的光照变化、背景纹理、目标物体的表面材质这些和决策根本没关系却要消耗巨量计算资源去生成。DreamerV1 的做法是完全绕开像素重建把观测图像压缩成一个低维潜状态变量在这个压缩后的状态空间里做转移预测、回报预测和策略优化。正是这一点让它有资格叫“纯潜空间想象”。生活里有个很接近的类比你开车路过一个路口不需要在脑中重建整个路口的每个像素只要记住“红绿灯状态、车距、速度”这几个关键变量就能预测接下来几秒会发生什么。DreamerV1 做的事就是这个只不过它让神经网络自己从图像里挑出该记住的关键变量。这样做的好处非常直接想象速度快因为不需要做图像级生成想象轨迹更平滑因为潜状态过滤了无关噪声策略梯度可以直接作用在潜状态上训练过程稳定不少。1.2 DreamerV1 整体设计拆解DreamerV1 的完整架构可以分成三大块第一块是世界模型负责学习环境的动态规律第二块是行为网络也就是常见的 actor-critic负责在给定潜状态下选择动作和评估价值第三块是想象过程这是把前两块连接起来的枢纽也是“想象驱动”这个说法的来源。世界模型承担的任务是把高维观测压缩成潜状态并学习潜状态之间的动态转移。训练时它会接收大量真实环境轨迹学习从观测到潜状态的编码方式、从当前潜状态和动作到下一潜状态的预测方式以及从潜状态到奖励的映射方式。这一部分学习出来之后相当于智能体脑海中对世界规律的一个“压缩版本”。行为网络不直接接触真实环境它只能在世界模型搭建的“模拟器”里活动。每次更新策略时从过去的真实轨迹里抽取一小段潜状态作为起点然后让 actor 连续给出动作让世界模型一个接一个地预测后续潜状态和奖励这样就能凭空生成一批想象轨迹。critic 会为这些轨迹上的每个潜状态打分actor 根据打分调整自己的动作分布。整个循环下来真实环境只在两个地方出现流程起点用来采集初始数据流程结束用来部署最新策略补充数据。中间漫长的策略更新过程全部发生在潜空间里样本效率自然就上来了。这套设计之所以是“新范式”是因为它把“用模型做规划”和“用模型做训练”分开来了。传统基于模型的方法常常依赖模型做规划或者做蒙特卡洛树搜索而 DreamerV1 把模型生成的数据当作强化学习本身的训练集让 actor-critic 在想象数据上反复迭代。这种“学习想象能力然后在想象中学习”的闭环才是核心创新点。2. 核心组件与关键原理解读2.1 世界模型是如何工作的理解 DreamerV1 的关键是先弄清世界模型内部每个子模块的职责。我按训练数据流向来拆会清楚很多。整个模型接收的是一个序列的观测、动作和奖励但不会直接去预测原始像素序列而是先用一个表征模型把当前观测 x_t 编码成一个随机潜变量 z_t。这个编码过程不是简单地输出高维向量而是学习一个概率分布实际使用时从分布中采样让模型能表达环境中的随机性。与此同时模型里还维持着一个确定性隐藏状态 h_t一般用 RNN 结构来更新。潜变量 z_t 解决“当前观测压缩成什么”的问题隐藏状态 h_t 解决“过去所有信息如何总结成一份完整记忆”的问题。两者结合才能让模型面对部分可观测环境时不至于丢失关键信息。转移动模型负责预测下一个潜状态 z_{t1} 的分布它接收的是当前隐藏状态 h_t、当前动作 a_t 和从当前观测中采样出的 z_t。回报模型则负责从这些信息中预测当前时刻的奖励训练目标就是让奖励预测尽量接近真实奖励。真正让潜空间有意义的是重建模型。重建模型会把潜变量还原成原始观测但它只在训练阶段使用作用是防止编码器把无关信息也丢掉逼迫潜变量保留足够多的观测信息。换句话说重建是“为了压出有信息量的潜状态”服务的。训练世界模型时的损失函数包含几项重建误差、奖励预测误差、KL 散度。KL 散度让潜变量的分布不过度偏离先验也承担正则化作用。很多新手第一次看代码时会问既然说纯潜空间想象为什么还要重建图像原因很简单模型在测试阶段不需要解码图像但训练阶段要借助重建损失来组织潜空间结构。没有重建损失潜变量可能收敛到非常糟糕的表示后续想象轨迹也会毫无意义。2.2 行为学习怎么在想象中进行世界模型训练好后就要用它生成“虚拟经验”。这一步和我见过的很多基于模型的规划方法很不一样DreamerV1 不是仅仅用模型来选择下一步动作而是用模型生成了批量完整的想象轨迹然后在这些轨迹上正常跑强化学习算法。具体来说从回放缓冲区里采样一些真实轨迹片段的潜状态作为初始状态从这些初始状态出发让 actor 给出动作让世界模型给出下一状态和奖励。这样连续展开若干步就得到了一大堆没有真实环境参与的状态-动作-奖励序列。有了想象轨迹剩下的就和主流强化学习很像了。critic 网络负责估计状态价值actor 网络负责输出动作分布。想象轨迹上每个时刻都能算出实际奖励再加上 critic 给出的未来价值估计就可以构建带衰减因子的回报目标。然后 actor 和 critic 一起更新critic 让自己预测的价值越来越准actor 让动作分布更倾向选择高价值动作。因为想象过程可以并行批量展开一次训练就能产生上千条虚拟轨迹不需要真的去环境里跑上千步这就是它样本效率高的直接原因。为什么要限定在潜空间而不是像素空间做行为学习因为像素空间的维度太高价值函数和策略函数在这种输入上非常难优化。潜空间通常只有几十到几百维而且高度结构化动作对下一状态的影响在潜空间中往往更平滑梯度更容易传导。另外潜空间状态已经包含了预测未来所需的信息actor 不需要从原始图像里慢慢找特征。这个设计让 DreamerV1 在 64x64 像素输入下也能跑得动换成像素空间做同样的事情计算开销可能增加几个数量级。3. 实操过程与核心实现要点3.1 复现时的网络结构与关键参数量我在复现 DreamerV1 时最关心的第一件事是网络模块的尺寸。虽然原始设计给出了推荐参数但不同任务差异很大尤其是潜状态维度、CNN 宽度和 RNN 隐藏单元数。下面这个表格是我自己在连续控制任务上常用的一组配置可以作为起步基准。模块输入输出我的常用配置表征模型64x64x3 图像潜变量 z_t 的分布CNN 4 层输出 1024 维特征再映射到 32 维高斯分布转移动模型h_t z_t a_t潜状态 z_{t1} 分布 h_{t1}GRU 隐藏单元 1024输出 32 维高斯分布回报模型h_t z_t奖励标量全连接层 256256重建模型z_t64x64x3 图像转置 CNN 4 层与编码器镜像actorz_t动作分布全连接层 400400输出动作均值和对数方差criticz_t状态价值标量全连接层 400400这个配置在大多数连续控制任务上都能跑出不错的效果。潜状态维度 32 是个比较均衡的选择太小会丢信息太大会让转移模型难以拟合。如果你处理的任务更复杂比如包含多物体交互可以把潜状态提升到 64甚至 128但要相应增加训练数据量。3.2 训练流程逐段拆解DreamerV1 的训练流程是一个多阶段闭环我第一次跑时总以为会像普通强化学习那样一步一步踩环境实际上它的主循环非常规整拆成五步就清楚了。第一步是预采集。初始化 actor 为随机策略让它在环境里跑若干轮把轨迹放进回放缓冲区。这一步不用太多数据一般一个小的缓冲区就够关键在于后面的迭代会不断补充新数据。第二步是训练世界模型。从缓冲区采样一段时间序列按照前面说的多任务损失更新世界模型包括表征模型、转移动模型、回报模型和重建模型。这个阶段是最费算力的它决定了潜空间的质量所以我通常会给它更大的批大小。第三步是想象展开。固定世界模型参数再从缓冲区采样一批潜状态作为起点与随机初始化的 actor-critic 配合在世界模型中展开长度为 H 的虚拟轨迹。这里想象长度不需要太长我通常用 15。第四步是更新 actor-critic。在想象轨迹上计算回合回报和优势更新策略和价值网络。由于这些轨迹完全来自模型actor 和 critic 可以多次迭代更新不用担心和真实环境交互频率冲突。第五步是环境交互。把最新的 actor 部署到真实环境里做动作采样收集新的轨迹加入缓冲区然后回到第二步继续重复。整个循环中真实环境交互只占很少的一部分时间大部分计算都花在训练世界模型和想象展开上。跑实验时要时刻记住世界模型是动态变化的并不是训练一次就永远固定每一轮迭代都应当用最新数据微调它。3.3 超参数调优的实操心得超参数里面最影响性能的是想象长度、世界模型学习率、actor-critic 学习率以及回报归一化方式。想象长度 H 我在多个任务上试过太短会让价值估计看不到长期结果太长则会让世界模型的累计误差放大。15 是一个足够好的起点。如果你发现想象轨迹后期状态失真严重可以降到 10 甚至 8如果场景非常简单可以提到 20。学习率我建议分开设置。世界模型更复杂需要慢一点我一般设成 3e-4actor 和 critic 可以略微快一点比如 8e-5。这里有个容易踩的坑世界模型的更新节奏如果和策略更新完全同步容易造成模型还没学到足够信息就和策略互相影响最后出现灾难性遗忘。我通常会让世界模型在每个循环里更新更多步相当于给它“预习”的机会。回报归一化也很关键。想象轨迹上计算出的回报因为状态值估计还不稳定数值可能飘得厉害。我习惯使用简单稳定的标准化技巧把回报减去均值再除以标准差这样 critic 的预测目标不会一下子冲得太大。每次调参后最好先固定随机种子跑一千步看趋势再决定加或减不要一上来就全盘梭哈。4. 常见问题与排查技巧实录4.1 世界模型不收敛的几种常见表现世界模型不收敛是最让人头疼的问题因为表面上看训练 loss 一直在降但想象轨迹一塌糊涂。我遇到过几种很典型的情况。第一种是重建损失下降很快但奖励预测误差却纹丝不动这说明模型已经学会了压缩图像但没有让潜状态携带于奖励相关的信息。可以尝试加大奖励预测项的权重或者检查奖励数值范围是否太小被其他损失项淹没了。第二种是 KL 散度异常要么很快归零要么持续变大。KL 归零意味着潜变量分布失去了随机性潜状态变成了确定性编码这样转移模型很容易过拟合到一个静态映射KL 持续变大则说明潜变量携带了过多噪声转移模型学不到稳定的动态。解决方案也很粗暴给 KL 项加一个合适的系数并且用 KL 平衡技巧来动态调节。第三种是训练 loss 出现明显尖刺这基本都是梯度爆炸。世界模型里有 RNN 和深度 CNN梯度跨时间步传播时很容易爆炸。我习惯在优化器外面加全局梯度裁剪裁剪阈值设为 100 左右基本能压住尖刺。另外潜状态分布的重参数化采样有时会带来随机噪声如果损失曲线抖动过大可以先把潜状态维度降低一点试试。4.2 想象轨迹和真实轨迹差异过大怎么办就算世界模型训练得很好想象轨迹和真实轨迹之间也会有偏差这是基于模型强化学习绕不开的问题。最直接的原因是分布偏移训练世界模型时用的经验主要来自上一版本的策略而想象展开时使用的是当前策略世界模型没见过太多当前策略产生的状态分布预测自然开始漂移。我在实验中总结出的三个有效手段。第一个是限制想象长度不要让模型展开太远因为一步偏差小积累二十步以后可能就面目全非。第二个是给想象的初始状态加一点噪声让世界模型见过足够多样化的起始点提高它对分布偏移的容忍度。第三是保持回放缓冲区中数据的新鲜度不要一个缓冲区用到天荒地老。我常用相对较小的缓冲区比如保留最近几十万步的经验这样世界模型接触到的数据始终和最新策略保持接近。还有一个更隐蔽的问题就是潜在状态空间和动作空间没有对齐。比如任务需要精确速度控制潜状态却把速度和方向混在一起编码转移模型就很难拟合。这种情况要回到表征模型去调整比如增加潜状态维度或者在不同任务里尝试使用独立的随机潜变量和确定性隐藏状态组合方式。不要只盯着转移模型调参问题根源可能早在编码阶段就埋下了。4.3 训练速度与样本效率的平衡技巧在实际工程里训练速度和样本效率经常是矛盾的。想要样本效率高就要多训练世界模型多展开想象但每一步都要烧 GPU想要训练速度快就得减少世界模型的更新频率可这又会让模型质量下滑。我试过几种折中方案比较有效的是把世界模型训练步数和策略更新步数解耦。比如每个主循环里世界模型更新 100 步actor-critic 更新 50 步然后把新策略部署去采集数据。这个比例不是固定的可以看二者的损失曲线来调。批量大小也值得细调。世界模型训练时我常用 batch size 32、序列长度 50想象展开时batch size 通常小一些因为每个想象轨迹本身已经很长。GPU 显存不够时不要硬扛大批次可以把序列长度减半而不是把 batch size 减半这样对长程依赖的损害更小。我在一块普通显卡上跑一个中等难度连续控制任务通常几小时能看到趋势完整训练要过夜。如果一小时内 loss 完全没变化先别急着加资源应该排查是不是潜状态维度太小或者奖励范围异常。5. DreamerV1 的迁移价值与扩展方向5.1 这套范式怎么迁移到自定义任务如果你不想只跑 benchmark想把 DreamerV1 用到自己的任务上有几个工程细节值得重视。首先是环境封装我强烈建议把所有观测统一到固定分辨率比如 64x64 或 128x128同时把奖励缩放到合理范围。图像输入如果分辨率差异很大CNN 的第一层参数就得重设保持统一能减少很多调试成本。其次是动作空间的适配。DreamerV1 默认用高斯策略处理连续动作如果你要做离散动作任务需要把 actor 的输出改成类别分布对应修改 log 概率计算和重参数化采样方式。离散动作想象展开时不会有太大问题但世界模型要增加一个动作 embedding不能把离散动作序号直接拼进向量。潜状态维度选择上我的经验是低维控制任务比如关节机械臂用 16 到 32 足够需要视觉推理的复杂任务可以到 64 以上。再往上收益会递减训练成本倒是涨得很快。另外如果任务有多个目标或稀疏奖励建议在奖励进模型之前做一步平滑或者 shaping让世界模型的奖励预测任务更容易学否则 actor 在想象轨迹上看到的回报方差会非常大很难收敛。5.2 从 V1 到后续版本的启示DreamerV1 给了整个社区一个很重要的启发世界模型不是只能用来做规划它本身可以成为强化学习策略的训练场地。后续的很多工作都在这个方向上继续深化。有的版本改进了世界模型的架构把转移动模型设计得更灵活以此处理更复杂的任务有的版本加入了多种模态信息让潜状态融合文本、图像和本体感觉还有一些方向把它应用到了离线强化学习用历史数据训练世界模型再在想象中恢复策略。这些改进或多或少延续了“纯潜空间想象”这个核心思路。对于只接触过无模型强化学习的人来说最需要转变的观念是不要再用真实交互作为策略更新的绝对底座。适当依赖模型想象能让你在有限数据下获得更好的泛化。但也要保持清醒DreamerV1 的想象世界只是一个近似模型一旦近似误差超过某个阈值策略就会利用模型漏洞学到在真实环境中完全失效的行为。因此在落地产线上还需要配合离线验证、安全约束和冗余机制。5.3 我的落地建议与避坑提示说了这么多最后给几条实际跑实验时最有用的建议。第一不要一开始就在超大任务上复现 DreamerV1先挑一个中等难度的连续控制任务跑通一个最小闭环再迁移到复杂场景。第二日志记录一定要详细尤其是想象轨迹上的平均回报、潜状态标准差和重建误差这三样能帮你快速定位是世界模型的问题还是行为学习的问题。第三我在实际项目中习惯给探索噪声做退火从 1.0 线性降到 0.1比固定噪声能找回不少最终性能这个方法在想象式强化学习中非常有效。还有一个容易忽略的小细节训练之后保存模型时记得把世界模型和 actor-critic 一起保存因为后续继续训练时除非重新跑完整流程否则单独加载一个 actor 网络无法与重建后的潜空间对齐。我吃过的亏是在部署阶段只导出了 actor结果发现输入格式完全是训练时的潜状态而不是原始观测白白浪费了半天。保持完整管线思维才是这套范式真正能落地的前提。 
长河君 · 2026/10/21 2:09:21 · 阅读 1.2k DreamerV1：纯潜空间想象驱动的强化学习新范式解析
近几年强化学习社区反复被点到的一个关键词就是 DreamerV1 这种“纯潜空间想象驱动的强化学习新范式”。这句话拆开看其实很有门道它指的不是简单拿生成模型做数据增强而是把整个策略学习流程都搬进了模型的隐性表示空间让智能体靠“脑补”出来的轨迹完成训练。我最初读它时也觉得只是把世界模型和强化学习拼在一起但真正复现和调参之后才意识到这里的范式转移比表面上看要深刻得多策略不再依赖真实交互样本做梯度计算而是在低维潜空间里批量展开“虚拟人生”。如果你正被样本效率折磨或者希望把强化学习用到像素级控制任务上这篇文章值得看完我会把 DreamerV1 的核心设计、复现步骤和踩过的坑一次性讲透。1. 项目核心需求与整体设计思路1.1 为什么需要“纯潜空间想象”传统无模型强化学习做决策的方式基本靠两条路要么用策略梯度直接调策略要么用价值函数间接推策略。这两种方法都依赖大量真实环境交互样本效率低是出名的。我自己跑过很多连续控制实验一个简单的机械臂任务普通无模型算法可能要几十万步才会看到稳定上升如果是像素输入这个数字还要再翻几倍。成本高只是一个方面更麻烦的是很多任务不允许你无限试错比如真实机器人一次错误可能就把硬件搞坏了。所以大家很自然想到能不能先学一个环境模型在这个模型里做模拟再多快好省地训练策略答案是可以但关键在于是“在哪一层做模拟”。早期的基于模型强化学习流行的是直接在像素空间做预测把下一帧图像生成出来再在生成的图像上去算奖励、做规划。这种方案听起来直接跑起来却极痛苦因为像素里大部分信息是冗余的光照变化、背景纹理、目标物体的表面材质这些和决策根本没关系却要消耗巨量计算资源去生成。DreamerV1 的做法是完全绕开像素重建把观测图像压缩成一个低维潜状态变量在这个压缩后的状态空间里做转移预测、回报预测和策略优化。正是这一点让它有资格叫“纯潜空间想象”。生活里有个很接近的类比你开车路过一个路口不需要在脑中重建整个路口的每个像素只要记住“红绿灯状态、车距、速度”这几个关键变量就能预测接下来几秒会发生什么。DreamerV1 做的事就是这个只不过它让神经网络自己从图像里挑出该记住的关键变量。这样做的好处非常直接想象速度快因为不需要做图像级生成想象轨迹更平滑因为潜状态过滤了无关噪声策略梯度可以直接作用在潜状态上训练过程稳定不少。1.2 DreamerV1 整体设计拆解DreamerV1 的完整架构可以分成三大块第一块是世界模型负责学习环境的动态规律第二块是行为网络也就是常见的 actor-critic负责在给定潜状态下选择动作和评估价值第三块是想象过程这是把前两块连接起来的枢纽也是“想象驱动”这个说法的来源。世界模型承担的任务是把高维观测压缩成潜状态并学习潜状态之间的动态转移。训练时它会接收大量真实环境轨迹学习从观测到潜状态的编码方式、从当前潜状态和动作到下一潜状态的预测方式以及从潜状态到奖励的映射方式。这一部分学习出来之后相当于智能体脑海中对世界规律的一个“压缩版本”。行为网络不直接接触真实环境它只能在世界模型搭建的“模拟器”里活动。每次更新策略时从过去的真实轨迹里抽取一小段潜状态作为起点然后让 actor 连续给出动作让世界模型一个接一个地预测后续潜状态和奖励这样就能凭空生成一批想象轨迹。critic 会为这些轨迹上的每个潜状态打分actor 根据打分调整自己的动作分布。整个循环下来真实环境只在两个地方出现流程起点用来采集初始数据流程结束用来部署最新策略补充数据。中间漫长的策略更新过程全部发生在潜空间里样本效率自然就上来了。这套设计之所以是“新范式”是因为它把“用模型做规划”和“用模型做训练”分开来了。传统基于模型的方法常常依赖模型做规划或者做蒙特卡洛树搜索而 DreamerV1 把模型生成的数据当作强化学习本身的训练集让 actor-critic 在想象数据上反复迭代。这种“学习想象能力然后在想象中学习”的闭环才是核心创新点。2. 核心组件与关键原理解读2.1 世界模型是如何工作的理解 DreamerV1 的关键是先弄清世界模型内部每个子模块的职责。我按训练数据流向来拆会清楚很多。整个模型接收的是一个序列的观测、动作和奖励但不会直接去预测原始像素序列而是先用一个表征模型把当前观测 x_t 编码成一个随机潜变量 z_t。这个编码过程不是简单地输出高维向量而是学习一个概率分布实际使用时从分布中采样让模型能表达环境中的随机性。与此同时模型里还维持着一个确定性隐藏状态 h_t一般用 RNN 结构来更新。潜变量 z_t 解决“当前观测压缩成什么”的问题隐藏状态 h_t 解决“过去所有信息如何总结成一份完整记忆”的问题。两者结合才能让模型面对部分可观测环境时不至于丢失关键信息。转移动模型负责预测下一个潜状态 z_{t1} 的分布它接收的是当前隐藏状态 h_t、当前动作 a_t 和从当前观测中采样出的 z_t。回报模型则负责从这些信息中预测当前时刻的奖励训练目标就是让奖励预测尽量接近真实奖励。真正让潜空间有意义的是重建模型。重建模型会把潜变量还原成原始观测但它只在训练阶段使用作用是防止编码器把无关信息也丢掉逼迫潜变量保留足够多的观测信息。换句话说重建是“为了压出有信息量的潜状态”服务的。训练世界模型时的损失函数包含几项重建误差、奖励预测误差、KL 散度。KL 散度让潜变量的分布不过度偏离先验也承担正则化作用。很多新手第一次看代码时会问既然说纯潜空间想象为什么还要重建图像原因很简单模型在测试阶段不需要解码图像但训练阶段要借助重建损失来组织潜空间结构。没有重建损失潜变量可能收敛到非常糟糕的表示后续想象轨迹也会毫无意义。2.2 行为学习怎么在想象中进行世界模型训练好后就要用它生成“虚拟经验”。这一步和我见过的很多基于模型的规划方法很不一样DreamerV1 不是仅仅用模型来选择下一步动作而是用模型生成了批量完整的想象轨迹然后在这些轨迹上正常跑强化学习算法。具体来说从回放缓冲区里采样一些真实轨迹片段的潜状态作为初始状态从这些初始状态出发让 actor 给出动作让世界模型给出下一状态和奖励。这样连续展开若干步就得到了一大堆没有真实环境参与的状态-动作-奖励序列。有了想象轨迹剩下的就和主流强化学习很像了。critic 网络负责估计状态价值actor 网络负责输出动作分布。想象轨迹上每个时刻都能算出实际奖励再加上 critic 给出的未来价值估计就可以构建带衰减因子的回报目标。然后 actor 和 critic 一起更新critic 让自己预测的价值越来越准actor 让动作分布更倾向选择高价值动作。因为想象过程可以并行批量展开一次训练就能产生上千条虚拟轨迹不需要真的去环境里跑上千步这就是它样本效率高的直接原因。为什么要限定在潜空间而不是像素空间做行为学习因为像素空间的维度太高价值函数和策略函数在这种输入上非常难优化。潜空间通常只有几十到几百维而且高度结构化动作对下一状态的影响在潜空间中往往更平滑梯度更容易传导。另外潜空间状态已经包含了预测未来所需的信息actor 不需要从原始图像里慢慢找特征。这个设计让 DreamerV1 在 64x64 像素输入下也能跑得动换成像素空间做同样的事情计算开销可能增加几个数量级。3. 实操过程与核心实现要点3.1 复现时的网络结构与关键参数量我在复现 DreamerV1 时最关心的第一件事是网络模块的尺寸。虽然原始设计给出了推荐参数但不同任务差异很大尤其是潜状态维度、CNN 宽度和 RNN 隐藏单元数。下面这个表格是我自己在连续控制任务上常用的一组配置可以作为起步基准。模块输入输出我的常用配置表征模型64x64x3 图像潜变量 z_t 的分布CNN 4 层输出 1024 维特征再映射到 32 维高斯分布转移动模型h_t z_t a_t潜状态 z_{t1} 分布 h_{t1}GRU 隐藏单元 1024输出 32 维高斯分布回报模型h_t z_t奖励标量全连接层 256256重建模型z_t64x64x3 图像转置 CNN 4 层与编码器镜像actorz_t动作分布全连接层 400400输出动作均值和对数方差criticz_t状态价值标量全连接层 400400这个配置在大多数连续控制任务上都能跑出不错的效果。潜状态维度 32 是个比较均衡的选择太小会丢信息太大会让转移模型难以拟合。如果你处理的任务更复杂比如包含多物体交互可以把潜状态提升到 64甚至 128但要相应增加训练数据量。3.2 训练流程逐段拆解DreamerV1 的训练流程是一个多阶段闭环我第一次跑时总以为会像普通强化学习那样一步一步踩环境实际上它的主循环非常规整拆成五步就清楚了。第一步是预采集。初始化 actor 为随机策略让它在环境里跑若干轮把轨迹放进回放缓冲区。这一步不用太多数据一般一个小的缓冲区就够关键在于后面的迭代会不断补充新数据。第二步是训练世界模型。从缓冲区采样一段时间序列按照前面说的多任务损失更新世界模型包括表征模型、转移动模型、回报模型和重建模型。这个阶段是最费算力的它决定了潜空间的质量所以我通常会给它更大的批大小。第三步是想象展开。固定世界模型参数再从缓冲区采样一批潜状态作为起点与随机初始化的 actor-critic 配合在世界模型中展开长度为 H 的虚拟轨迹。这里想象长度不需要太长我通常用 15。第四步是更新 actor-critic。在想象轨迹上计算回合回报和优势更新策略和价值网络。由于这些轨迹完全来自模型actor 和 critic 可以多次迭代更新不用担心和真实环境交互频率冲突。第五步是环境交互。把最新的 actor 部署到真实环境里做动作采样收集新的轨迹加入缓冲区然后回到第二步继续重复。整个循环中真实环境交互只占很少的一部分时间大部分计算都花在训练世界模型和想象展开上。跑实验时要时刻记住世界模型是动态变化的并不是训练一次就永远固定每一轮迭代都应当用最新数据微调它。3.3 超参数调优的实操心得超参数里面最影响性能的是想象长度、世界模型学习率、actor-critic 学习率以及回报归一化方式。想象长度 H 我在多个任务上试过太短会让价值估计看不到长期结果太长则会让世界模型的累计误差放大。15 是一个足够好的起点。如果你发现想象轨迹后期状态失真严重可以降到 10 甚至 8如果场景非常简单可以提到 20。学习率我建议分开设置。世界模型更复杂需要慢一点我一般设成 3e-4actor 和 critic 可以略微快一点比如 8e-5。这里有个容易踩的坑世界模型的更新节奏如果和策略更新完全同步容易造成模型还没学到足够信息就和策略互相影响最后出现灾难性遗忘。我通常会让世界模型在每个循环里更新更多步相当于给它“预习”的机会。回报归一化也很关键。想象轨迹上计算出的回报因为状态值估计还不稳定数值可能飘得厉害。我习惯使用简单稳定的标准化技巧把回报减去均值再除以标准差这样 critic 的预测目标不会一下子冲得太大。每次调参后最好先固定随机种子跑一千步看趋势再决定加或减不要一上来就全盘梭哈。4. 常见问题与排查技巧实录4.1 世界模型不收敛的几种常见表现世界模型不收敛是最让人头疼的问题因为表面上看训练 loss 一直在降但想象轨迹一塌糊涂。我遇到过几种很典型的情况。第一种是重建损失下降很快但奖励预测误差却纹丝不动这说明模型已经学会了压缩图像但没有让潜状态携带于奖励相关的信息。可以尝试加大奖励预测项的权重或者检查奖励数值范围是否太小被其他损失项淹没了。第二种是 KL 散度异常要么很快归零要么持续变大。KL 归零意味着潜变量分布失去了随机性潜状态变成了确定性编码这样转移模型很容易过拟合到一个静态映射KL 持续变大则说明潜变量携带了过多噪声转移模型学不到稳定的动态。解决方案也很粗暴给 KL 项加一个合适的系数并且用 KL 平衡技巧来动态调节。第三种是训练 loss 出现明显尖刺这基本都是梯度爆炸。世界模型里有 RNN 和深度 CNN梯度跨时间步传播时很容易爆炸。我习惯在优化器外面加全局梯度裁剪裁剪阈值设为 100 左右基本能压住尖刺。另外潜状态分布的重参数化采样有时会带来随机噪声如果损失曲线抖动过大可以先把潜状态维度降低一点试试。4.2 想象轨迹和真实轨迹差异过大怎么办就算世界模型训练得很好想象轨迹和真实轨迹之间也会有偏差这是基于模型强化学习绕不开的问题。最直接的原因是分布偏移训练世界模型时用的经验主要来自上一版本的策略而想象展开时使用的是当前策略世界模型没见过太多当前策略产生的状态分布预测自然开始漂移。我在实验中总结出的三个有效手段。第一个是限制想象长度不要让模型展开太远因为一步偏差小积累二十步以后可能就面目全非。第二个是给想象的初始状态加一点噪声让世界模型见过足够多样化的起始点提高它对分布偏移的容忍度。第三是保持回放缓冲区中数据的新鲜度不要一个缓冲区用到天荒地老。我常用相对较小的缓冲区比如保留最近几十万步的经验这样世界模型接触到的数据始终和最新策略保持接近。还有一个更隐蔽的问题就是潜在状态空间和动作空间没有对齐。比如任务需要精确速度控制潜状态却把速度和方向混在一起编码转移模型就很难拟合。这种情况要回到表征模型去调整比如增加潜状态维度或者在不同任务里尝试使用独立的随机潜变量和确定性隐藏状态组合方式。不要只盯着转移模型调参问题根源可能早在编码阶段就埋下了。4.3 训练速度与样本效率的平衡技巧在实际工程里训练速度和样本效率经常是矛盾的。想要样本效率高就要多训练世界模型多展开想象但每一步都要烧 GPU想要训练速度快就得减少世界模型的更新频率可这又会让模型质量下滑。我试过几种折中方案比较有效的是把世界模型训练步数和策略更新步数解耦。比如每个主循环里世界模型更新 100 步actor-critic 更新 50 步然后把新策略部署去采集数据。这个比例不是固定的可以看二者的损失曲线来调。批量大小也值得细调。世界模型训练时我常用 batch size 32、序列长度 50想象展开时batch size 通常小一些因为每个想象轨迹本身已经很长。GPU 显存不够时不要硬扛大批次可以把序列长度减半而不是把 batch size 减半这样对长程依赖的损害更小。我在一块普通显卡上跑一个中等难度连续控制任务通常几小时能看到趋势完整训练要过夜。如果一小时内 loss 完全没变化先别急着加资源应该排查是不是潜状态维度太小或者奖励范围异常。5. DreamerV1 的迁移价值与扩展方向5.1 这套范式怎么迁移到自定义任务如果你不想只跑 benchmark想把 DreamerV1 用到自己的任务上有几个工程细节值得重视。首先是环境封装我强烈建议把所有观测统一到固定分辨率比如 64x64 或 128x128同时把奖励缩放到合理范围。图像输入如果分辨率差异很大CNN 的第一层参数就得重设保持统一能减少很多调试成本。其次是动作空间的适配。DreamerV1 默认用高斯策略处理连续动作如果你要做离散动作任务需要把 actor 的输出改成类别分布对应修改 log 概率计算和重参数化采样方式。离散动作想象展开时不会有太大问题但世界模型要增加一个动作 embedding不能把离散动作序号直接拼进向量。潜状态维度选择上我的经验是低维控制任务比如关节机械臂用 16 到 32 足够需要视觉推理的复杂任务可以到 64 以上。再往上收益会递减训练成本倒是涨得很快。另外如果任务有多个目标或稀疏奖励建议在奖励进模型之前做一步平滑或者 shaping让世界模型的奖励预测任务更容易学否则 actor 在想象轨迹上看到的回报方差会非常大很难收敛。5.2 从 V1 到后续版本的启示DreamerV1 给了整个社区一个很重要的启发世界模型不是只能用来做规划它本身可以成为强化学习策略的训练场地。后续的很多工作都在这个方向上继续深化。有的版本改进了世界模型的架构把转移动模型设计得更灵活以此处理更复杂的任务有的版本加入了多种模态信息让潜状态融合文本、图像和本体感觉还有一些方向把它应用到了离线强化学习用历史数据训练世界模型再在想象中恢复策略。这些改进或多或少延续了“纯潜空间想象”这个核心思路。对于只接触过无模型强化学习的人来说最需要转变的观念是不要再用真实交互作为策略更新的绝对底座。适当依赖模型想象能让你在有限数据下获得更好的泛化。但也要保持清醒DreamerV1 的想象世界只是一个近似模型一旦近似误差超过某个阈值策略就会利用模型漏洞学到在真实环境中完全失效的行为。因此在落地产线上还需要配合离线验证、安全约束和冗余机制。5.3 我的落地建议与避坑提示说了这么多最后给几条实际跑实验时最有用的建议。第一不要一开始就在超大任务上复现 DreamerV1先挑一个中等难度的连续控制任务跑通一个最小闭环再迁移到复杂场景。第二日志记录一定要详细尤其是想象轨迹上的平均回报、潜状态标准差和重建误差这三样能帮你快速定位是世界模型的问题还是行为学习的问题。第三我在实际项目中习惯给探索噪声做退火从 1.0 线性降到 0.1比固定噪声能找回不少最终性能这个方法在想象式强化学习中非常有效。还有一个容易忽略的小细节训练之后保存模型时记得把世界模型和 actor-critic 一起保存因为后续继续训练时除非重新跑完整流程否则单独加载一个 actor 网络无法与重建后的潜空间对齐。我吃过的亏是在部署阶段只导出了 actor结果发现输入格式完全是训练时的潜状态而不是原始观测白白浪费了半天。保持完整管线思维才是这套范式真正能落地的前提。