前阵子有个做决策智能方向的朋友跑来问我最近总看到“自监督RL”这个词好像大家都在讨论但每个人解释得都不太一样。有的说这是解决“奖励稀疏”问题的神器有的说这是让机器人自己学会探索的方法还有人说本质上就是给强化学习加了一个“视觉预训练”。其实这些说法都对但都不完整。自监督RL不是某一个具体算法而是一整套思路把自监督学习的“自己跟自己玩”的能力搬进强化学习里用来解决RL最头疼的几件事——奖励不好设计、样本效率太低、表征难学。这篇文章我想试着把“自监督RL”这个黑话彻底说透。我会先从传统强化学习的痛点说起再拆解自监督学习和RL结合的几种主流做法最后给出一份可以直接上手的实验配置指南和踩坑记录。不管你是刚接触RL的学生还是在工业界被稀疏奖励折磨过的工程师这篇文章都能让你对这串词的来龙去脉有个清晰的判断。1. 先回到原点强化学习为什么这么“难养”要想理解自监督RL的价值得先弄清楚传统RL最大的几道坎到底在哪。不然你只会觉得“好像多了一个技巧”但不知道它到底救了什么命。1.1 奖励函数是RL的第一道坎凡是亲手做过强化学习项目的人都体会过“调奖励”的痛苦。想让智能体学会一个动作你得设计一个奖励函数告诉它“什么行为是好的”。但现实任务里“好”这件事往往非常模糊。拿机器人抓取来说你希望它把杯子端起来放到指定位置那中间过程呢手靠近杯子给不给奖励碰到杯子给不给奖励动一下胳膊给不给奖励这种人为设计奖励的过程我们叫“奖励工程”。你会发现你在用扳手和螺丝刀硬生生把一个连续、模糊的目标拧成一个数值函数。更麻烦的是奖励稍微设计得不合理智能体就会钻空子——在游戏里原地转圈骗分、在机器人控制里反复抖动手臂蹭奖励这种“奖励黑客”行为在真实项目里比比皆是。传统RL对奖励的依赖是全方位的。策略梯度算法要依赖奖励信号计算梯度值函数要依赖奖励做回归目标探索也往往依赖奖励差异来引导方向。一旦奖励稀疏比如只有最终成功才给一个奖励中间的几千步全是零奖励智能体基本就是在瞎试。这导致很多实际项目根本跑不动不是算法不行是“信号”本身就太弱了。1.2 样本效率RL一直在烧数据第二个大问题是样本效率。RL的训练方式是让智能体不断和环境交互从交互数据里学习。听起来很合理但问题在于需要的交互量极其巨大。在视频游戏里跑几百万帧算是家常便饭在真实机器人上让机械臂自己甩几百万次既不现实也很危险。所以大家通常会退而求其次在模拟器里训练了再迁移到真实设备。这就又引入了模拟与真实之间的差距问题。模拟器里学到的东西拿到真实世界可能完全不适用。这两个痛点——奖励稀疏和样本效率低——恰好是自监督学习最擅长发力的地方。自监督学习不需要外部标签能从数据自身找规律强化学习最缺的恰恰就是“外部信号”。一个需要标签却没有标签一个信号太弱但又不缺数据两者结合是顺理成章的事。2. 自监督学习在RL里到底“自”在哪里很多人一听“自监督”就头大觉得是个很高深的术语。其实它的核心想法特别朴素不靠人工标注让模型从数据本身构造出学习目标自己给自己出题。2.1 自监督的核心自己给自己出题如果没接触过自监督学习可以先回想一下小时候做语文题老师让你给一段话填词比如“今天天气___适合外出”。你不需要别人告诉你这句话什么意思只需要根据上下文猜出那个空格。你用的其实就是上下文信息。自监督学习做的就是这个事——把数据的一部分藏起来让模型去预测被藏起来的部分或者让相似样本靠得更近、不同样本离得更远。放图像领域可能是把图片的一块区域抠掉让模型补全放文本领域可能是盖住一句话里的几个词让模型预测。都不用人工标注因为答案就在数据自己身上。那么问题来了RL里的数据和图像文本不太一样它是一串状态、动作、下一个状态的交互序列。这种序列结构里藏着什么可以“自己出题”的东西答案很多。最典型的两类一类是状态本身的预测问题比如看到当前帧能不能预测下一帧会变成什么样另一类是表征之间的一致性约束比如同一帧图像做了裁剪、变色后模型能不能认出它们本质上还是同一个状态。这些目标都不需要知道“这局游戏赢没赢”只需要数据本身。2.2 它和RL结合的两种基本姿势自监督学习和RL结合目前看下来主要有两条路这两条路不是互斥的很多工作实际上是把它们叠加使用。第一条路是“表征学习”。RL处理高维输入图像时原始像素里有很多和决策无关的信息比如背景变化、光照变化。如果直接把原始像素喂给策略网络模型需要花大量精力去忽略这些无关因素样本效率自然低。用自监督的方式预训练或并行训练一个编码器让模型只关注“和决策相关的特征”策略就好学得多。这相当于给RL配了一副“偏光镜”滤掉干扰光影看清本质边缘。第二条路是“内在奖励”。既然外部奖励稀疏靠不住那能不能让智能体自己给自己奖励这个想法在心理学上有个对应概念内在动机。人类在没有任何外部奖励时也会对新鲜事物产生好奇会主动去探索未知区域。给RL智能体同样装上“好奇心”让那些“预测不准”的新奇状态产生额外的内在奖励就能引导它持续探索直到最终发现外部稀疏奖励。自监督在这里的作用就是计算“这个状态对我而言有多意外”。这两条思路就是自监督RL版图的主干。接下来我把目前学术界工程界里比较成熟和主流的几种具体做法逐个拆开讲清楚。3. 主流的自监督RL方法一条条给你拆开自监督RL不是单一算法而是一个方法家族。下面这四条主线基本覆盖了目前主流的工作对比表征学习、内在动机探索、世界模型学习、自动子目标生成。我尽量用通俗类比把原理讲清楚再补充一些实操层面的细节。3.1 表征学习路线先从像素里提炼关键信息这条路线最简单直接。核心思路是先用自监督方式把“状态”编码成一个紧凑向量再做RL决策。具体怎么做拿最常用的对比学习Contrastive Learning来说。同一帧画面你给它做两次不同的数据增强比如一次稍微裁剪一次稍微变换颜色理论上它们代表的还是同一个状态这对样本叫正样本对。再随机抽一帧完全不同的画面作为负样本。然后训练编码器让正样本对的特征在向量空间里尽量靠近负样本对尽量远离。这个过程完全不需要奖励信号就是纯自监督。学完之后编码器对背景变化、光照变化具有很强的鲁棒性因为它被迫学会了“不管背景长什么样只要是同一个状态特征就得一样”。把这个编码器塞进RL的感知管道里策略看到的就不再是被无关信息污染的高维像素而是被蒸馏过的关键特征。还有一种特别实用的变体叫“反向动力学”。给你两个相邻帧以及它们之间发生的一个动作但把动作藏起来让模型预测。这里的关键在于如果只根据相邻帧就能猜出动作那模型只需要关注和动作相关的信息背景、光照这类“和决策无关”的因素就被自然丢弃了。这比对比学习更贴近“决策”本身所以很多连续控制任务里这种方法学出来的表征效果非常稳。不过用哪些数据增强很讲究。RL数据和图像分类数据有一个本质区别RL里相邻帧高度相关而且画面里的主体目标和位置对决策极其重要。如果裁剪太狠把关键目标裁出画面正样本对实际上已经不“正”了反而会误导表征。实操上一般只做轻微的颜色抖动、平移、或者小比例裁剪。有个经验数值可以给大家做参照随机裁剪比例控制在原始画面的80%以上颜色抖动幅度也不宜过大对比学习的温度参数通常在0.1到0.5之间。3.2 内在动机路线用好奇心驱动探索这条路线解决的是“奖励稀疏到最后一步才出现”的问题。思路是别再傻等外部奖励了给智能体装一个“好奇心模块”让它自己对新鲜事物上瘾。具体机制是这样在自监督层面学一个“前向动力学模型”输入当前状态和当前动作输出对下一个状态的预测。同时把这个模块接到真实环境里跑让智能体每走一步都产生一个“预测偏差”——也就是模型预测的下一个状态和真实下一个状态差多少。偏差越大说明这个状态越“新奇”、越出乎意料于是就给这个step一个较高的内在奖励。这个机制的效果非常直观。想象一个空旷房间里有个红色按钮按下去门才开但开门奖励要等到几十步之后才能拿到。如果没有好奇心机制智能体在房间里瞎逛没碰到按钮前完全接受不到梯度几乎学不会。有了好奇心它会被“哪个区域我没去过”这种好奇心驱动自然而然就逛到了红色按钮附近一旦按下按钮触发后续奖励真正有用的学习就开始了。这里有一个非常经典的坑“嘈杂电视”问题。如果状态空间里存在一些完全随机、不可预测的噪声元素比如场景里一直闪烁的雪花点前向模型对它的预测永远不准于是模型会把所有内在奖励都集中在这个噪声上变成“看噪声上瘾”完全忘记了探索任务本身。这是好奇心机制在真实环境落地时最常遇到的问题。解决办法也成熟了别在高维原始像素空间做预测误差而是先学一个压缩表征再在表征空间里做预测。噪声像素在表征里占的权重会被削弱预测偏差就不容易被噪声主导。这是从无数实验里踩出来的经验新上手的人千万别直接拿原始像素算好奇心。3.3 世界模型路线在想象中练习这条路线更激进也更接近人类学习的方式。核心思路是先让智能体学习一个“世界模型”也就是环境动态的预测模型然后让智能体在这个模型的“想象环境”里疯狂练习。你不必让机器人真的在现实里摔一万次而是先让它看一部分真实交互数据学会“我推一下这个物体物体会往那边滚”的规律。然后让机器人闭上眼睛在脑海里模拟一万次练习动作。这种行为习惯其实人类也有投篮前你会先在脑子里想象一下出手力度和抛物线围棋选手也会在脑海里推演变化。自监督在这个范式中承担的任务是什么呢就是训练这个“世界模型”。让模型学习状态转移规律输入当前状态和动作预测下一状态的特征表示。这种预测目标天然是自监督的不需要任何外部奖励。模型越准想象出来的轨迹越真实在想象里练出来的策略越好。这类方法带来的收益是样本效率的飞越。传统的模型无关RL通常需要在真实环境里跑几十万步才能学一个简单任务世界模型类方法往往只需要真实交互数据的很小一部分然后绝大部分训练都在“梦里”完成。在连续控制任务和部分游戏任务上这种做法已经跑出了非常亮眼的结果。不过世界模型的误差累积问题也很尖锐。想象环境毕竟只是近似如果模型在某个区域的预测不准智能体在“梦里”学到了一个在这个区域胡来的策略转移到真实环境时就会露馅。从实操角度建议在用世界模型做长程规划时定期抽样真实环境数据来校正模型不要把模型预测当永恒真理。3.4 子目标自动生成把长任务拆小最后这条路线和前面三条不太一样它更多用于“长视野任务”。什么是长视野任务比如让机器人做一顿饭完成这个目标可能需要上千步中间有大量子步骤拿食材、切菜、开火、翻炒。如果只在这整段最后给一个奖励训练难度可想而知。自监督在这里的用法是让智能体从自己的经验轨迹里自动提取“子目标”。方法上通常借助表征空间来操作先把状态映射到表征空间然后检测表征空间里的“边界”。比如智能体自己玩了几百次发现状态从A区域跳到B区域是一个经常出现的分界点于是自动把B区域定义为一个子目标。一旦有了子目标原先的长程稀疏奖励任务就被自动改写成一组短程、较密的多阶段任务。每一段只需要在“从当前位置到子目标”这个范围内探索可行性大大提升。这条路的工程实践价值很高因为它几乎不需要人来设计GT目标的层次结构和顺序。模型自己从数据中发现目标结构颇有点“自动任务分解”的味道。当然它也有自己的局限如果表征空间本身质量差边界就切不准子目标会变得混乱反而拖累训练。因此这条路线一般会和3.1里的表征学习配合使用先学好表征再谈子目标发现。4. 实操视角从概念到跑通一个实验需要什么概念聊再多不亲手跑一跑总是虚的。这一章我以一个“带视觉输入的小型导航任务”为例给出手写一个自监督RL训练流程的完整配置和关键细节。为了方便说明我选了OpenAI Gym里带图像渲染的导航类环境做载体但思路可以平移到连续控制或策略规划任务。4.1 一个最小可行的自监督RL实验长什么样先说清楚这个实验要解决什么问题。你控制一个智能体在地图里移动目标是到达一个终点但终点所在位置很隐蔽地图又大又空旷。外部奖励只在到达终点时给一次典型稀疏奖励。如果没有自监督模块这个任务几乎训不动。那这个实验的网络结构怎么搭设计如图思路是共享一个图像编码器影像输入后得到一个特征向量。这个特征向量兵分两路一路直接进策略网络输出动作另一路进一个自监督头用来做对比学习。与此同时还有一个独立的“内在奖励模块”它接收特征表示预测下一时刻的特征预测误差用来给智能体产生即时激励。训练流程大致是这么一个循环# 自监督RL训练主循环伪代码风格可翻译成任何主流RL框架 for epoch in range(num_epochs): # 1. 用当前策略跑一批轨迹存进经验池 replay_buffer collect_episodes(policy, env) # 2. 从经验池采样一批数据 obs, actions, next_obs, rewards replay_buffer.sample(batch_size) # 3. 计算自监督对比损失同一状态的两个增强版本特征要靠近 z1 encoder(augment(obs)) z2 encoder(augment(obs)) contrastive_loss infonce_loss(z1, z2, negative_samples) # 4. 计算内在奖励前向预测误差 pred_next_z forward_dynamics_model(z, actions) intrinsic_reward mse_loss(pred_next_z, target_encoder(next_obs)) # 5. 合并奖励更新RL策略 total_reward rewards alpha * intrinsic_reward rl_loss policy_gradient_loss(obs, actions, total_reward) # 6. 更新编码器、自监督头、前向模型和策略 total_loss rl_loss lambda_c * contrastive_loss lambda_f * forward_model_loss update_parameters(total_loss)这段流程里最关键的两个超参数就是alpha和lambda_c。它们分别控制内在奖励在总奖励里的比重、以及自监督损失对表征的影响强度。我第一次跑这类实验时这两个值调了一周才找到感觉。具体数值后面讲。4.2 关键参数和调参心得参数这个东西不给出范围等于没说我把自己实测过好用的区间整理如下参数推荐区间说明对比损失温度0.1 ~ 0.5温度太低负样本压力太大训练不稳太高则区分度不足内在奖励权重 alpha0.1 ~ 1.0权重太大智能体会过度“好奇”忽略外部任务太小则探索不足自监督损失权重 lambda_c0.5 ~ 5.0和RL loss量级有关需要先看一眼各损失的量级再定表征更新频率每次RL更新都更新但用动量编码器不要同步更新编码器和策略容易震荡数据增强强度轻微裁剪保留80%以上亮度变化幅度太大形成伪正样本对学出错误表征关于动量编码器这里要多说一句。对比学习刚刚起步时大家发现直接用同一个编码器同时服务“查询”和“键”会训练不稳定原因在于表征还没学好时自己拿自己当参考答案会陷入“坍塌”解——所有样本的特征都一样损失降为0但特征没有意义了。解决方案是用一个更新缓慢的目标编码器通常用指数移动平均更新让表征有一个相对稳定的参照系。这在RL场景里同样重要甚至更重要因为RL本身就有策略更新的非平稳性如果表征再不稳训练基本会乱成粥。数据增强的细节也值得说。图像分类里大家可能习惯了大幅裁剪、旋转、灰度抖动甚至添加噪声。但在RL里任务主体往往集中在一小块区域大幅裁剪非常容易把关键目标剪掉。我自己刚开始做的时候就吃过这个亏裁剪比例拉得太狠对比学习学出来的表征丢失了目标位置信息策略死活学不好最后排查半天才发现是增强配置的问题。还有一个小细节观察是否归一化。图像输入建议用像素值除以255但要确保增强后的样本也统一走同一条预处理管道否则对比损失计算会出现数值异常。5. 常见问题与排查技巧实录这部分是我最想写的内容。任何算法从论文变成能用的工程中间总有一段极度“恼火”的时期。自监督RL的bug往往藏得特别深因为它有两条反馈回路一条是RL自身的奖励回路另一条是自监督的表征回路两边互相纠缠。5.1 训练时损失一直波动不降这是最常遇到的症状。策略在进步一点、退步一点损失像心电图一样狂跳。很多人第一反应是调学习率但真正的病根大概率是表征和策略“打架”了。具体场景是这样的策略更新会让智能体的行为分布发生变化采集到的轨迹也随之变化轨迹变化又会导致自监督模块的输入分布变化于是表征也跟着变表征一变策略看到的“世界”就变了策略更新目标也跟着漂移。整个系统处于一个相互拖拽的循环中。我的排查顺序第一步是静置自监督模块把对比损失固定不变只训练策略看是否稳定。如果仍然不稳说明问题在RL本身需要调奖励或网络结构。如果稳定了说明问题出在表征和策略的耦合上。接下来试试给编码器加一个动量更新或者降低自监督损失的权重给策略更多主导权。我用过的组合里编码器更新比策略慢3到5倍时稳定性最好。5.2 模型前期探索太过随机很多人在好奇心机制里遇到过这个问题智能体并不是系统地探索而是像喝醉了一样在环境里乱撞甚至反复做一些无意义的高频动作。这通常是因为内在奖励的权重设置得太大导致智能体为了制造“新奇”而刻意做出一些剧烈动作因为这些剧烈动作产生的状态变化大预测误差自然大。举个例子在一个导航任务里原地转圈可以让画面快速变化预测误差持续居高不下智能体就学会了持续转圈吃内在奖励。这本质上又是一种“奖励黑客”只不过这回黑的不是外部奖励而是内在奖励。解决这个问题有几个办法。第一把内在奖励计算时的动作因素剥离掉只依赖状态变化来估新奇度第二给内在奖励乘一个衰减系数随着训练推进逐渐降低它的比重让外部奖励逐渐占主导第三提前用一个少量演示数据给策略做行为克隆预热让它先学会不犯傻的基础动作再开启探索。我习惯的做法是三者配合预热10%的训练轮次然后内在奖励权重从高点指数衰减。这样探索初期有力量后期有精度。5.3 对比学习表征坍塌关于表征坍塌直接说症状编码器输出所有样本的特征都集中在一个很小的球形区域内互相之间的距离几乎为零对比损失已经降到接近下限但RL的训练效果也一落千丈。这就是“表征坍塌”——模型用最懒的方式把所有输入映射到同一个点让对比损失“假性最优”。这种时候要检查几个东西。温度参数是不是调断了负样本数量是不是太少导致对比压力不足数据增强是不是太弱正样本对和目标样本太像导致任务太简单。也试过在对比损失上额外加一个防止坍塌的正则项效果也有帮助但先按前三个原因排查大多数情况下能解决。5.4 一个实用的建议跑实验不要只看一条曲线做RL实验一直以来都建议多跑几个随机种子。自监督RL由于有多条学习回路同时推进随机性比普通RL还要大。单条曲线的波动往往掩盖了真实的算法能力。我的习惯是最少跑5个种子报告时画中位数曲线和四分位距带。如果一条曲线效果很好但其他四个种子效果崩了那大概率是运气好不是算法好。这种判断经验对自监督RL尤其重要因为它的方差往往高于传统RL。5.5 常见问题速查表症状可能原因排查方向总损失不降表征和策略互相干扰降低自监督权重或对编码器使用动量更新策略前期乱动、反复高频动作内在奖励权重过大降低alpha并给内在奖励加衰减对比损失降但不解决问题表征坍塌加大负样本量、调温度、调整增强强度真机迁移效果暴跌模拟器里过度依赖内在奖励收敛阶段逐步把内在奖励衰减到0学习到一半灾难性退化经验池里过时数据和新策略不匹配考虑用较新数据比例更高的采样策略最后想分享的一点个人体会自监督RL确实给强化学习打开了新的口子尤其在高维视觉输入、稀疏奖励、长程决策这些传统RL的“坟场”区域它做出了实质性的改善。但它也不是万能药。在我做过的项目里凡是奖励信号本身足够密集、任务目标非常清晰的传统场景传统的RL配合好的奖励设计效率依然是最稳、最可控的。自监督的引入反而增加了一层复杂度让问题难以诊断。我的建议是面对一个新问题先别急着叠加自监督模块。先用普通的RL跑一跑花点时间把奖励设计、网络结构这些基础功夫做好。如果发现模型确实学不动、探索效率太低、或者视觉输入里干扰太多再针对性地把自监督模块加进来——缺什么补什么。自监督RL不是用来替代RL的它是给RL“补课”的。理清这个定位你才能把它用在刀刃上。 
长河君 · 2026/10/19 8:29:57 · 阅读 1.2k 自监督强化学习从入门到实战：解决奖励稀疏与样本效率难题
前阵子有个做决策智能方向的朋友跑来问我最近总看到“自监督RL”这个词好像大家都在讨论但每个人解释得都不太一样。有的说这是解决“奖励稀疏”问题的神器有的说这是让机器人自己学会探索的方法还有人说本质上就是给强化学习加了一个“视觉预训练”。其实这些说法都对但都不完整。自监督RL不是某一个具体算法而是一整套思路把自监督学习的“自己跟自己玩”的能力搬进强化学习里用来解决RL最头疼的几件事——奖励不好设计、样本效率太低、表征难学。这篇文章我想试着把“自监督RL”这个黑话彻底说透。我会先从传统强化学习的痛点说起再拆解自监督学习和RL结合的几种主流做法最后给出一份可以直接上手的实验配置指南和踩坑记录。不管你是刚接触RL的学生还是在工业界被稀疏奖励折磨过的工程师这篇文章都能让你对这串词的来龙去脉有个清晰的判断。1. 先回到原点强化学习为什么这么“难养”要想理解自监督RL的价值得先弄清楚传统RL最大的几道坎到底在哪。不然你只会觉得“好像多了一个技巧”但不知道它到底救了什么命。1.1 奖励函数是RL的第一道坎凡是亲手做过强化学习项目的人都体会过“调奖励”的痛苦。想让智能体学会一个动作你得设计一个奖励函数告诉它“什么行为是好的”。但现实任务里“好”这件事往往非常模糊。拿机器人抓取来说你希望它把杯子端起来放到指定位置那中间过程呢手靠近杯子给不给奖励碰到杯子给不给奖励动一下胳膊给不给奖励这种人为设计奖励的过程我们叫“奖励工程”。你会发现你在用扳手和螺丝刀硬生生把一个连续、模糊的目标拧成一个数值函数。更麻烦的是奖励稍微设计得不合理智能体就会钻空子——在游戏里原地转圈骗分、在机器人控制里反复抖动手臂蹭奖励这种“奖励黑客”行为在真实项目里比比皆是。传统RL对奖励的依赖是全方位的。策略梯度算法要依赖奖励信号计算梯度值函数要依赖奖励做回归目标探索也往往依赖奖励差异来引导方向。一旦奖励稀疏比如只有最终成功才给一个奖励中间的几千步全是零奖励智能体基本就是在瞎试。这导致很多实际项目根本跑不动不是算法不行是“信号”本身就太弱了。1.2 样本效率RL一直在烧数据第二个大问题是样本效率。RL的训练方式是让智能体不断和环境交互从交互数据里学习。听起来很合理但问题在于需要的交互量极其巨大。在视频游戏里跑几百万帧算是家常便饭在真实机器人上让机械臂自己甩几百万次既不现实也很危险。所以大家通常会退而求其次在模拟器里训练了再迁移到真实设备。这就又引入了模拟与真实之间的差距问题。模拟器里学到的东西拿到真实世界可能完全不适用。这两个痛点——奖励稀疏和样本效率低——恰好是自监督学习最擅长发力的地方。自监督学习不需要外部标签能从数据自身找规律强化学习最缺的恰恰就是“外部信号”。一个需要标签却没有标签一个信号太弱但又不缺数据两者结合是顺理成章的事。2. 自监督学习在RL里到底“自”在哪里很多人一听“自监督”就头大觉得是个很高深的术语。其实它的核心想法特别朴素不靠人工标注让模型从数据本身构造出学习目标自己给自己出题。2.1 自监督的核心自己给自己出题如果没接触过自监督学习可以先回想一下小时候做语文题老师让你给一段话填词比如“今天天气___适合外出”。你不需要别人告诉你这句话什么意思只需要根据上下文猜出那个空格。你用的其实就是上下文信息。自监督学习做的就是这个事——把数据的一部分藏起来让模型去预测被藏起来的部分或者让相似样本靠得更近、不同样本离得更远。放图像领域可能是把图片的一块区域抠掉让模型补全放文本领域可能是盖住一句话里的几个词让模型预测。都不用人工标注因为答案就在数据自己身上。那么问题来了RL里的数据和图像文本不太一样它是一串状态、动作、下一个状态的交互序列。这种序列结构里藏着什么可以“自己出题”的东西答案很多。最典型的两类一类是状态本身的预测问题比如看到当前帧能不能预测下一帧会变成什么样另一类是表征之间的一致性约束比如同一帧图像做了裁剪、变色后模型能不能认出它们本质上还是同一个状态。这些目标都不需要知道“这局游戏赢没赢”只需要数据本身。2.2 它和RL结合的两种基本姿势自监督学习和RL结合目前看下来主要有两条路这两条路不是互斥的很多工作实际上是把它们叠加使用。第一条路是“表征学习”。RL处理高维输入图像时原始像素里有很多和决策无关的信息比如背景变化、光照变化。如果直接把原始像素喂给策略网络模型需要花大量精力去忽略这些无关因素样本效率自然低。用自监督的方式预训练或并行训练一个编码器让模型只关注“和决策相关的特征”策略就好学得多。这相当于给RL配了一副“偏光镜”滤掉干扰光影看清本质边缘。第二条路是“内在奖励”。既然外部奖励稀疏靠不住那能不能让智能体自己给自己奖励这个想法在心理学上有个对应概念内在动机。人类在没有任何外部奖励时也会对新鲜事物产生好奇会主动去探索未知区域。给RL智能体同样装上“好奇心”让那些“预测不准”的新奇状态产生额外的内在奖励就能引导它持续探索直到最终发现外部稀疏奖励。自监督在这里的作用就是计算“这个状态对我而言有多意外”。这两条思路就是自监督RL版图的主干。接下来我把目前学术界工程界里比较成熟和主流的几种具体做法逐个拆开讲清楚。3. 主流的自监督RL方法一条条给你拆开自监督RL不是单一算法而是一个方法家族。下面这四条主线基本覆盖了目前主流的工作对比表征学习、内在动机探索、世界模型学习、自动子目标生成。我尽量用通俗类比把原理讲清楚再补充一些实操层面的细节。3.1 表征学习路线先从像素里提炼关键信息这条路线最简单直接。核心思路是先用自监督方式把“状态”编码成一个紧凑向量再做RL决策。具体怎么做拿最常用的对比学习Contrastive Learning来说。同一帧画面你给它做两次不同的数据增强比如一次稍微裁剪一次稍微变换颜色理论上它们代表的还是同一个状态这对样本叫正样本对。再随机抽一帧完全不同的画面作为负样本。然后训练编码器让正样本对的特征在向量空间里尽量靠近负样本对尽量远离。这个过程完全不需要奖励信号就是纯自监督。学完之后编码器对背景变化、光照变化具有很强的鲁棒性因为它被迫学会了“不管背景长什么样只要是同一个状态特征就得一样”。把这个编码器塞进RL的感知管道里策略看到的就不再是被无关信息污染的高维像素而是被蒸馏过的关键特征。还有一种特别实用的变体叫“反向动力学”。给你两个相邻帧以及它们之间发生的一个动作但把动作藏起来让模型预测。这里的关键在于如果只根据相邻帧就能猜出动作那模型只需要关注和动作相关的信息背景、光照这类“和决策无关”的因素就被自然丢弃了。这比对比学习更贴近“决策”本身所以很多连续控制任务里这种方法学出来的表征效果非常稳。不过用哪些数据增强很讲究。RL数据和图像分类数据有一个本质区别RL里相邻帧高度相关而且画面里的主体目标和位置对决策极其重要。如果裁剪太狠把关键目标裁出画面正样本对实际上已经不“正”了反而会误导表征。实操上一般只做轻微的颜色抖动、平移、或者小比例裁剪。有个经验数值可以给大家做参照随机裁剪比例控制在原始画面的80%以上颜色抖动幅度也不宜过大对比学习的温度参数通常在0.1到0.5之间。3.2 内在动机路线用好奇心驱动探索这条路线解决的是“奖励稀疏到最后一步才出现”的问题。思路是别再傻等外部奖励了给智能体装一个“好奇心模块”让它自己对新鲜事物上瘾。具体机制是这样在自监督层面学一个“前向动力学模型”输入当前状态和当前动作输出对下一个状态的预测。同时把这个模块接到真实环境里跑让智能体每走一步都产生一个“预测偏差”——也就是模型预测的下一个状态和真实下一个状态差多少。偏差越大说明这个状态越“新奇”、越出乎意料于是就给这个step一个较高的内在奖励。这个机制的效果非常直观。想象一个空旷房间里有个红色按钮按下去门才开但开门奖励要等到几十步之后才能拿到。如果没有好奇心机制智能体在房间里瞎逛没碰到按钮前完全接受不到梯度几乎学不会。有了好奇心它会被“哪个区域我没去过”这种好奇心驱动自然而然就逛到了红色按钮附近一旦按下按钮触发后续奖励真正有用的学习就开始了。这里有一个非常经典的坑“嘈杂电视”问题。如果状态空间里存在一些完全随机、不可预测的噪声元素比如场景里一直闪烁的雪花点前向模型对它的预测永远不准于是模型会把所有内在奖励都集中在这个噪声上变成“看噪声上瘾”完全忘记了探索任务本身。这是好奇心机制在真实环境落地时最常遇到的问题。解决办法也成熟了别在高维原始像素空间做预测误差而是先学一个压缩表征再在表征空间里做预测。噪声像素在表征里占的权重会被削弱预测偏差就不容易被噪声主导。这是从无数实验里踩出来的经验新上手的人千万别直接拿原始像素算好奇心。3.3 世界模型路线在想象中练习这条路线更激进也更接近人类学习的方式。核心思路是先让智能体学习一个“世界模型”也就是环境动态的预测模型然后让智能体在这个模型的“想象环境”里疯狂练习。你不必让机器人真的在现实里摔一万次而是先让它看一部分真实交互数据学会“我推一下这个物体物体会往那边滚”的规律。然后让机器人闭上眼睛在脑海里模拟一万次练习动作。这种行为习惯其实人类也有投篮前你会先在脑子里想象一下出手力度和抛物线围棋选手也会在脑海里推演变化。自监督在这个范式中承担的任务是什么呢就是训练这个“世界模型”。让模型学习状态转移规律输入当前状态和动作预测下一状态的特征表示。这种预测目标天然是自监督的不需要任何外部奖励。模型越准想象出来的轨迹越真实在想象里练出来的策略越好。这类方法带来的收益是样本效率的飞越。传统的模型无关RL通常需要在真实环境里跑几十万步才能学一个简单任务世界模型类方法往往只需要真实交互数据的很小一部分然后绝大部分训练都在“梦里”完成。在连续控制任务和部分游戏任务上这种做法已经跑出了非常亮眼的结果。不过世界模型的误差累积问题也很尖锐。想象环境毕竟只是近似如果模型在某个区域的预测不准智能体在“梦里”学到了一个在这个区域胡来的策略转移到真实环境时就会露馅。从实操角度建议在用世界模型做长程规划时定期抽样真实环境数据来校正模型不要把模型预测当永恒真理。3.4 子目标自动生成把长任务拆小最后这条路线和前面三条不太一样它更多用于“长视野任务”。什么是长视野任务比如让机器人做一顿饭完成这个目标可能需要上千步中间有大量子步骤拿食材、切菜、开火、翻炒。如果只在这整段最后给一个奖励训练难度可想而知。自监督在这里的用法是让智能体从自己的经验轨迹里自动提取“子目标”。方法上通常借助表征空间来操作先把状态映射到表征空间然后检测表征空间里的“边界”。比如智能体自己玩了几百次发现状态从A区域跳到B区域是一个经常出现的分界点于是自动把B区域定义为一个子目标。一旦有了子目标原先的长程稀疏奖励任务就被自动改写成一组短程、较密的多阶段任务。每一段只需要在“从当前位置到子目标”这个范围内探索可行性大大提升。这条路的工程实践价值很高因为它几乎不需要人来设计GT目标的层次结构和顺序。模型自己从数据中发现目标结构颇有点“自动任务分解”的味道。当然它也有自己的局限如果表征空间本身质量差边界就切不准子目标会变得混乱反而拖累训练。因此这条路线一般会和3.1里的表征学习配合使用先学好表征再谈子目标发现。4. 实操视角从概念到跑通一个实验需要什么概念聊再多不亲手跑一跑总是虚的。这一章我以一个“带视觉输入的小型导航任务”为例给出手写一个自监督RL训练流程的完整配置和关键细节。为了方便说明我选了OpenAI Gym里带图像渲染的导航类环境做载体但思路可以平移到连续控制或策略规划任务。4.1 一个最小可行的自监督RL实验长什么样先说清楚这个实验要解决什么问题。你控制一个智能体在地图里移动目标是到达一个终点但终点所在位置很隐蔽地图又大又空旷。外部奖励只在到达终点时给一次典型稀疏奖励。如果没有自监督模块这个任务几乎训不动。那这个实验的网络结构怎么搭设计如图思路是共享一个图像编码器影像输入后得到一个特征向量。这个特征向量兵分两路一路直接进策略网络输出动作另一路进一个自监督头用来做对比学习。与此同时还有一个独立的“内在奖励模块”它接收特征表示预测下一时刻的特征预测误差用来给智能体产生即时激励。训练流程大致是这么一个循环# 自监督RL训练主循环伪代码风格可翻译成任何主流RL框架 for epoch in range(num_epochs): # 1. 用当前策略跑一批轨迹存进经验池 replay_buffer collect_episodes(policy, env) # 2. 从经验池采样一批数据 obs, actions, next_obs, rewards replay_buffer.sample(batch_size) # 3. 计算自监督对比损失同一状态的两个增强版本特征要靠近 z1 encoder(augment(obs)) z2 encoder(augment(obs)) contrastive_loss infonce_loss(z1, z2, negative_samples) # 4. 计算内在奖励前向预测误差 pred_next_z forward_dynamics_model(z, actions) intrinsic_reward mse_loss(pred_next_z, target_encoder(next_obs)) # 5. 合并奖励更新RL策略 total_reward rewards alpha * intrinsic_reward rl_loss policy_gradient_loss(obs, actions, total_reward) # 6. 更新编码器、自监督头、前向模型和策略 total_loss rl_loss lambda_c * contrastive_loss lambda_f * forward_model_loss update_parameters(total_loss)这段流程里最关键的两个超参数就是alpha和lambda_c。它们分别控制内在奖励在总奖励里的比重、以及自监督损失对表征的影响强度。我第一次跑这类实验时这两个值调了一周才找到感觉。具体数值后面讲。4.2 关键参数和调参心得参数这个东西不给出范围等于没说我把自己实测过好用的区间整理如下参数推荐区间说明对比损失温度0.1 ~ 0.5温度太低负样本压力太大训练不稳太高则区分度不足内在奖励权重 alpha0.1 ~ 1.0权重太大智能体会过度“好奇”忽略外部任务太小则探索不足自监督损失权重 lambda_c0.5 ~ 5.0和RL loss量级有关需要先看一眼各损失的量级再定表征更新频率每次RL更新都更新但用动量编码器不要同步更新编码器和策略容易震荡数据增强强度轻微裁剪保留80%以上亮度变化幅度太大形成伪正样本对学出错误表征关于动量编码器这里要多说一句。对比学习刚刚起步时大家发现直接用同一个编码器同时服务“查询”和“键”会训练不稳定原因在于表征还没学好时自己拿自己当参考答案会陷入“坍塌”解——所有样本的特征都一样损失降为0但特征没有意义了。解决方案是用一个更新缓慢的目标编码器通常用指数移动平均更新让表征有一个相对稳定的参照系。这在RL场景里同样重要甚至更重要因为RL本身就有策略更新的非平稳性如果表征再不稳训练基本会乱成粥。数据增强的细节也值得说。图像分类里大家可能习惯了大幅裁剪、旋转、灰度抖动甚至添加噪声。但在RL里任务主体往往集中在一小块区域大幅裁剪非常容易把关键目标剪掉。我自己刚开始做的时候就吃过这个亏裁剪比例拉得太狠对比学习学出来的表征丢失了目标位置信息策略死活学不好最后排查半天才发现是增强配置的问题。还有一个小细节观察是否归一化。图像输入建议用像素值除以255但要确保增强后的样本也统一走同一条预处理管道否则对比损失计算会出现数值异常。5. 常见问题与排查技巧实录这部分是我最想写的内容。任何算法从论文变成能用的工程中间总有一段极度“恼火”的时期。自监督RL的bug往往藏得特别深因为它有两条反馈回路一条是RL自身的奖励回路另一条是自监督的表征回路两边互相纠缠。5.1 训练时损失一直波动不降这是最常遇到的症状。策略在进步一点、退步一点损失像心电图一样狂跳。很多人第一反应是调学习率但真正的病根大概率是表征和策略“打架”了。具体场景是这样的策略更新会让智能体的行为分布发生变化采集到的轨迹也随之变化轨迹变化又会导致自监督模块的输入分布变化于是表征也跟着变表征一变策略看到的“世界”就变了策略更新目标也跟着漂移。整个系统处于一个相互拖拽的循环中。我的排查顺序第一步是静置自监督模块把对比损失固定不变只训练策略看是否稳定。如果仍然不稳说明问题在RL本身需要调奖励或网络结构。如果稳定了说明问题出在表征和策略的耦合上。接下来试试给编码器加一个动量更新或者降低自监督损失的权重给策略更多主导权。我用过的组合里编码器更新比策略慢3到5倍时稳定性最好。5.2 模型前期探索太过随机很多人在好奇心机制里遇到过这个问题智能体并不是系统地探索而是像喝醉了一样在环境里乱撞甚至反复做一些无意义的高频动作。这通常是因为内在奖励的权重设置得太大导致智能体为了制造“新奇”而刻意做出一些剧烈动作因为这些剧烈动作产生的状态变化大预测误差自然大。举个例子在一个导航任务里原地转圈可以让画面快速变化预测误差持续居高不下智能体就学会了持续转圈吃内在奖励。这本质上又是一种“奖励黑客”只不过这回黑的不是外部奖励而是内在奖励。解决这个问题有几个办法。第一把内在奖励计算时的动作因素剥离掉只依赖状态变化来估新奇度第二给内在奖励乘一个衰减系数随着训练推进逐渐降低它的比重让外部奖励逐渐占主导第三提前用一个少量演示数据给策略做行为克隆预热让它先学会不犯傻的基础动作再开启探索。我习惯的做法是三者配合预热10%的训练轮次然后内在奖励权重从高点指数衰减。这样探索初期有力量后期有精度。5.3 对比学习表征坍塌关于表征坍塌直接说症状编码器输出所有样本的特征都集中在一个很小的球形区域内互相之间的距离几乎为零对比损失已经降到接近下限但RL的训练效果也一落千丈。这就是“表征坍塌”——模型用最懒的方式把所有输入映射到同一个点让对比损失“假性最优”。这种时候要检查几个东西。温度参数是不是调断了负样本数量是不是太少导致对比压力不足数据增强是不是太弱正样本对和目标样本太像导致任务太简单。也试过在对比损失上额外加一个防止坍塌的正则项效果也有帮助但先按前三个原因排查大多数情况下能解决。5.4 一个实用的建议跑实验不要只看一条曲线做RL实验一直以来都建议多跑几个随机种子。自监督RL由于有多条学习回路同时推进随机性比普通RL还要大。单条曲线的波动往往掩盖了真实的算法能力。我的习惯是最少跑5个种子报告时画中位数曲线和四分位距带。如果一条曲线效果很好但其他四个种子效果崩了那大概率是运气好不是算法好。这种判断经验对自监督RL尤其重要因为它的方差往往高于传统RL。5.5 常见问题速查表症状可能原因排查方向总损失不降表征和策略互相干扰降低自监督权重或对编码器使用动量更新策略前期乱动、反复高频动作内在奖励权重过大降低alpha并给内在奖励加衰减对比损失降但不解决问题表征坍塌加大负样本量、调温度、调整增强强度真机迁移效果暴跌模拟器里过度依赖内在奖励收敛阶段逐步把内在奖励衰减到0学习到一半灾难性退化经验池里过时数据和新策略不匹配考虑用较新数据比例更高的采样策略最后想分享的一点个人体会自监督RL确实给强化学习打开了新的口子尤其在高维视觉输入、稀疏奖励、长程决策这些传统RL的“坟场”区域它做出了实质性的改善。但它也不是万能药。在我做过的项目里凡是奖励信号本身足够密集、任务目标非常清晰的传统场景传统的RL配合好的奖励设计效率依然是最稳、最可控的。自监督的引入反而增加了一层复杂度让问题难以诊断。我的建议是面对一个新问题先别急着叠加自监督模块。先用普通的RL跑一跑花点时间把奖励设计、网络结构这些基础功夫做好。如果发现模型确实学不动、探索效率太低、或者视觉输入里干扰太多再针对性地把自监督模块加进来——缺什么补什么。自监督RL不是用来替代RL的它是给RL“补课”的。理清这个定位你才能把它用在刀刃上。