我最近刚把一个最简单也最经典的强化学习练手项目——让智能体在地图里自主探索最终找到宝藏——从头到尾完整复现了一遍。从环境搭建到Q-learning调参从训练曲线到路径可视化前前后后踩了不少坑。这篇文章把我整套做法和思考过程整理出来给准备入门强化学习、或者正在做课程设计、个人项目的朋友一个可以直接抄作业的参考。这个项目本身不复杂一个未知地图里藏着宝藏智能体不知道地图布局只能靠试错慢慢摸索。传统做法要么给一份完整地图做全局规划要么手工写一堆规则。但强化学习的方式完全不一样它只给智能体两个东西一个是“能做什么动作”另一个是“做完动作能得到什么反馈”。至于怎么去、走哪条路、怎么绕开危险区域全部由智能体自己学出来。这套思路往大了说就是机器人导航、游戏AI、智能决策系统背后的通用方法论。整个文章会按项目从0到1的完整流程聊先说整体设计思路再讲环境怎么搭、奖励怎么设然后上Q-learning的核心原理和完整代码接着是训练过程中的观察方法和调参经验最后聊聊怎么把这种小项目扩展成更复杂的DQN方案。不管你是刚接触强化学习的小白还是已经看过一堆概念想动手实践的朋友这篇文章都能让你拿到既有理论依据又有工程细节的完整路线。1. 项目概述与核心思路拆解1.1 这个任务到底在解决什么问题“自主探索并找到宝藏”本质上是一个序贯决策问题。智能体在每一步都要做选择往前走还是转弯继续冒险还是走回头路。每一步的选择都会影响后续的状态而最终目标是在尽可能少的步数内找到宝藏。如果你直接抛给一个初学编程的人他的第一反应可能是“这不是一个搜索问题吗”的确如果地图是已知的用广度优先搜索或者A*算法一两行就能算出最优路径。但这个项目的关键设定是“自主探索”也就是说智能体并不知道完整地图长什么样它只能感知当前自己站在哪个格子里周围可能有什么。这种情况下传统搜索算法完全失效因为你没有全局地图可供规划。强化学习给出的解法非常朴素让智能体自己走走对了给奖励走错了给惩罚通过大量试错把“在什么状态该做什么动作”的经验沉淀下来。这个过程很像人学骑自行车——教练不会给你画一条完美的路线图他只是在你歪歪扭扭骑行的过程中不断喊“往左一点”“往右一点”你把那些反馈和身体记忆揉在一起最后就会骑了。我选择用网格世界来做这个实验而不是直接用连续的仿真环境原因很实际网格世界状态离散、动作简单、奖励可以精确控制几乎所有强化学习概念——状态、动作、奖励、策略、探索与利用——都能在这个最小化的场景里被直观看到。对初学的人来说在连续控制环境里调参数会感觉像在迷雾里开车而在网格世界里每一步能发生什么、为什么发生都清清楚楚。1.2 强化学习的四要素怎么对应这个寻宝项目任何强化学习问题都可以拆成四个基本要素状态、动作、奖励函数、策略。在这个项目里我做了如下映射状态智能体当前所在网格坐标用一个二元组(x, y)表示。状态空间大小 地图行数 × 地图列数。动作上下左右四个方向的移动用up、down、left、right表示即动作空间大小为4。奖励函数走到普通空格子扣一点分踩到陷阱扣大分到达宝藏加很多分。这样设计的目的是推动智能体既避开危险、又尽可能缩短路线。策略智能体在每个状态采取动作的规则。训练过程中策略是探索性的训练结束后我们从Q表里提取“贪心策略”即每个状态下取Q值最大的动作形成最终行为。这个四要素的分解是整个项目的骨架。你后面看到的所有公式、代码、调参操作最终都是在优化“策略”这个东西。一个典型的强化学习循环是智能体观察当前状态根据策略选择动作环境返回下一个状态和奖励智能体用这个过渡样本更新策略然后进入下一步。循环往复直到策略收敛。1.3 为什么不用传统寻路算法解决我画过一张对比表把传统寻路和强化学习放在一起看直观感受会比较强对比维度传统寻路A* / BFS强化学习Q-learning需要地图信息需要完整已知地图不需要完全靠试错环境变化后的反应需要重新规划可以微调策略具备一定泛化能力路径质量通常能找到最短路径逼近最优路径依赖超参数运行方式一次性计算得到路径先训练再推理训练依赖大量交互可解释性每一步都有明确代价通过Q值反映长期收益这里不是要贬低传统算法在工程里A*这类方法仍然大量使用。但强化学习的价值在于它不需要环境模型适用于那些规则不明确、状态变化复杂、无法穷举所有情况的场景。这个寻宝小项目虽然简单但已经把强化学习的本质吃透了用数据代替规则用试错代替推理。2. 实验环境设计与奖励函数配置2.1 网格地图怎么设计才符合“自主探索”目标我没有一上来就上深度学习而是用了一个很朴素的8×8网格。起点放在左上角(0,0)宝藏放在右下角(7,7)中间设置两个陷阱。陷阱的坐标我在几次实验里换过比较经典的一组是(3,3)和(5,4)。地图可视化出来大致是这个样子S . . . . . . . . . . . . . . . . . . . . . . . . . . X . . . . . . . . . . . . . . . . T . . . . . . . . . . . . . . . . . . GS是起点G是宝藏位置X和T是两个陷阱。这个布局看起来简单但其实已经具备一定迷惑性右上区域是开阔的如果不做任何惩罚智能体很容易在空旷地带兜圈子陷阱的存在让智能体必须学会“绕路”而不是一股脑向右下角冲。地图大小和陷阱数量没有标准答案我建议初学的人先从5×5或者8×8这种小尺寸开始。地图太大Q表收敛会明显变慢调参周期变长容易消磨信心地图太小比如3×3智能体两步就到终点了很难观察到真正的学习过程。8×8是我试过之后感觉最舒服的尺寸训练速度足够快又能看到明显的“从乱走→走错→绕开→接近最优”的学习曲线过程。2.2 奖励函数设计最容易被忽视的关键环节强化学习圈有一句很经典的话Reward is everything。奖励函数怎么设直接决定智能体学出来的行为长什么样。我在实验里对比过三种奖励方案这里直接给出结果方案一稀疏奖励。只有到达宝藏给10其他所有格子奖励都是0陷阱也是0。这种设计非常符合“找到宝藏”的字面意思但实际训练下来明显偏慢。因为智能体初期连方向感都没有在64个格子里随机乱走很难碰巧摸到右下角偶尔摸到了也不知道刚才那些步骤到底哪些该记住。从这个角度来说稀疏奖励是“定义正确但学习效率极低”。方案二密集正奖励。距离宝藏越近给越多奖励。听起来很合理但有一个隐蔽问题智能体会学会“原地踱步”或者“在两个格子之间来回横跳”来刷奖励而不是真正走向宝藏。因为如果奖励的梯度设计不够平滑当它发现自己在一个位置停留也能拿到正分时探索新的方向反而变成了风险。方案三步骤惩罚陷阱惩罚终点正奖励。每次普通移动给-0.04踩陷阱给-1到达宝藏给10。这个方案是我最终使用的也是我强烈推荐的。用-0.04这个很小的负数核心目的是让智能体有“时间成本”意识每多走一步都会积累负分所以它必须寻找最短路径但这个惩罚又足够小不会让智能体为了躲避惩罚而完全不敢移动。陷阱的-1比普通步惩罚高一个量级能让智能体明确感知“这条路不能走”。在实践中-0.04并不是一个拍脑袋的数字。它参考了经典的悬崖行走例子中的“每步-1”设定但对于8×8地图来说步数惩罚太大会让智能体过于畏缩太小又等同于没有。我试过-0.01效果差异不大但试过-1之后智能体一度出现“原地不动”的极端保守行为因为原地不动虽然无法获得宝藏但也不会损失太多分数。把普通时刻的惩罚压在-0.1以下是我在这些实验里积累起来的一条经验线。2.3 学习率、折扣因子、探索率怎么选三个核心超参数我用的组合是学习率alpha0.1折扣因子gamma0.95初始探索率epsilon1.0逐步衰减到0.01。学习率0.1意味着每次更新时新信息只占最终更新量的十分之一。这个数值是经验平衡点太小会导致学习速度慢太大则会让Q值来回震荡旧经验很快被新样本覆盖。0.1到0.2之间是绝大多数离散状态Q-learning项目的安全区间。折扣因子0.95表示智能体对“当前步数之后的收益”按每步0.95的速度折现。如果gamma太小比如0.5智能体会只顾眼前利益宁可绕开陷阱附近也不愿走近如果太大比如0.99智能体几乎不区分近期和远期收益收敛速度会变慢。0.95在“兼顾长期收益”和“收敛速度”之间取得了平衡。探索率的衰减策略我后面在代码部分会给完整实现。这里只说一句话探索率不能衰减到0。就算训练完成也要保留1%~5%的随机动作这既是工程实践中的惯例也是让策略对突发情况保持一定鲁棒性的手段。3. Q-learning算法原理与工程实现细节3.1 Q值公式用一个生活例子讲透Q-learning的核心是一个更新公式新Q值 旧Q值 学习率 × (即时奖励 折扣因子 × 下一状态最大Q值 - 旧Q值)这个公式乍看有点抽象我把它翻译成人话你在某个路口选了左边这条路走完发现没吃到好吃的那你就在心里给“在这个路口选左边”这件事的评分往下调一点如果走完发现有宝藏那就往上调。多次下来每个路口的每个选择都会有一个比较稳定的“长期收益预期”。整个Q-learning过程就是不断更新这张“选择评分表”。Q值和普通奖励的区别在于它是“长期预期”而不是“即时收益”。一个格子没有直接奖励但如果从这个格子的某个方向走出去能避开陷阱并在三步内到达终点那么这个格子对应方向的动作Q值就会很高。正是因为Q值考虑了未来收益智能体才不是一只只顾眼前的小白鼠而是一个具备“规划”能力的决策者。3.2 探索与利用的平衡epsilon-greedy策略算法工程实现里最核心一点是探索与利用的平衡。完全利用Q表总是选当前认为最佳的动作会陷入局部最优完全随机探索又无法积累足够经验。我用的是最经典的epsilon-greedy策略每次做决策时以epsilon的概率随机乱走以1-epsilon的概率选当前Q值最高的动作。训练初期epsilon设为1.0也就是纯随机随着训练回合增加epsilon逐渐减小让智能体从“乱试”过渡到“利用已有经验”。衰减曲线我用的是线性衰减每回合乘以一个衰减系数直到掉到0.01下限。也可以换成指数衰减但网格世界很小线性衰减已经足够。实际训练中我跑了5000个回合到大约2000回合时智能体已经能稳定找到宝藏后面3000回合更多是在巩固和微调策略。3.3 完整代码一个可直接运行的示例我用Python加NumPy写了一个完整实现。代码不依赖任何深度学习框架普通电脑秒级运行。环境类、智能体类、训练循环三块分开写方便你植入自己的地图和需求。import numpy as np import random GRID_ROWS 8 GRID_COLS 8 START (0, 0) TREASURE (7, 7) TRAPS [(3, 3), (5, 4)] ACTIONS [(0, -1), (0, 1), (-1, 0), (1, 0)] # 左 右 上 下 ACTION_NAMES [left, right, up, down] REWARD_STEP -0.04 REWARD_TRAP -1.0 REWARD_TREASURE 10.0 MAX_STEPS 100 ALPHA 0.1 GAMMA 0.95 EPSILON_INIT 1.0 EPSILON_MIN 0.01 EPSILON_DECAY 0.9995 EPISODES 5000 def is_outside(pos): x, y pos return x 0 or x GRID_ROWS or y 0 or y GRID_COLS def is_terminal(pos): return pos TREASURE or pos in TRAPS def step(state, action_idx): x, y state dx, dy ACTIONS[action_idx] new_pos (x dx, y dy) if is_outside(new_pos): new_pos state # 越界视为原地不动 if new_pos TREASURE: reward REWARD_TREASURE done True elif new_pos in TRAPS: reward REWARD_TRAP done True else: reward REWARD_STEP done False return new_pos, reward, done def get_state_idx(state): return state[0] * GRID_COLS state[1] q_table np.zeros((GRID_ROWS * GRID_COLS, len(ACTIONS))) epsilon EPSILON_INIT for episode in range(EPISODES): state START done False total_reward 0 steps 0 while not done and steps MAX_STEPS: s_idx get_state_idx(state) if random.random() epsilon: action random.randint(0, len(ACTIONS) - 1) else: action int(np.argmax(q_table[s_idx])) next_state, reward, done step(state, action) ns_idx get_state_idx(next_state) best_next_q np.max(q_table[ns_idx]) td_target reward GAMMA * best_next_q q_table[s_idx][action] ALPHA * (td_target - q_table[s_idx][action]) state next_state total_reward reward steps 1 epsilon max(EPSILON_MIN, epsilon * EPSILON_DECAY) if (episode 1) % 500 0: avg_episode_reward total_reward print(fEpisode {episode 1}: steps{steps}, reward{total_reward:.2f}, epsilon{epsilon:.3f})我跑这段代码前三五百回合的输出基本是奖励在负十几的区间徘徊说明智能体经常踩陷阱或者绕路到一千回合左右奖励开始转正到两三千回合终点附近的Q值已经明显高于其他区域智能体基本能稳定找到宝藏。3.4 代码里几个容易忽略的工程细节第一越界处理。我把它设计成“越界原地不动没有额外惩罚”。也就是说智能体撞到地图边界不会受到额外惩罚只是那次移动没有效果。但代价是浪费了一步也就积累了REWARD_STEP的负分所以智能体在训练过程中会自然学会不要对着墙猛撞。第二终局处理。到达陷阱或者宝藏之后直接结束本回合不再提供下一状态的Q值。所以在更新Q值时如果done为TrueTD target就是即时奖励本身不再加gamma乘以未来Q值。这个细节写错会导致Q值被污染智能体学到错误的价值判断。第三epsislon衰减放在回合末尾而不是每步末尾。每个回合内保持同一个epsilon值这样能保证一个回合内探索风格一致不会出现前半段完全随机、后半段完全贪心的混乱情况。我在早期版本里把epsilon衰减放在每步更新后结果导致某个回合刚开始几分钟内就从探索模式切换到了利用模式前期经验积累明显不足。建议你写代码之前先把这个逻辑梳理清楚避免踩同样的坑。4. 训练过程观察与收敛判断方法4.1 应该记录哪些训练指标我在训练过程中会实时记录三个指标每回合的总步数、每回合的总奖励、当前epsilon值。这三个指标各有用途总步数反映了智能体是否找到了一条高效路径。如果它已经在宝藏附近晃悠但始终没有做出最后一步步数会卡在最大值100附近这是一个很明确的预警信号。总奖励反映了综合表现。到达宝藏时有10的加成如果步数长但没到终点奖励基本是负的到了终点但绕了远路奖励会偏低。通过奖励数值可以直接判断策略质量。epsilon值用于辅助分析。如果epsilon还很高说明探索仍然主导你观察到的差表现不代表策略差如果epsilon已经很低但步数依然很高说明策略本身出了问题需要回头看奖励函数或学习率。除了这三个核心指标我还会记录一个“成功次数”。在每次训练结束后单独跑100个回合测试只使用贪心策略统计其中到达宝藏的次数。如果成功率在95%以上我才会认为这个模型真正学好了。单纯看训练奖励转正很容易被偶然性欺骗用独立测试集验证才是可靠标准。4.2 训练曲线长什么样才算正常正常的曲线会经历三个阶段。第一阶段前几百回合步数在50到100之间大幅震荡总奖励在负十到负二十之间徘徊。这代表智能体几乎完全随机探索偶尔碰巧到达终点但策略尚未成型。第二阶段几百到一千多回合步数开始出现明显下降趋势出现一批“短回合”。这代表智能体开始记住一些有效路径某些特定状态下的Q值开始形成稳定梯度。第三阶段两千回合左右及以后步数基本稳定在30-50步区间奖励不再剧烈波动成功率测试达到接近100%。这个时候再去查看Q表每个状态下的最优动作已经比较符合直觉了。我遇到过一种比较诡异的情况训练曲线平稳下降但到了一千五百回合突然剧烈回升步数从30跳到80。排查下来发现是因为epsilon衰减到比较低时智能体开始稳步利用已有Q值但Q表里某个区域的路径估计存在偏差导致它走上一条“看似最优实则绕远”的路。后来我把陷阱的位置调整了一下并加大了步骤惩罚这种情况就消失了。如果遇到类似曲线回弹优先怀疑奖励函数设置而非算法本身。4.3 从Q表还原最优策略训练完之后的Q表是一张64×4的矩阵直接看数字不够直观。我做了一个简单的小工具遍历所有非终点格子选出每个格子Q值最大的动作然后用方向符号画出来。def render_policy(): symbol_map {0: , 1: , 2: ^, 3: v} for x in range(GRID_ROWS): row for y in range(GRID_COLS): if (x, y) TREASURE: row G elif (x, y) in TRAPS: row X elif (x, y) START: row S else: s_idx get_state_idx((x, y)) best_action int(np.argmax(q_table[s_idx])) row symbol_map[best_action] print(row)输出大致是一张由箭头组成的路径图。你会发现起点附近的箭头都指向右下方向陷阱附近的箭头会有明显的“绕开”趋势终点附近箭头集中指向终点整个策略看起来就像一份自动绘制的导航图。看到这一步基本可以确认Q-learning已经成功解决了“自主探索找宝藏”这个任务。5. 常见问题排查与调参经验实录5.1 训练过程典型问题速查表我把实验过程中遇到过的典型问题整理成了一张表方便你对号排查。症状可能原因排查与调整方法训练几百回合后奖励依然很负步骤惩罚过大或epsilon衰减过快把步骤惩罚调小到-0.05左右调低epsilon衰减速率学习曲线大幅震荡没有收敛趋势学习率过高将alpha从0.2以上降到0.1以下训练后成功率极高但步数偏长没有惩罚步骤增加一个小的负向步骤惩罚让智能体学会抄近路智能体长期在一个小范围打转奖励设计存在“原地刷分”可能检查是否有正奖励被贪心利用增加负惩罚或禁止原地动作Q表数值一直很小或不更新奖励值全部为0检查done状态下的TD target是否正确是否漏了终止状态的更新到达终点失败率很高探索率过低后期没有新尝试把epsilon最小值设置在0.05左右保留一点随机性训练很快但路径明显绕远gamma太大只重远期把gamma从0.99调低到0.9~0.95加快近期信号的传导5.2 我踩过的几个印象深刻坑第一个坑是奖励函数里陷阱的惩罚值设得太高。我有一次把陷阱惩罚设为-5结果智能体学得非常“胆小”宁可绕大半个地图也不走靠近陷阱的格子步数暴增但总奖励反而更差。后来我想明白强化学习里的奖励值不只需要相对关系还要考虑量级。陷阱惩罚只需要比步骤惩罚高一个量级就够了-1对比-0.04既能形成明显警告又不会让智能体过度恐惧。第二个坑是忽略“越界原地不动”的成本。早期版本里我把越界设为原地不动且奖励为0智能体竟然学会了在某些边界位置疯狂撞墙——因为在那里停留不会损失分数又不会遇到危险。加入-0.04的步骤惩罚之后这个钻空子的行为立刻消失了。这个经验很值得推广任何“无代价的原地等待”都是奖励函数设计上的漏洞。第三个坑和随机种子有关。我在初版实验里没有固定随机种子结果连续三次训练出来的路径都不一样最短路径率时高时低很难判断算法本身是否收敛。后来我在环境初始化和训练循环开始前都固定了随机种子实验的可重复性一下子提升了很多。做实验报告或向别人展示项目时固定随机种子可以说是一个基本工程素养。5.3 调参顺序建议新手面对一堆超参数最容易乱。我的建议顺序是先固定环境与奖励函数再把epsilon衰减问题调好下一步看学习率是否合适最后微调gamma。奖励函数是一切行为的基础如果奖励没定好后面调什么都白费。epsilon衰减决定智能体能探索多少探索太少时即使奖励很好策略也未必能收敛到最优探索太多则会浪费训练时间。学习率一般在0.05~0.2之间微调影响的是收敛速度和平稳性。gamma主要影响路径选择倾向在网格环境下不那么敏感放到最后调即可。我这次把“调参顺序”本身当成一个结论写出来是因为很多初学者一上来就把gamma、alpha、epsilon同时改改完发现效果变差根本说不清楚是哪个参数拖了后腿。按顺序一次只动一个变量每次记录效果才能积累出可复用的经验。6. 从Q-learning扩展进化到DQN的改造思路6.1 Q-table的边界在哪里8×8网格用Q-table很舒服因为状态数只有64动作数4Q表总共256个值内存和计算都可以忽略不计。但一旦任务规模升级比如地图变成100×100状态数就达到10000Q表瞬间膨胀到40000个值如果再把连续坐标、连续速度等维度都加进来Q表的大小会以几何级数增长最终彻底不可行。Q-table的本质是查表法它需要把每个离散状态都明确列出来。遇到连续或高维状态空间这个方法就失效了。这就是DQN出现的背景用一个神经网络来近似Q函数输入状态输出每个动作的Q值估计不再需要存储庞大的表格。6.2 DQN的核心改进点DQN相比Q-learning有三个关键改动经验回放、目标网络、Q值网络近似。经验回放解决的是样本相关性。Q-learning在训练时逐条更新相邻样本高度相关容易导致网络参数剧烈震荡。经验回放先把大量经验样本存放在一个队列里训练时随机采样一小批打破了样本之间的时间相关性让训练更加稳定。目标网络解决的是“自己更新自己”的不稳定性。Q-learning更新公式里用到了“下一状态的最大Q值”但这个Q值本身也在被训练更新等于用一个移动的靶子做瞄准。DQN的做法是维护一套固定频率更新的目标网络每隔一段时间才把当前网络参数同步过去让训练目标相对稳定。第三个改动不用多说神经网络本身具备强大的泛化能力可以把相邻状态的价值趋势外推处理Q-table处理不了的连续空间。6.3 怎么从当前小项目演进如果你想在这个寻宝项目基础上进阶我建议按这个路线走先把8×8地图改成20×20甚至50×50用随机生成的陷阱布局让Q-learning在部分尺寸下勉强训练观察它在哪里开始变得吃力然后把Q-learning替换成DQN网络结构先用一个简单的两三层全连接网络输入状态坐标输出四个动作的Q值最后再把状态改成“以智能体为中心的局部观察窗口”比如只能看到周围五乘五范围内的障碍物信息这就非常接近真实的机器人局部导航了。我自己在扩展阶段遇到过一个问题DQN训练对超参数更敏感同一个网络结构改一个batch size收敛速度差异巨大。后来我把经验回放缓冲区大小设为20000batch size设为32每隔1000步更新一次目标网络参数这套组合在20×20地图上表现比较稳定。你可以把它当起点但不要盲目复用应根据自己的地图尺寸和训练预算来调整。6.4 后续还能加什么花样扩展方向其实很多。比如在终点附近放一个“守卫者”智能体需要学会绕后或者给地图加“视野范围”智能体只能看到雷达范围之内的格子也可以让宝藏位置在多个回合之间随机变化考验智能体的泛化能力而不是死记硬背。这些改动都不需要重写核心架构只要修改环境状态和奖励函数即可。我个人做这个项目时最有成就感的一刻不是看到训练曲线收敛而是把训练完的Q表打印成箭头地图看到智能体从起点出发一路顺畅绕过陷阱直达宝藏。那一刻你会感觉到一个没有任何地图知识的人工智能体从完全的随机行为中“长出”了一条合理路径这种从无到有的过程就是强化学习最迷人的地方。如果你身边有朋友也想入门这个领域我建议直接把这个小项目甩给他——比看十篇理论文章都管用。 
长河君 · 2026/10/18 14:40:08 · 阅读 1.2k 强化学习入门实战：Q-learning网格寻宝完整复现指南
我最近刚把一个最简单也最经典的强化学习练手项目——让智能体在地图里自主探索最终找到宝藏——从头到尾完整复现了一遍。从环境搭建到Q-learning调参从训练曲线到路径可视化前前后后踩了不少坑。这篇文章把我整套做法和思考过程整理出来给准备入门强化学习、或者正在做课程设计、个人项目的朋友一个可以直接抄作业的参考。这个项目本身不复杂一个未知地图里藏着宝藏智能体不知道地图布局只能靠试错慢慢摸索。传统做法要么给一份完整地图做全局规划要么手工写一堆规则。但强化学习的方式完全不一样它只给智能体两个东西一个是“能做什么动作”另一个是“做完动作能得到什么反馈”。至于怎么去、走哪条路、怎么绕开危险区域全部由智能体自己学出来。这套思路往大了说就是机器人导航、游戏AI、智能决策系统背后的通用方法论。整个文章会按项目从0到1的完整流程聊先说整体设计思路再讲环境怎么搭、奖励怎么设然后上Q-learning的核心原理和完整代码接着是训练过程中的观察方法和调参经验最后聊聊怎么把这种小项目扩展成更复杂的DQN方案。不管你是刚接触强化学习的小白还是已经看过一堆概念想动手实践的朋友这篇文章都能让你拿到既有理论依据又有工程细节的完整路线。1. 项目概述与核心思路拆解1.1 这个任务到底在解决什么问题“自主探索并找到宝藏”本质上是一个序贯决策问题。智能体在每一步都要做选择往前走还是转弯继续冒险还是走回头路。每一步的选择都会影响后续的状态而最终目标是在尽可能少的步数内找到宝藏。如果你直接抛给一个初学编程的人他的第一反应可能是“这不是一个搜索问题吗”的确如果地图是已知的用广度优先搜索或者A*算法一两行就能算出最优路径。但这个项目的关键设定是“自主探索”也就是说智能体并不知道完整地图长什么样它只能感知当前自己站在哪个格子里周围可能有什么。这种情况下传统搜索算法完全失效因为你没有全局地图可供规划。强化学习给出的解法非常朴素让智能体自己走走对了给奖励走错了给惩罚通过大量试错把“在什么状态该做什么动作”的经验沉淀下来。这个过程很像人学骑自行车——教练不会给你画一条完美的路线图他只是在你歪歪扭扭骑行的过程中不断喊“往左一点”“往右一点”你把那些反馈和身体记忆揉在一起最后就会骑了。我选择用网格世界来做这个实验而不是直接用连续的仿真环境原因很实际网格世界状态离散、动作简单、奖励可以精确控制几乎所有强化学习概念——状态、动作、奖励、策略、探索与利用——都能在这个最小化的场景里被直观看到。对初学的人来说在连续控制环境里调参数会感觉像在迷雾里开车而在网格世界里每一步能发生什么、为什么发生都清清楚楚。1.2 强化学习的四要素怎么对应这个寻宝项目任何强化学习问题都可以拆成四个基本要素状态、动作、奖励函数、策略。在这个项目里我做了如下映射状态智能体当前所在网格坐标用一个二元组(x, y)表示。状态空间大小 地图行数 × 地图列数。动作上下左右四个方向的移动用up、down、left、right表示即动作空间大小为4。奖励函数走到普通空格子扣一点分踩到陷阱扣大分到达宝藏加很多分。这样设计的目的是推动智能体既避开危险、又尽可能缩短路线。策略智能体在每个状态采取动作的规则。训练过程中策略是探索性的训练结束后我们从Q表里提取“贪心策略”即每个状态下取Q值最大的动作形成最终行为。这个四要素的分解是整个项目的骨架。你后面看到的所有公式、代码、调参操作最终都是在优化“策略”这个东西。一个典型的强化学习循环是智能体观察当前状态根据策略选择动作环境返回下一个状态和奖励智能体用这个过渡样本更新策略然后进入下一步。循环往复直到策略收敛。1.3 为什么不用传统寻路算法解决我画过一张对比表把传统寻路和强化学习放在一起看直观感受会比较强对比维度传统寻路A* / BFS强化学习Q-learning需要地图信息需要完整已知地图不需要完全靠试错环境变化后的反应需要重新规划可以微调策略具备一定泛化能力路径质量通常能找到最短路径逼近最优路径依赖超参数运行方式一次性计算得到路径先训练再推理训练依赖大量交互可解释性每一步都有明确代价通过Q值反映长期收益这里不是要贬低传统算法在工程里A*这类方法仍然大量使用。但强化学习的价值在于它不需要环境模型适用于那些规则不明确、状态变化复杂、无法穷举所有情况的场景。这个寻宝小项目虽然简单但已经把强化学习的本质吃透了用数据代替规则用试错代替推理。2. 实验环境设计与奖励函数配置2.1 网格地图怎么设计才符合“自主探索”目标我没有一上来就上深度学习而是用了一个很朴素的8×8网格。起点放在左上角(0,0)宝藏放在右下角(7,7)中间设置两个陷阱。陷阱的坐标我在几次实验里换过比较经典的一组是(3,3)和(5,4)。地图可视化出来大致是这个样子S . . . . . . . . . . . . . . . . . . . . . . . . . . X . . . . . . . . . . . . . . . . T . . . . . . . . . . . . . . . . . . GS是起点G是宝藏位置X和T是两个陷阱。这个布局看起来简单但其实已经具备一定迷惑性右上区域是开阔的如果不做任何惩罚智能体很容易在空旷地带兜圈子陷阱的存在让智能体必须学会“绕路”而不是一股脑向右下角冲。地图大小和陷阱数量没有标准答案我建议初学的人先从5×5或者8×8这种小尺寸开始。地图太大Q表收敛会明显变慢调参周期变长容易消磨信心地图太小比如3×3智能体两步就到终点了很难观察到真正的学习过程。8×8是我试过之后感觉最舒服的尺寸训练速度足够快又能看到明显的“从乱走→走错→绕开→接近最优”的学习曲线过程。2.2 奖励函数设计最容易被忽视的关键环节强化学习圈有一句很经典的话Reward is everything。奖励函数怎么设直接决定智能体学出来的行为长什么样。我在实验里对比过三种奖励方案这里直接给出结果方案一稀疏奖励。只有到达宝藏给10其他所有格子奖励都是0陷阱也是0。这种设计非常符合“找到宝藏”的字面意思但实际训练下来明显偏慢。因为智能体初期连方向感都没有在64个格子里随机乱走很难碰巧摸到右下角偶尔摸到了也不知道刚才那些步骤到底哪些该记住。从这个角度来说稀疏奖励是“定义正确但学习效率极低”。方案二密集正奖励。距离宝藏越近给越多奖励。听起来很合理但有一个隐蔽问题智能体会学会“原地踱步”或者“在两个格子之间来回横跳”来刷奖励而不是真正走向宝藏。因为如果奖励的梯度设计不够平滑当它发现自己在一个位置停留也能拿到正分时探索新的方向反而变成了风险。方案三步骤惩罚陷阱惩罚终点正奖励。每次普通移动给-0.04踩陷阱给-1到达宝藏给10。这个方案是我最终使用的也是我强烈推荐的。用-0.04这个很小的负数核心目的是让智能体有“时间成本”意识每多走一步都会积累负分所以它必须寻找最短路径但这个惩罚又足够小不会让智能体为了躲避惩罚而完全不敢移动。陷阱的-1比普通步惩罚高一个量级能让智能体明确感知“这条路不能走”。在实践中-0.04并不是一个拍脑袋的数字。它参考了经典的悬崖行走例子中的“每步-1”设定但对于8×8地图来说步数惩罚太大会让智能体过于畏缩太小又等同于没有。我试过-0.01效果差异不大但试过-1之后智能体一度出现“原地不动”的极端保守行为因为原地不动虽然无法获得宝藏但也不会损失太多分数。把普通时刻的惩罚压在-0.1以下是我在这些实验里积累起来的一条经验线。2.3 学习率、折扣因子、探索率怎么选三个核心超参数我用的组合是学习率alpha0.1折扣因子gamma0.95初始探索率epsilon1.0逐步衰减到0.01。学习率0.1意味着每次更新时新信息只占最终更新量的十分之一。这个数值是经验平衡点太小会导致学习速度慢太大则会让Q值来回震荡旧经验很快被新样本覆盖。0.1到0.2之间是绝大多数离散状态Q-learning项目的安全区间。折扣因子0.95表示智能体对“当前步数之后的收益”按每步0.95的速度折现。如果gamma太小比如0.5智能体会只顾眼前利益宁可绕开陷阱附近也不愿走近如果太大比如0.99智能体几乎不区分近期和远期收益收敛速度会变慢。0.95在“兼顾长期收益”和“收敛速度”之间取得了平衡。探索率的衰减策略我后面在代码部分会给完整实现。这里只说一句话探索率不能衰减到0。就算训练完成也要保留1%~5%的随机动作这既是工程实践中的惯例也是让策略对突发情况保持一定鲁棒性的手段。3. Q-learning算法原理与工程实现细节3.1 Q值公式用一个生活例子讲透Q-learning的核心是一个更新公式新Q值 旧Q值 学习率 × (即时奖励 折扣因子 × 下一状态最大Q值 - 旧Q值)这个公式乍看有点抽象我把它翻译成人话你在某个路口选了左边这条路走完发现没吃到好吃的那你就在心里给“在这个路口选左边”这件事的评分往下调一点如果走完发现有宝藏那就往上调。多次下来每个路口的每个选择都会有一个比较稳定的“长期收益预期”。整个Q-learning过程就是不断更新这张“选择评分表”。Q值和普通奖励的区别在于它是“长期预期”而不是“即时收益”。一个格子没有直接奖励但如果从这个格子的某个方向走出去能避开陷阱并在三步内到达终点那么这个格子对应方向的动作Q值就会很高。正是因为Q值考虑了未来收益智能体才不是一只只顾眼前的小白鼠而是一个具备“规划”能力的决策者。3.2 探索与利用的平衡epsilon-greedy策略算法工程实现里最核心一点是探索与利用的平衡。完全利用Q表总是选当前认为最佳的动作会陷入局部最优完全随机探索又无法积累足够经验。我用的是最经典的epsilon-greedy策略每次做决策时以epsilon的概率随机乱走以1-epsilon的概率选当前Q值最高的动作。训练初期epsilon设为1.0也就是纯随机随着训练回合增加epsilon逐渐减小让智能体从“乱试”过渡到“利用已有经验”。衰减曲线我用的是线性衰减每回合乘以一个衰减系数直到掉到0.01下限。也可以换成指数衰减但网格世界很小线性衰减已经足够。实际训练中我跑了5000个回合到大约2000回合时智能体已经能稳定找到宝藏后面3000回合更多是在巩固和微调策略。3.3 完整代码一个可直接运行的示例我用Python加NumPy写了一个完整实现。代码不依赖任何深度学习框架普通电脑秒级运行。环境类、智能体类、训练循环三块分开写方便你植入自己的地图和需求。import numpy as np import random GRID_ROWS 8 GRID_COLS 8 START (0, 0) TREASURE (7, 7) TRAPS [(3, 3), (5, 4)] ACTIONS [(0, -1), (0, 1), (-1, 0), (1, 0)] # 左 右 上 下 ACTION_NAMES [left, right, up, down] REWARD_STEP -0.04 REWARD_TRAP -1.0 REWARD_TREASURE 10.0 MAX_STEPS 100 ALPHA 0.1 GAMMA 0.95 EPSILON_INIT 1.0 EPSILON_MIN 0.01 EPSILON_DECAY 0.9995 EPISODES 5000 def is_outside(pos): x, y pos return x 0 or x GRID_ROWS or y 0 or y GRID_COLS def is_terminal(pos): return pos TREASURE or pos in TRAPS def step(state, action_idx): x, y state dx, dy ACTIONS[action_idx] new_pos (x dx, y dy) if is_outside(new_pos): new_pos state # 越界视为原地不动 if new_pos TREASURE: reward REWARD_TREASURE done True elif new_pos in TRAPS: reward REWARD_TRAP done True else: reward REWARD_STEP done False return new_pos, reward, done def get_state_idx(state): return state[0] * GRID_COLS state[1] q_table np.zeros((GRID_ROWS * GRID_COLS, len(ACTIONS))) epsilon EPSILON_INIT for episode in range(EPISODES): state START done False total_reward 0 steps 0 while not done and steps MAX_STEPS: s_idx get_state_idx(state) if random.random() epsilon: action random.randint(0, len(ACTIONS) - 1) else: action int(np.argmax(q_table[s_idx])) next_state, reward, done step(state, action) ns_idx get_state_idx(next_state) best_next_q np.max(q_table[ns_idx]) td_target reward GAMMA * best_next_q q_table[s_idx][action] ALPHA * (td_target - q_table[s_idx][action]) state next_state total_reward reward steps 1 epsilon max(EPSILON_MIN, epsilon * EPSILON_DECAY) if (episode 1) % 500 0: avg_episode_reward total_reward print(fEpisode {episode 1}: steps{steps}, reward{total_reward:.2f}, epsilon{epsilon:.3f})我跑这段代码前三五百回合的输出基本是奖励在负十几的区间徘徊说明智能体经常踩陷阱或者绕路到一千回合左右奖励开始转正到两三千回合终点附近的Q值已经明显高于其他区域智能体基本能稳定找到宝藏。3.4 代码里几个容易忽略的工程细节第一越界处理。我把它设计成“越界原地不动没有额外惩罚”。也就是说智能体撞到地图边界不会受到额外惩罚只是那次移动没有效果。但代价是浪费了一步也就积累了REWARD_STEP的负分所以智能体在训练过程中会自然学会不要对着墙猛撞。第二终局处理。到达陷阱或者宝藏之后直接结束本回合不再提供下一状态的Q值。所以在更新Q值时如果done为TrueTD target就是即时奖励本身不再加gamma乘以未来Q值。这个细节写错会导致Q值被污染智能体学到错误的价值判断。第三epsislon衰减放在回合末尾而不是每步末尾。每个回合内保持同一个epsilon值这样能保证一个回合内探索风格一致不会出现前半段完全随机、后半段完全贪心的混乱情况。我在早期版本里把epsilon衰减放在每步更新后结果导致某个回合刚开始几分钟内就从探索模式切换到了利用模式前期经验积累明显不足。建议你写代码之前先把这个逻辑梳理清楚避免踩同样的坑。4. 训练过程观察与收敛判断方法4.1 应该记录哪些训练指标我在训练过程中会实时记录三个指标每回合的总步数、每回合的总奖励、当前epsilon值。这三个指标各有用途总步数反映了智能体是否找到了一条高效路径。如果它已经在宝藏附近晃悠但始终没有做出最后一步步数会卡在最大值100附近这是一个很明确的预警信号。总奖励反映了综合表现。到达宝藏时有10的加成如果步数长但没到终点奖励基本是负的到了终点但绕了远路奖励会偏低。通过奖励数值可以直接判断策略质量。epsilon值用于辅助分析。如果epsilon还很高说明探索仍然主导你观察到的差表现不代表策略差如果epsilon已经很低但步数依然很高说明策略本身出了问题需要回头看奖励函数或学习率。除了这三个核心指标我还会记录一个“成功次数”。在每次训练结束后单独跑100个回合测试只使用贪心策略统计其中到达宝藏的次数。如果成功率在95%以上我才会认为这个模型真正学好了。单纯看训练奖励转正很容易被偶然性欺骗用独立测试集验证才是可靠标准。4.2 训练曲线长什么样才算正常正常的曲线会经历三个阶段。第一阶段前几百回合步数在50到100之间大幅震荡总奖励在负十到负二十之间徘徊。这代表智能体几乎完全随机探索偶尔碰巧到达终点但策略尚未成型。第二阶段几百到一千多回合步数开始出现明显下降趋势出现一批“短回合”。这代表智能体开始记住一些有效路径某些特定状态下的Q值开始形成稳定梯度。第三阶段两千回合左右及以后步数基本稳定在30-50步区间奖励不再剧烈波动成功率测试达到接近100%。这个时候再去查看Q表每个状态下的最优动作已经比较符合直觉了。我遇到过一种比较诡异的情况训练曲线平稳下降但到了一千五百回合突然剧烈回升步数从30跳到80。排查下来发现是因为epsilon衰减到比较低时智能体开始稳步利用已有Q值但Q表里某个区域的路径估计存在偏差导致它走上一条“看似最优实则绕远”的路。后来我把陷阱的位置调整了一下并加大了步骤惩罚这种情况就消失了。如果遇到类似曲线回弹优先怀疑奖励函数设置而非算法本身。4.3 从Q表还原最优策略训练完之后的Q表是一张64×4的矩阵直接看数字不够直观。我做了一个简单的小工具遍历所有非终点格子选出每个格子Q值最大的动作然后用方向符号画出来。def render_policy(): symbol_map {0: , 1: , 2: ^, 3: v} for x in range(GRID_ROWS): row for y in range(GRID_COLS): if (x, y) TREASURE: row G elif (x, y) in TRAPS: row X elif (x, y) START: row S else: s_idx get_state_idx((x, y)) best_action int(np.argmax(q_table[s_idx])) row symbol_map[best_action] print(row)输出大致是一张由箭头组成的路径图。你会发现起点附近的箭头都指向右下方向陷阱附近的箭头会有明显的“绕开”趋势终点附近箭头集中指向终点整个策略看起来就像一份自动绘制的导航图。看到这一步基本可以确认Q-learning已经成功解决了“自主探索找宝藏”这个任务。5. 常见问题排查与调参经验实录5.1 训练过程典型问题速查表我把实验过程中遇到过的典型问题整理成了一张表方便你对号排查。症状可能原因排查与调整方法训练几百回合后奖励依然很负步骤惩罚过大或epsilon衰减过快把步骤惩罚调小到-0.05左右调低epsilon衰减速率学习曲线大幅震荡没有收敛趋势学习率过高将alpha从0.2以上降到0.1以下训练后成功率极高但步数偏长没有惩罚步骤增加一个小的负向步骤惩罚让智能体学会抄近路智能体长期在一个小范围打转奖励设计存在“原地刷分”可能检查是否有正奖励被贪心利用增加负惩罚或禁止原地动作Q表数值一直很小或不更新奖励值全部为0检查done状态下的TD target是否正确是否漏了终止状态的更新到达终点失败率很高探索率过低后期没有新尝试把epsilon最小值设置在0.05左右保留一点随机性训练很快但路径明显绕远gamma太大只重远期把gamma从0.99调低到0.9~0.95加快近期信号的传导5.2 我踩过的几个印象深刻坑第一个坑是奖励函数里陷阱的惩罚值设得太高。我有一次把陷阱惩罚设为-5结果智能体学得非常“胆小”宁可绕大半个地图也不走靠近陷阱的格子步数暴增但总奖励反而更差。后来我想明白强化学习里的奖励值不只需要相对关系还要考虑量级。陷阱惩罚只需要比步骤惩罚高一个量级就够了-1对比-0.04既能形成明显警告又不会让智能体过度恐惧。第二个坑是忽略“越界原地不动”的成本。早期版本里我把越界设为原地不动且奖励为0智能体竟然学会了在某些边界位置疯狂撞墙——因为在那里停留不会损失分数又不会遇到危险。加入-0.04的步骤惩罚之后这个钻空子的行为立刻消失了。这个经验很值得推广任何“无代价的原地等待”都是奖励函数设计上的漏洞。第三个坑和随机种子有关。我在初版实验里没有固定随机种子结果连续三次训练出来的路径都不一样最短路径率时高时低很难判断算法本身是否收敛。后来我在环境初始化和训练循环开始前都固定了随机种子实验的可重复性一下子提升了很多。做实验报告或向别人展示项目时固定随机种子可以说是一个基本工程素养。5.3 调参顺序建议新手面对一堆超参数最容易乱。我的建议顺序是先固定环境与奖励函数再把epsilon衰减问题调好下一步看学习率是否合适最后微调gamma。奖励函数是一切行为的基础如果奖励没定好后面调什么都白费。epsilon衰减决定智能体能探索多少探索太少时即使奖励很好策略也未必能收敛到最优探索太多则会浪费训练时间。学习率一般在0.05~0.2之间微调影响的是收敛速度和平稳性。gamma主要影响路径选择倾向在网格环境下不那么敏感放到最后调即可。我这次把“调参顺序”本身当成一个结论写出来是因为很多初学者一上来就把gamma、alpha、epsilon同时改改完发现效果变差根本说不清楚是哪个参数拖了后腿。按顺序一次只动一个变量每次记录效果才能积累出可复用的经验。6. 从Q-learning扩展进化到DQN的改造思路6.1 Q-table的边界在哪里8×8网格用Q-table很舒服因为状态数只有64动作数4Q表总共256个值内存和计算都可以忽略不计。但一旦任务规模升级比如地图变成100×100状态数就达到10000Q表瞬间膨胀到40000个值如果再把连续坐标、连续速度等维度都加进来Q表的大小会以几何级数增长最终彻底不可行。Q-table的本质是查表法它需要把每个离散状态都明确列出来。遇到连续或高维状态空间这个方法就失效了。这就是DQN出现的背景用一个神经网络来近似Q函数输入状态输出每个动作的Q值估计不再需要存储庞大的表格。6.2 DQN的核心改进点DQN相比Q-learning有三个关键改动经验回放、目标网络、Q值网络近似。经验回放解决的是样本相关性。Q-learning在训练时逐条更新相邻样本高度相关容易导致网络参数剧烈震荡。经验回放先把大量经验样本存放在一个队列里训练时随机采样一小批打破了样本之间的时间相关性让训练更加稳定。目标网络解决的是“自己更新自己”的不稳定性。Q-learning更新公式里用到了“下一状态的最大Q值”但这个Q值本身也在被训练更新等于用一个移动的靶子做瞄准。DQN的做法是维护一套固定频率更新的目标网络每隔一段时间才把当前网络参数同步过去让训练目标相对稳定。第三个改动不用多说神经网络本身具备强大的泛化能力可以把相邻状态的价值趋势外推处理Q-table处理不了的连续空间。6.3 怎么从当前小项目演进如果你想在这个寻宝项目基础上进阶我建议按这个路线走先把8×8地图改成20×20甚至50×50用随机生成的陷阱布局让Q-learning在部分尺寸下勉强训练观察它在哪里开始变得吃力然后把Q-learning替换成DQN网络结构先用一个简单的两三层全连接网络输入状态坐标输出四个动作的Q值最后再把状态改成“以智能体为中心的局部观察窗口”比如只能看到周围五乘五范围内的障碍物信息这就非常接近真实的机器人局部导航了。我自己在扩展阶段遇到过一个问题DQN训练对超参数更敏感同一个网络结构改一个batch size收敛速度差异巨大。后来我把经验回放缓冲区大小设为20000batch size设为32每隔1000步更新一次目标网络参数这套组合在20×20地图上表现比较稳定。你可以把它当起点但不要盲目复用应根据自己的地图尺寸和训练预算来调整。6.4 后续还能加什么花样扩展方向其实很多。比如在终点附近放一个“守卫者”智能体需要学会绕后或者给地图加“视野范围”智能体只能看到雷达范围之内的格子也可以让宝藏位置在多个回合之间随机变化考验智能体的泛化能力而不是死记硬背。这些改动都不需要重写核心架构只要修改环境状态和奖励函数即可。我个人做这个项目时最有成就感的一刻不是看到训练曲线收敛而是把训练完的Q表打印成箭头地图看到智能体从起点出发一路顺畅绕过陷阱直达宝藏。那一刻你会感觉到一个没有任何地图知识的人工智能体从完全的随机行为中“长出”了一条合理路径这种从无到有的过程就是强化学习最迷人的地方。如果你身边有朋友也想入门这个领域我建议直接把这个小项目甩给他——比看十篇理论文章都管用。