简介本资源面向计算机、人工智能、自动化等专业的在校学生与教研人员提供一套基于深度强化学习的三维路径规划算法设计项目可作为毕业设计、课程设计或大作业的完整参考方案。项目在Matlab环境下实现同时集成A星、RRT、ACO蚁群与APF人工势场四类经典算法并配有详细代码注释便于理解算法原理与对比实验。压缩包共33个文件以26个m脚本文件为核心辅以5个md说明文档及2个zip子包整体约34KB目录按算法模块划分结构清晰方便按需查阅与二次开发。目前已有428人浏览学习适合入门进阶或项目立项演示使用。读者可从中获取完整算法实现、模块化代码组织方式与注释思路并在此基础上进行算法改进与功能拓展。1. 三维路径规划遇上深度强化学习这套毕设方案到底在解决什么问题三维空间里的路径规划难的不是“找到一条路”而是“在障碍物密集、约束多变的环境里稳定找到一条又短又安全的路”。传统 A 星算法在栅格地图上跑得飞快但栅格分辨率一高计算量就爆炸RRT 算法适合高维空间可它采样随机每次跑出来的路径都不一样平滑度也差APF 人工势场法写起来简单却容易陷在局部极小值里出不来。这些方法各有各的短板而深度强化学习DRL的思路是让智能体在环境里反复试错自己学出一套从起点到终点的决策策略遇到新场景也能泛化。这套毕设方案的核心就是把 A 星、RRT、AOC、APF 这几种经典算法和 DRL 结合起来在 MATLAB 里搭一个三维路径规划的仿真框架。它适合正在做毕设、需要一套能跑通、能改参数、能出对比图的同学也适合想从传统规划方法过渡到学习型方法的工程师。你拿到的不只是一个算法而是一整套“环境建模—算法实现—训练评估—可视化”的闭环。2. 四种经典算法在三维场景下的分工与选型逻辑2.1 A 星、RRT、AOC、APF 各自适合什么地形在三维路径规划里没有哪种算法能通吃所有场景。A 星算法本质上是图搜索它把空间离散成栅格或节点用启发式函数引导搜索方向。优点是路径最优性有保证缺点是三维栅格数量随分辨率指数增长内存和计算时间都吃不消。我一般把 A 星用在障碍物分布规整、空间尺度不大的场景比如室内无人机巡检的局部路径。RRT 算法走的是另一条路它不建栅格而是在自由空间里随机采样把采样点连成树直到树延伸到目标点附近。三维空间里 RRT 的采样效率比 A 星高但路径往往锯齿状需要后处理平滑。RRT* 加了重选父节点和重连操作能渐进逼近最优解代价是计算量上升。AOC 算法在路径规划里通常指“蚁群优化”的变体它模拟蚂蚁觅食的信息素机制多只蚂蚁并行搜索适合多目标或动态障碍场景。APF 人工势场法把目标点设为引力源、障碍物设为斥力源智能体沿着势场梯度下降方向移动。它计算量最小实时性最好但局部极小值是它的死穴——引力和斥力刚好抵消时智能体就卡住了。选型逻辑很直接如果场景静态、障碍物少、要求路径最优优先 A 星如果空间维度高、障碍物复杂、允许次优解用 RRT 或 RRT*如果要做多智能体协同或动态避障考虑 AOC如果对实时性要求极高、计算资源有限APF 打底但要配合局部极小值逃逸策略。2.2 深度强化学习怎么和传统算法做融合把 DRL 和传统算法结合常见做法有三种。第一种是用传统算法生成示范数据让 DRL 智能体通过模仿学习快速入门避免从零开始随机探索。第二种是把传统算法的输出作为 DRL 状态空间的一部分比如把 A 星算出的粗略路径作为观测特征输入网络。第三种是分层架构上层用 DRL 做全局决策下层用 APF 或 RRT 做局部避障。在 MATLAB 里实现 DRL一般用 Reinforcement Learning Toolbox。你需要定义环境接口包括状态向量、动作空间、奖励函数和终止条件。状态向量通常包含智能体当前位置、目标点相对位置、最近障碍物距离和方向。动作空间可以是连续的比如三维速度或加速度也可以是离散的比如 26 个方向。奖励函数设计是玄学重灾区太稀疏学不动太密集容易走捷径。我一般会先用 A 星或 RRT 跑一批路径把路径点作为专家数据然后用 DDPG 或 PPO 做模仿学习预热再切换到环境交互微调。这样训练时间能从几万回合降到几千回合。2.3 在 MATLAB 里搭一套可复现的仿真环境搭环境的第一步是定义三维空间和障碍物。MATLAB 里可以用occupancyMap3D或自定义栅格矩阵。下面是一个最小可复现的环境初始化代码% 定义三维空间范围x 0~100, y 0~100, z 0~50 mapSize [100, 100, 50]; resolution 2; % 栅格分辨率单位与空间一致 % 创建三维 occupancyMap map occupancyMap3D(resolution); % 随机生成球形障碍物 numObstacles 15; obstacleCenters rand(numObstacles, 3) .* mapSize; obstacleRadii 3 5 * rand(numObstacles, 1); % 在 map 中填充障碍物 for i 1:numObstacles [X, Y, Z] meshgrid(0:resolution:mapSize(1), ... 0:resolution:mapSize(2), ... 0:resolution:mapSize(3)); dist sqrt((X - obstacleCenters(i,1)).^2 ... (Y - obstacleCenters(i,2)).^2 ... (Z - obstacleCenters(i,3)).^2); occupied dist obstacleRadii(i); setOccupancy(map, [X(occupied), Y(occupied), Z(occupied)], 1); end % 设置起点和终点 startPos [5, 5, 5]; goalPos [90, 90, 40];这段代码的逻辑是先定义空间范围和分辨率分辨率决定了栅格精度太小会爆内存太大路径会贴障碍物。occupancyMap3D是 MATLAB 自带的三维占据地图对象setOccupancy把障碍物内部的点标记为占据。障碍物用球体生成方便计算距离。起点和终点手动指定实际项目里可以从配置文件读。参数说明resolution建议设为空间尺度的 1/50 到 1/100比如 100 米空间用 1~2 米分辨率。numObstacles和obstacleRadii控制障碍物密度和大小做对比实验时固定随机种子保证可复现。提示MATLAB 的occupancyMap3D在 R2020b 之后才支持老版本需要用三维矩阵自己写碰撞检测。3. 用 DRL 训练三维路径规划智能体的完整流程3.1 状态空间、动作空间和奖励函数怎么定状态空间的设计直接决定智能体能不能学到有效策略。三维路径规划里我一般用 12 维状态向量智能体当前位置 (3)、目标点相对位置 (3)、最近三个障碍物的相对位置和距离 (6)。如果环境动态变化再加障碍物速度 (3)。状态归一化很重要把坐标除以空间尺度距离除以最大探测距离让网络输入落在 [-1, 1] 区间。动作空间有两种选择。离散动作空间简单比如 26 个方向三维空间每个轴 -1、0、1 组合但路径会有锯齿。连续动作空间用三维速度向量输出范围 [-1, 1] 乘以最大速度路径更平滑但训练难度大。我一般先用离散动作跑通流程再换连续动作调平滑度。奖励函数是训练成败的关键。我常用的奖励结构是function reward computeReward(state, action, nextState, goal, obstacles) % 距离奖励靠近目标给正奖励远离给负奖励 distOld norm(state(1:3) - goal); distNew norm(nextState(1:3) - goal); reward (distOld - distNew) * 10; % 碰撞惩罚进入障碍物范围给大负奖励 minDist min(vecnorm(obstacles - nextState(1:3), 2, 2)); if minDist 1.0 reward reward - 100; elseif minDist 3.0 reward reward - 5; % 靠近障碍物给小惩罚 end % 到达目标给大正奖励 if distNew 2.0 reward reward 200; end % 步数惩罚每走一步扣一点鼓励短路径 reward reward - 0.1; end逻辑说明距离奖励用前后两步到目标距离的差值乘以系数 10这样每步靠近目标都有正反馈。碰撞惩罚分两档进入 1 米内直接 -100进入 3 米内 -5给智能体一个缓冲带。到达目标 200步数惩罚 -0.1 防止绕路。参数需要根据空间尺度调整空间大就加大距离奖励系数。3.2 用 DDPG 和 PPO 在 MATLAB 里搭训练循环MATLAB 的 Reinforcement Learning Toolbox 支持 DDPG、PPO、TD3、SAC 等算法。下面以 DDPG 为例给出训练循环的核心代码% 创建环境接口 obsInfo rlNumericSpec([12 1]); actInfo rlNumericSpec([3 1], LowerLimit, -1, UpperLimit, 1); env rlFunctionEnv(obsInfo, actInfo, stepFunction, resetFunction); % 创建 DDPG 智能体 actorNetwork [ featureInputLayer(12, Normalization, none) fullyConnectedLayer(256) reluLayer fullyConnectedLayer(256) reluLayer fullyConnectedLayer(3) tanhLayer]; actor rlContinuousDeterministicActor(actorNetwork, obsInfo, actInfo); criticNetwork [ featureInputLayer(12, Normalization, none) fullyConnectedLayer(256) reluLayer fullyConnectedLayer(256) reluLayer fullyConnectedLayer(1)]; critic rlContinuousQValueCritic(criticNetwork, obsInfo, actInfo); agentOpts rlDDPGAgentOptions; agentOpts.SampleTime 0.1; agentOpts.DiscountFactor 0.99; agentOpts.ExperienceBufferLength 1e6; agentOpts.MiniBatchSize 128; agent rlDDPGAgent(actor, critic, agentOpts); % 训练配置 trainOpts rlTrainingOptions; trainOpts.MaxEpisodes 5000; trainOpts.MaxStepsPerEpisode 500; trainOpts.StopTrainingCriteria AverageReward; trainOpts.StopTrainingValue 180; trainOpts.ScoreAveragingWindowLength 50; % 开始训练 trainingStats train(agent, env, trainOpts);逻辑说明rlNumericSpec定义观测和动作空间动作限幅在 [-1, 1]。Actor 网络输出 tanh 保证动作有界Critic 网络估计 Q 值。rlDDPGAgentOptions里DiscountFactor设 0.99 表示看重长期回报ExperienceBufferLength设 1e6 存经验回放。训练 5000 回合每回合最多 500 步平均奖励连续 50 回合超过 180 就停。参数说明SampleTime是环境步长路径规划里一般 0.1~0.5 秒。MiniBatchSize128 是常用值显存不够就降到 64。StopTrainingValue要根据奖励函数量级调可以先跑 100 回合看奖励范围再定。3.3 训练收敛判断和策略导出训练过程中要看两个曲线每回合累计奖励和每回合步数。累计奖励上升、步数下降说明策略在变好。如果奖励震荡不收敛检查奖励函数是否有冲突项或者降低学习率。MATLAB 的trainingStats里有EpisodeReward和EpisodeSteps直接 plot 就行。策略导出用generatePolicyFunction或getAction。导出后可以脱离训练环境在纯仿真里跑测试。我一般会导出成.mat文件里面存 actor 网络的权重方便后续和 A 星、RRT 做对比。注意DDPG 对超参数敏感学习率默认 1e-3 和 1e-4如果训练不稳定先把 actor 学习率降到 1e-4critic 保持 1e-3。4. 避坑与排查三维路径规划训练中最容易翻车的五个地方4.1 奖励稀疏导致智能体原地打转现象训练几千回合累计奖励一直在 -500 附近智能体在起点附近来回移动不往目标走。原因距离奖励系数太小或者步数惩罚太大智能体觉得“不动”比“走错”划算。三维空间比二维大得多随机探索撞到目标的概率极低。解决加大距离奖励系数从 10 提到 50 甚至 100步数惩罚从 -0.1 降到 -0.01或者用 A 星生成示范路径做模仿学习预热。我一般会先跑 500 回合模仿学习再切到 DRL 微调。4.2 动作空间设计不合理导致路径贴墙现象训练出来的路径总是贴着障碍物边缘走安全距离不够。原因动作空间只有离散方向智能体为了缩短路径选择紧贴障碍物的方向。奖励函数里靠近障碍物的惩罚太小或者碰撞检测阈值设得太小。解决把碰撞惩罚的触发距离从 1 米提到 2 米惩罚值从 -100 提到 -200动作空间改成连续速度加一个“障碍物距离”作为状态输入让网络学会提前避让。如果还不行在奖励里加一项“路径平滑度”惩罚大角度转弯。4.3 训练环境随机种子没固定导致结果不可复现现象同样的代码跑两次一次收敛一次不收敛或者收敛后的路径完全不同。原因障碍物位置、起点终点、网络初始化都用了随机数没有固定种子。解决在脚本开头加rng(42)障碍物生成、网络初始化、经验回放采样都受这个种子控制。如果要做对比实验每个算法用同一组种子跑 5 次取平均值和标准差。MATLAB 的rng只影响当前会话重启后要重新设。4.4 状态归一化遗漏导致网络输出饱和现象训练初期奖励就爆掉或者 actor 输出一直是 -1 或 1。原因状态向量里有的维度范围是 0~100有的是 0~1网络输入尺度差异太大梯度更新被大数值维度主导。解决所有状态分量归一化到 [-1, 1]。位置除以空间尺度距离除以最大探测距离速度除以最大速度。归一化参数要保存下来测试时用同一套参数。MATLAB 的featureInputLayer可以设Normalization但我一般手动归一化可控性更强。4.5 训练回合数不够就下结论现象跑了 500 回合奖励还在震荡就断定算法不行。原因三维路径规划的状态空间比二维大一个量级DRL 需要更多交互数据才能覆盖足够多的场景。解决至少跑 3000~5000 回合看平均奖励的滑动窗口曲线窗口长度 50~100。如果 5000 回合还不收敛再检查奖励函数和网络结构。我踩过的坑是 1000 回合就放弃后来加到 5000 回合同样的代码就收敛了。5. 把 A 星和 RRT 的路径作为 DRL 的对比基线5.1 用 A 星在三维栅格上跑出最优路径A 星在三维栅格上的实现核心是启发式函数和邻居扩展。MATLAB 里可以用nav3D或自己写。下面是一个简化版 A 星核心循环function path astar3D(map, startPos, goalPos, resolution) % 把连续坐标转成栅格索引 startIdx round(startPos / resolution) 1; goalIdx round(goalPos / resolution) 1; % 初始化 openList 和 closedList openList [startIdx, 0, norm(startIdx - goalIdx)]; closedList []; while ~isempty(openList) % 找 f 值最小的节点 [~, idx] min(openList(:,2) openList(:,3)); current openList(idx, 1:3); openList(idx, :) []; if isequal(current, goalIdx) path reconstructPath(closedList, current); return; end % 扩展 26 个邻居 for dx -1:1 for dy -1:1 for dz -1:1 if dx0 dy0 dz0, continue; end neighbor current [dx, dy, dz]; if any(neighbor 1) || any(neighbor size(map)) continue; end if map(neighbor(1), neighbor(2), neighbor(3)) 1 continue; % 障碍物 end g norm(neighbor - startIdx); h norm(neighbor - goalIdx); openList [openList; neighbor, g, h]; end end end end path []; % 无解 end逻辑说明openList存待扩展节点每列是坐标、g 值、h 值。每次取 fgh 最小的节点扩展 26 个邻居跳过障碍物和越界。找到目标后回溯路径。参数resolution决定栅格精度太小会爆内存太大路径粗糙。5.2 RRT 在三维空间的采样与树扩展RRT 的核心是随机采样和最近邻搜索。MATLAB 里可以用manipulatorRRT或自己写。关键步骤在自由空间随机采一个点找树里最近的节点朝采样点方向延伸固定步长如果没碰撞就加入树。重复直到接近目标。RRT 的优点是快缺点是路径随机。我一般跑 10 次 RRT取路径最短的那次作为基线。RRT* 加了重选父节点路径更优但慢很多。做毕设对比实验时A 星、RRT、DRL 各跑 20 次统计路径长度、计算时间、成功率三个指标。5.3 三种方法的对比指标和可视化对比指标我一般用四个路径长度、计算时间、成功率、平滑度。路径长度直接量计算时间用tic/toc成功率是 20 次里成功到达目标的次数平滑度用路径上相邻三点夹角的标准差。可视化用plot3画路径障碍物用scatter3画球体起点绿色、终点红色、A 星蓝色、RRT 黄色、DRL 紫色。提示MATLAB 的plot3画三维路径时加grid on和axis equal让比例协调否则路径看起来会变形。6. 让训练快三倍的三个技巧经验回放优先级、课程学习和动作平滑6.1 优先级经验回放怎么改DDPG 默认均匀采样经验回放但三维路径规划里碰撞和到达目标的高奖励样本很少均匀采样会浪费大量时间在普通样本上。优先级经验回放PER按 TD 误差给样本排序误差大的样本被采样概率高。MATLAB 没有内置 PER但可以自己改rlReplayMemory的采样逻辑或者用rlDDPGAgentOptions里的ExperienceBufferLength配合自定义采样函数。我一般会实现一个简化版 PER每个样本存 TD 误差采样概率正比于误差的 alpha 次方alpha 取 0.6。新样本给最大误差保证至少被采一次。改完后训练回合数从 5000 降到 2000 左右。6.2 课程学习从简单场景到复杂场景课程学习的思路是先在小空间、少障碍物的环境里训练再逐步加大空间和障碍物密度。具体做法前 500 回合用 50x50x25 空间、5 个障碍物500~1500 回合用 100x100x50 空间、10 个障碍物1500 回合后用 150x150x75 空间、20 个障碍物。每次切换环境时保留网络权重只重置环境。这样做的原因是智能体在简单场景里先学会“朝目标走”和“避障”的基本策略再在复杂场景里微调。直接上复杂场景智能体可能几千回合都找不到目标。我实测课程学习能把收敛速度提高 2~3 倍。6.3 动作平滑让路径不再锯齿状DRL 输出的动作是逐步决策的路径容易锯齿。动作平滑有两种做法一是奖励函数里加平滑惩罚惩罚相邻两步动作的差值二是后处理用样条插值或滑动平均滤波。我一般两个都用训练时加平滑惩罚系数 0.5输出路径后用smoothdata做滑动平均窗口 5。平滑惩罚的代码很简单在奖励函数里加一行if ~isempty(prevAction) smoothPenalty -0.5 * norm(action - prevAction); reward reward smoothPenalty; end这样智能体会倾向选择连续变化的动作路径更平滑。但惩罚系数不能太大否则智能体不敢转弯会绕远路。0.5 是我试出来的平衡点空间大就降到 0.2。6.4 验证训练效果三个必须看的曲线训练完不能只看最终奖励要画三条曲线每回合累计奖励、每回合步数、每回合碰撞次数。累计奖励上升、步数下降、碰撞次数趋近于零才算真正收敛。如果奖励上升但碰撞次数也上升说明智能体在“冒险走捷径”需要加大碰撞惩罚。我习惯把三条曲线画在一个 figure 里用subplot(3,1,1)到subplot(3,1,3)。保存成.fig和.png各一份写论文时直接贴。测试时用 100 个随机场景跑统计成功率和平均路径长度和 A 星、RRT 对比。注意测试场景的障碍物分布要和训练场景同分布否则成功率会虚低。如果测试场景更复杂先做一轮微调再测。这套方案我从头跑通大概花了两周其中一周在调奖励函数和课程学习。最大的教训是不要一上来就追求复杂网络和花哨算法先把 A 星和 RRT 跑通用它们的路径做参照再上 DRL。DRL 不是万能药它解决的是传统算法在动态、高维、未知环境下的泛化问题静态已知环境里 A 星依然是最优选择。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/27 23:54:41 · 阅读 1.2k 三维路径规划毕设方案：A星、RRT与深度强化学习融合实战
简介本资源面向计算机、人工智能、自动化等专业的在校学生与教研人员提供一套基于深度强化学习的三维路径规划算法设计项目可作为毕业设计、课程设计或大作业的完整参考方案。项目在Matlab环境下实现同时集成A星、RRT、ACO蚁群与APF人工势场四类经典算法并配有详细代码注释便于理解算法原理与对比实验。压缩包共33个文件以26个m脚本文件为核心辅以5个md说明文档及2个zip子包整体约34KB目录按算法模块划分结构清晰方便按需查阅与二次开发。目前已有428人浏览学习适合入门进阶或项目立项演示使用。读者可从中获取完整算法实现、模块化代码组织方式与注释思路并在此基础上进行算法改进与功能拓展。1. 三维路径规划遇上深度强化学习这套毕设方案到底在解决什么问题三维空间里的路径规划难的不是“找到一条路”而是“在障碍物密集、约束多变的环境里稳定找到一条又短又安全的路”。传统 A 星算法在栅格地图上跑得飞快但栅格分辨率一高计算量就爆炸RRT 算法适合高维空间可它采样随机每次跑出来的路径都不一样平滑度也差APF 人工势场法写起来简单却容易陷在局部极小值里出不来。这些方法各有各的短板而深度强化学习DRL的思路是让智能体在环境里反复试错自己学出一套从起点到终点的决策策略遇到新场景也能泛化。这套毕设方案的核心就是把 A 星、RRT、AOC、APF 这几种经典算法和 DRL 结合起来在 MATLAB 里搭一个三维路径规划的仿真框架。它适合正在做毕设、需要一套能跑通、能改参数、能出对比图的同学也适合想从传统规划方法过渡到学习型方法的工程师。你拿到的不只是一个算法而是一整套“环境建模—算法实现—训练评估—可视化”的闭环。2. 四种经典算法在三维场景下的分工与选型逻辑2.1 A 星、RRT、AOC、APF 各自适合什么地形在三维路径规划里没有哪种算法能通吃所有场景。A 星算法本质上是图搜索它把空间离散成栅格或节点用启发式函数引导搜索方向。优点是路径最优性有保证缺点是三维栅格数量随分辨率指数增长内存和计算时间都吃不消。我一般把 A 星用在障碍物分布规整、空间尺度不大的场景比如室内无人机巡检的局部路径。RRT 算法走的是另一条路它不建栅格而是在自由空间里随机采样把采样点连成树直到树延伸到目标点附近。三维空间里 RRT 的采样效率比 A 星高但路径往往锯齿状需要后处理平滑。RRT* 加了重选父节点和重连操作能渐进逼近最优解代价是计算量上升。AOC 算法在路径规划里通常指“蚁群优化”的变体它模拟蚂蚁觅食的信息素机制多只蚂蚁并行搜索适合多目标或动态障碍场景。APF 人工势场法把目标点设为引力源、障碍物设为斥力源智能体沿着势场梯度下降方向移动。它计算量最小实时性最好但局部极小值是它的死穴——引力和斥力刚好抵消时智能体就卡住了。选型逻辑很直接如果场景静态、障碍物少、要求路径最优优先 A 星如果空间维度高、障碍物复杂、允许次优解用 RRT 或 RRT*如果要做多智能体协同或动态避障考虑 AOC如果对实时性要求极高、计算资源有限APF 打底但要配合局部极小值逃逸策略。2.2 深度强化学习怎么和传统算法做融合把 DRL 和传统算法结合常见做法有三种。第一种是用传统算法生成示范数据让 DRL 智能体通过模仿学习快速入门避免从零开始随机探索。第二种是把传统算法的输出作为 DRL 状态空间的一部分比如把 A 星算出的粗略路径作为观测特征输入网络。第三种是分层架构上层用 DRL 做全局决策下层用 APF 或 RRT 做局部避障。在 MATLAB 里实现 DRL一般用 Reinforcement Learning Toolbox。你需要定义环境接口包括状态向量、动作空间、奖励函数和终止条件。状态向量通常包含智能体当前位置、目标点相对位置、最近障碍物距离和方向。动作空间可以是连续的比如三维速度或加速度也可以是离散的比如 26 个方向。奖励函数设计是玄学重灾区太稀疏学不动太密集容易走捷径。我一般会先用 A 星或 RRT 跑一批路径把路径点作为专家数据然后用 DDPG 或 PPO 做模仿学习预热再切换到环境交互微调。这样训练时间能从几万回合降到几千回合。2.3 在 MATLAB 里搭一套可复现的仿真环境搭环境的第一步是定义三维空间和障碍物。MATLAB 里可以用occupancyMap3D或自定义栅格矩阵。下面是一个最小可复现的环境初始化代码% 定义三维空间范围x 0~100, y 0~100, z 0~50 mapSize [100, 100, 50]; resolution 2; % 栅格分辨率单位与空间一致 % 创建三维 occupancyMap map occupancyMap3D(resolution); % 随机生成球形障碍物 numObstacles 15; obstacleCenters rand(numObstacles, 3) .* mapSize; obstacleRadii 3 5 * rand(numObstacles, 1); % 在 map 中填充障碍物 for i 1:numObstacles [X, Y, Z] meshgrid(0:resolution:mapSize(1), ... 0:resolution:mapSize(2), ... 0:resolution:mapSize(3)); dist sqrt((X - obstacleCenters(i,1)).^2 ... (Y - obstacleCenters(i,2)).^2 ... (Z - obstacleCenters(i,3)).^2); occupied dist obstacleRadii(i); setOccupancy(map, [X(occupied), Y(occupied), Z(occupied)], 1); end % 设置起点和终点 startPos [5, 5, 5]; goalPos [90, 90, 40];这段代码的逻辑是先定义空间范围和分辨率分辨率决定了栅格精度太小会爆内存太大路径会贴障碍物。occupancyMap3D是 MATLAB 自带的三维占据地图对象setOccupancy把障碍物内部的点标记为占据。障碍物用球体生成方便计算距离。起点和终点手动指定实际项目里可以从配置文件读。参数说明resolution建议设为空间尺度的 1/50 到 1/100比如 100 米空间用 1~2 米分辨率。numObstacles和obstacleRadii控制障碍物密度和大小做对比实验时固定随机种子保证可复现。提示MATLAB 的occupancyMap3D在 R2020b 之后才支持老版本需要用三维矩阵自己写碰撞检测。3. 用 DRL 训练三维路径规划智能体的完整流程3.1 状态空间、动作空间和奖励函数怎么定状态空间的设计直接决定智能体能不能学到有效策略。三维路径规划里我一般用 12 维状态向量智能体当前位置 (3)、目标点相对位置 (3)、最近三个障碍物的相对位置和距离 (6)。如果环境动态变化再加障碍物速度 (3)。状态归一化很重要把坐标除以空间尺度距离除以最大探测距离让网络输入落在 [-1, 1] 区间。动作空间有两种选择。离散动作空间简单比如 26 个方向三维空间每个轴 -1、0、1 组合但路径会有锯齿。连续动作空间用三维速度向量输出范围 [-1, 1] 乘以最大速度路径更平滑但训练难度大。我一般先用离散动作跑通流程再换连续动作调平滑度。奖励函数是训练成败的关键。我常用的奖励结构是function reward computeReward(state, action, nextState, goal, obstacles) % 距离奖励靠近目标给正奖励远离给负奖励 distOld norm(state(1:3) - goal); distNew norm(nextState(1:3) - goal); reward (distOld - distNew) * 10; % 碰撞惩罚进入障碍物范围给大负奖励 minDist min(vecnorm(obstacles - nextState(1:3), 2, 2)); if minDist 1.0 reward reward - 100; elseif minDist 3.0 reward reward - 5; % 靠近障碍物给小惩罚 end % 到达目标给大正奖励 if distNew 2.0 reward reward 200; end % 步数惩罚每走一步扣一点鼓励短路径 reward reward - 0.1; end逻辑说明距离奖励用前后两步到目标距离的差值乘以系数 10这样每步靠近目标都有正反馈。碰撞惩罚分两档进入 1 米内直接 -100进入 3 米内 -5给智能体一个缓冲带。到达目标 200步数惩罚 -0.1 防止绕路。参数需要根据空间尺度调整空间大就加大距离奖励系数。3.2 用 DDPG 和 PPO 在 MATLAB 里搭训练循环MATLAB 的 Reinforcement Learning Toolbox 支持 DDPG、PPO、TD3、SAC 等算法。下面以 DDPG 为例给出训练循环的核心代码% 创建环境接口 obsInfo rlNumericSpec([12 1]); actInfo rlNumericSpec([3 1], LowerLimit, -1, UpperLimit, 1); env rlFunctionEnv(obsInfo, actInfo, stepFunction, resetFunction); % 创建 DDPG 智能体 actorNetwork [ featureInputLayer(12, Normalization, none) fullyConnectedLayer(256) reluLayer fullyConnectedLayer(256) reluLayer fullyConnectedLayer(3) tanhLayer]; actor rlContinuousDeterministicActor(actorNetwork, obsInfo, actInfo); criticNetwork [ featureInputLayer(12, Normalization, none) fullyConnectedLayer(256) reluLayer fullyConnectedLayer(256) reluLayer fullyConnectedLayer(1)]; critic rlContinuousQValueCritic(criticNetwork, obsInfo, actInfo); agentOpts rlDDPGAgentOptions; agentOpts.SampleTime 0.1; agentOpts.DiscountFactor 0.99; agentOpts.ExperienceBufferLength 1e6; agentOpts.MiniBatchSize 128; agent rlDDPGAgent(actor, critic, agentOpts); % 训练配置 trainOpts rlTrainingOptions; trainOpts.MaxEpisodes 5000; trainOpts.MaxStepsPerEpisode 500; trainOpts.StopTrainingCriteria AverageReward; trainOpts.StopTrainingValue 180; trainOpts.ScoreAveragingWindowLength 50; % 开始训练 trainingStats train(agent, env, trainOpts);逻辑说明rlNumericSpec定义观测和动作空间动作限幅在 [-1, 1]。Actor 网络输出 tanh 保证动作有界Critic 网络估计 Q 值。rlDDPGAgentOptions里DiscountFactor设 0.99 表示看重长期回报ExperienceBufferLength设 1e6 存经验回放。训练 5000 回合每回合最多 500 步平均奖励连续 50 回合超过 180 就停。参数说明SampleTime是环境步长路径规划里一般 0.1~0.5 秒。MiniBatchSize128 是常用值显存不够就降到 64。StopTrainingValue要根据奖励函数量级调可以先跑 100 回合看奖励范围再定。3.3 训练收敛判断和策略导出训练过程中要看两个曲线每回合累计奖励和每回合步数。累计奖励上升、步数下降说明策略在变好。如果奖励震荡不收敛检查奖励函数是否有冲突项或者降低学习率。MATLAB 的trainingStats里有EpisodeReward和EpisodeSteps直接 plot 就行。策略导出用generatePolicyFunction或getAction。导出后可以脱离训练环境在纯仿真里跑测试。我一般会导出成.mat文件里面存 actor 网络的权重方便后续和 A 星、RRT 做对比。注意DDPG 对超参数敏感学习率默认 1e-3 和 1e-4如果训练不稳定先把 actor 学习率降到 1e-4critic 保持 1e-3。4. 避坑与排查三维路径规划训练中最容易翻车的五个地方4.1 奖励稀疏导致智能体原地打转现象训练几千回合累计奖励一直在 -500 附近智能体在起点附近来回移动不往目标走。原因距离奖励系数太小或者步数惩罚太大智能体觉得“不动”比“走错”划算。三维空间比二维大得多随机探索撞到目标的概率极低。解决加大距离奖励系数从 10 提到 50 甚至 100步数惩罚从 -0.1 降到 -0.01或者用 A 星生成示范路径做模仿学习预热。我一般会先跑 500 回合模仿学习再切到 DRL 微调。4.2 动作空间设计不合理导致路径贴墙现象训练出来的路径总是贴着障碍物边缘走安全距离不够。原因动作空间只有离散方向智能体为了缩短路径选择紧贴障碍物的方向。奖励函数里靠近障碍物的惩罚太小或者碰撞检测阈值设得太小。解决把碰撞惩罚的触发距离从 1 米提到 2 米惩罚值从 -100 提到 -200动作空间改成连续速度加一个“障碍物距离”作为状态输入让网络学会提前避让。如果还不行在奖励里加一项“路径平滑度”惩罚大角度转弯。4.3 训练环境随机种子没固定导致结果不可复现现象同样的代码跑两次一次收敛一次不收敛或者收敛后的路径完全不同。原因障碍物位置、起点终点、网络初始化都用了随机数没有固定种子。解决在脚本开头加rng(42)障碍物生成、网络初始化、经验回放采样都受这个种子控制。如果要做对比实验每个算法用同一组种子跑 5 次取平均值和标准差。MATLAB 的rng只影响当前会话重启后要重新设。4.4 状态归一化遗漏导致网络输出饱和现象训练初期奖励就爆掉或者 actor 输出一直是 -1 或 1。原因状态向量里有的维度范围是 0~100有的是 0~1网络输入尺度差异太大梯度更新被大数值维度主导。解决所有状态分量归一化到 [-1, 1]。位置除以空间尺度距离除以最大探测距离速度除以最大速度。归一化参数要保存下来测试时用同一套参数。MATLAB 的featureInputLayer可以设Normalization但我一般手动归一化可控性更强。4.5 训练回合数不够就下结论现象跑了 500 回合奖励还在震荡就断定算法不行。原因三维路径规划的状态空间比二维大一个量级DRL 需要更多交互数据才能覆盖足够多的场景。解决至少跑 3000~5000 回合看平均奖励的滑动窗口曲线窗口长度 50~100。如果 5000 回合还不收敛再检查奖励函数和网络结构。我踩过的坑是 1000 回合就放弃后来加到 5000 回合同样的代码就收敛了。5. 把 A 星和 RRT 的路径作为 DRL 的对比基线5.1 用 A 星在三维栅格上跑出最优路径A 星在三维栅格上的实现核心是启发式函数和邻居扩展。MATLAB 里可以用nav3D或自己写。下面是一个简化版 A 星核心循环function path astar3D(map, startPos, goalPos, resolution) % 把连续坐标转成栅格索引 startIdx round(startPos / resolution) 1; goalIdx round(goalPos / resolution) 1; % 初始化 openList 和 closedList openList [startIdx, 0, norm(startIdx - goalIdx)]; closedList []; while ~isempty(openList) % 找 f 值最小的节点 [~, idx] min(openList(:,2) openList(:,3)); current openList(idx, 1:3); openList(idx, :) []; if isequal(current, goalIdx) path reconstructPath(closedList, current); return; end % 扩展 26 个邻居 for dx -1:1 for dy -1:1 for dz -1:1 if dx0 dy0 dz0, continue; end neighbor current [dx, dy, dz]; if any(neighbor 1) || any(neighbor size(map)) continue; end if map(neighbor(1), neighbor(2), neighbor(3)) 1 continue; % 障碍物 end g norm(neighbor - startIdx); h norm(neighbor - goalIdx); openList [openList; neighbor, g, h]; end end end end path []; % 无解 end逻辑说明openList存待扩展节点每列是坐标、g 值、h 值。每次取 fgh 最小的节点扩展 26 个邻居跳过障碍物和越界。找到目标后回溯路径。参数resolution决定栅格精度太小会爆内存太大路径粗糙。5.2 RRT 在三维空间的采样与树扩展RRT 的核心是随机采样和最近邻搜索。MATLAB 里可以用manipulatorRRT或自己写。关键步骤在自由空间随机采一个点找树里最近的节点朝采样点方向延伸固定步长如果没碰撞就加入树。重复直到接近目标。RRT 的优点是快缺点是路径随机。我一般跑 10 次 RRT取路径最短的那次作为基线。RRT* 加了重选父节点路径更优但慢很多。做毕设对比实验时A 星、RRT、DRL 各跑 20 次统计路径长度、计算时间、成功率三个指标。5.3 三种方法的对比指标和可视化对比指标我一般用四个路径长度、计算时间、成功率、平滑度。路径长度直接量计算时间用tic/toc成功率是 20 次里成功到达目标的次数平滑度用路径上相邻三点夹角的标准差。可视化用plot3画路径障碍物用scatter3画球体起点绿色、终点红色、A 星蓝色、RRT 黄色、DRL 紫色。提示MATLAB 的plot3画三维路径时加grid on和axis equal让比例协调否则路径看起来会变形。6. 让训练快三倍的三个技巧经验回放优先级、课程学习和动作平滑6.1 优先级经验回放怎么改DDPG 默认均匀采样经验回放但三维路径规划里碰撞和到达目标的高奖励样本很少均匀采样会浪费大量时间在普通样本上。优先级经验回放PER按 TD 误差给样本排序误差大的样本被采样概率高。MATLAB 没有内置 PER但可以自己改rlReplayMemory的采样逻辑或者用rlDDPGAgentOptions里的ExperienceBufferLength配合自定义采样函数。我一般会实现一个简化版 PER每个样本存 TD 误差采样概率正比于误差的 alpha 次方alpha 取 0.6。新样本给最大误差保证至少被采一次。改完后训练回合数从 5000 降到 2000 左右。6.2 课程学习从简单场景到复杂场景课程学习的思路是先在小空间、少障碍物的环境里训练再逐步加大空间和障碍物密度。具体做法前 500 回合用 50x50x25 空间、5 个障碍物500~1500 回合用 100x100x50 空间、10 个障碍物1500 回合后用 150x150x75 空间、20 个障碍物。每次切换环境时保留网络权重只重置环境。这样做的原因是智能体在简单场景里先学会“朝目标走”和“避障”的基本策略再在复杂场景里微调。直接上复杂场景智能体可能几千回合都找不到目标。我实测课程学习能把收敛速度提高 2~3 倍。6.3 动作平滑让路径不再锯齿状DRL 输出的动作是逐步决策的路径容易锯齿。动作平滑有两种做法一是奖励函数里加平滑惩罚惩罚相邻两步动作的差值二是后处理用样条插值或滑动平均滤波。我一般两个都用训练时加平滑惩罚系数 0.5输出路径后用smoothdata做滑动平均窗口 5。平滑惩罚的代码很简单在奖励函数里加一行if ~isempty(prevAction) smoothPenalty -0.5 * norm(action - prevAction); reward reward smoothPenalty; end这样智能体会倾向选择连续变化的动作路径更平滑。但惩罚系数不能太大否则智能体不敢转弯会绕远路。0.5 是我试出来的平衡点空间大就降到 0.2。6.4 验证训练效果三个必须看的曲线训练完不能只看最终奖励要画三条曲线每回合累计奖励、每回合步数、每回合碰撞次数。累计奖励上升、步数下降、碰撞次数趋近于零才算真正收敛。如果奖励上升但碰撞次数也上升说明智能体在“冒险走捷径”需要加大碰撞惩罚。我习惯把三条曲线画在一个 figure 里用subplot(3,1,1)到subplot(3,1,3)。保存成.fig和.png各一份写论文时直接贴。测试时用 100 个随机场景跑统计成功率和平均路径长度和 A 星、RRT 对比。注意测试场景的障碍物分布要和训练场景同分布否则成功率会虚低。如果测试场景更复杂先做一轮微调再测。这套方案我从头跑通大概花了两周其中一周在调奖励函数和课程学习。最大的教训是不要一上来就追求复杂网络和花哨算法先把 A 星和 RRT 跑通用它们的路径做参照再上 DRL。DRL 不是万能药它解决的是传统算法在动态、高维、未知环境下的泛化问题静态已知环境里 A 星依然是最优选择。希望帮到你。本文还有配套的精品资源点击获取