1. 项目缘起与整体设计思路1.1 为什么选择双足机器人作为强化学习验证平台双足机器人一直是机器人控制领域公认的硬骨头。跟轮式底盘或者四足机器人比起来双足系统的欠驱动特性更明显行走过程中重心投影点会周期性地跑到支撑多边形外面说白了就是“每一步都在摔倒的边缘反复横跳”。也正因为这样双足平台特别适合拿来验证强化学习算法到底能不能处理高维连续控制问题。Kayden Knapik 这个项目选的是自己设计的小型双足机器人 Stompy整机自由度不算多每条腿三个舵机加起来六个主动自由度。这个配置很有意思自由度太少走不出像样的步态自由度太多仿真到现实的迁移难度会指数级上升。六个自由度刚好卡在一个“能走、能调、能训”的甜点区。我自己的经验是做 Sim-to-Real 项目硬件复杂度一定要压住。你在仿真里调得再漂亮真机上舵机响应延迟、齿轮间隙、电池电压下降这些因素都会把策略毁掉。Stompy 这种级别的平台单腿三个舵机分别负责髋关节前后摆、髋关节侧摆和膝关节结构简单出问题容易定位非常适合作为强化学习入门到实战的过渡项目。1.2 七天时间盒的取舍逻辑“7天造出”这个说法听起来很唬人但真正做过的人都知道时间盒的意义不在于炫技而在于逼你做减法。Kayden 的七天安排大致是这样的前两天搞定机械结构和电子布线第三天把仿真环境搭起来第四到第五天跑训练和调奖励函数第六天做域随机化和策略导出第七天在真机上调试和录视频。这个节奏背后有一个很关键的判断机械和电子必须一次做对不能反复返工。因为一旦硬件改尺寸之前训好的策略全部作废URDF 要重新导出仿真参数要重新标定时间根本不够用。所以他在机械设计阶段就用了大量标准件和 3D 打印件关节连接处留了足够的公差余量避免装配后卡死。提示如果你也想做类似的时间盒项目建议把硬件调试时间预留出至少 30% 的缓冲。我见过太多人前两天装完机器第三天发现某个舵机中位不对结果整个进度往后拖了三天。1.3 技术栈选型Jetson Orin Nano 作为机载大脑这个项目用的主控是 Jetson Orin Nano。选它的理由很直接强化学习策略网络虽然推理量不大但你需要一个能跑 PyTorch、能接摄像头、能实时输出 PWM 信号的平台。树莓派跑推理不是不行但遇到稍微大一点的 MLP 或者需要做传感器融合的时候延迟会明显上来。Orin Nano 的 GPU 算力对于这种小型双足机器人来说绰绰有余而且功耗控制得不错适合电池供电。软件栈方面仿真用的是 Isaac Gym 或者 MuJoCo 这类支持 GPU 并行训练的物理引擎训练框架是 PyTorch策略网络通常就是一个几层的 MLP输入是关节角度、角速度、IMU 读数和上一帧动作输出是目标关节位置。这个输入输出维度都不大Orin Nano 上跑个几百赫兹完全没问题。1.4 Sim-to-Real 的核心矛盾Sim-to-Real 最核心的矛盾就一句话仿真里没有噪声现实里全是噪声。你在仿真里训出来的策略到了真机上会遇到舵机死区、摩擦非线性、IMU 漂移、地面打滑、电池电压下降导致扭矩不足等等问题。Kayden 的做法是典型的“域随机化 观测历史 动作平滑”三件套后面我会详细拆解每一步怎么落地。2. 核心细节解析与实操要点2.1 机械结构设计中的关键参数Stompy 的腿部结构是典型的并联式髋关节加串联膝关节。髋关节两个舵机呈 90 度布置一个负责前后摆动一个负责侧向摆动膝关节舵机直接驱动小腿。这种布局的好处是重心集中在大腿附近转动惯量小舵机负载轻。关键尺寸方面大腿长度和小腿长度基本相等这样在站立姿态下膝关节角度接近 90 度扭矩输出效率最高。足端加了一层硅胶垫目的是增加摩擦系数并且吸收落地冲击。这个细节很重要我实测过硬塑料足端在光滑地面上打滑非常严重策略根本学不会稳定行走。舵机选的是串行总线舵机支持位置控制和速度读取。这里有一个坑总线舵机的回读频率和指令频率是共享带宽的。如果你既要高频读位置又要高频发指令总线会堵。Kayden 的做法是控制频率降到 50Hz 左右位置回读用轮询方式分散到不同周期避免总线拥塞。2.2 仿真环境搭建与 URDF 导出仿真环境搭建的第一步是把机械模型导出成 URDF。这里最容易出问题的地方是关节坐标系定义和碰撞体简化。很多人在 CAD 里画得很漂亮导出 URDF 之后发现关节轴方向不对或者碰撞体太复杂导致仿真步长被迫降到很低。Kayden 的做法是视觉网格用精细模型碰撞体全部用简化几何体替代。大腿和小腿用胶囊体足端用球体机身用长方体。这样物理计算量小仿真可以跑到 1000Hz 以上。关节限位和舵机实际行程要严格对齐否则仿真里学出来的动作到了真机上会撞限位。注意URDF 里的关节阻尼和摩擦参数不要拍脑袋填。我的经验是先用一个简单的摆锤实验标定关节摩擦再把这个值填进仿真。虽然麻烦但能省掉后面大量的调参时间。2.3 强化学习算法选型为什么用 PPO这个项目用的是 PPOProximal Policy Optimization。选它的理由很实际PPO 在连续控制任务上稳定、样本效率虽然不算最高但足够用、调参相对友好、社区资料多。对于七天时间盒来说你没有时间去折腾 SAC 或者 TD3 的超参数PPO 是风险最低的选择。策略网络结构是三层 MLP每层 256 个神经元激活函数用 ELU。输入维度包括关节角度6、关节速度6、机身姿态四元数4、机身角速度3、上一帧动作6加起来 25 维左右。输出是 6 维目标关节位置。价值网络结构和策略网络类似但输出是标量。训练的时候用了 4096 个并行环境在 Isaac Gym 里跑大概几个小时就能看到机器人开始迈步。这里的关键是奖励函数设计后面单独讲。2.4 奖励函数设计的核心逻辑奖励函数是强化学习里最像“玄学”的部分但其实有章可循。Kayden 的奖励函数大致包含这几项前进速度奖励机身前进速度接近目标速度时给正奖励偏离时给负奖励。姿态惩罚机身俯仰角和滚转角偏离水平时给惩罚。高度惩罚机身高度偏离期望值时给惩罚。动作平滑惩罚相邻两帧动作差异过大时给惩罚。关节限位惩罚关节接近限位时给惩罚。足端滑动惩罚支撑足在接触地面时水平速度过大给惩罚。这些项加权求和权重需要反复调。我的经验是先调速度和姿态再调平滑和限位。如果一上来就把所有项都加上你会很难判断到底是哪一项导致机器人不走路。2.5 域随机化的参数范围设定域随机化是 Sim-to-Real 的核心手段。Kayden 随机化的参数包括参数随机范围说明机身质量±15%模拟电池和线缆重量差异关节摩擦0.5x ~ 1.5x模拟舵机齿轮磨损舵机延迟0 ~ 20ms模拟总线通信延迟地面摩擦0.4 ~ 1.2模拟不同地面材质IMU 噪声高斯噪声模拟传感器漂移外部推力随机方向模拟扰动这些范围不是随便填的而是根据真机实测数据反推出来的。比如舵机延迟他用示波器测了从发指令到舵机开始动作的时间大概在 8 到 15 毫秒之间所以随机化范围设成 0 到 20 毫秒覆盖了最坏情况。3. 实操过程与核心环节实现3.1 第一天到第二天机械装配与电子布线机械装配的顺序很重要。Kayden 的做法是先把两条腿分别装好再装到机身上。每条腿的装配顺序是髋关节侧摆舵机 - 髋关节前后摆舵机 - 膝关节舵机 - 大腿 - 小腿 - 足端。每装一个关节就用舵机测试板确认中位和行程避免装完发现某个舵机方向反了要拆重来。电子布线方面总线舵机是菊花链连接电源线单独走一路信号线走另一路。电源线要足够粗因为六个舵机同时堵转的时候电流能到好几安培细线会导致电压跌落舵机抖动。他在机身里塞了一块 3S 锂聚合物电池经过一个降压模块给 Orin Nano 和舵机分别供电。提示舵机电源和主控电源一定要分开降压否则舵机启动瞬间的电流冲击会导致主控复位。这个坑我踩过调试的时候机器人走两步就重启查了半天才发现是电源问题。3.2 第三天仿真环境搭建与模型导入仿真环境用的是 Isaac Gym 的预览版配合自己写的 URDF 导入脚本。导入之后第一件事是验证关节方向和限位。他在仿真里写了一个简单的 PD 控制器让机器人做几个预设动作确认每个关节的运动方向和真机一致。这一步看起来简单但非常关键。我见过有人仿真里关节方向反了训练出来的策略在真机上完全不能用白白浪费两天训练时间。验证方法很简单在仿真里给每个关节一个正的目标位置观察关节角度变化方向和真机对比。3.3 第四天到第五天训练与调参训练过程分两个阶段。第一阶段是“学走路”奖励函数里速度项权重给得比较高鼓励机器人往前迈步。这个阶段大概跑 2000 到 3000 个 iteration机器人从原地踏步逐渐学会往前挪。第二阶段是“学走稳”降低速度权重提高姿态和平滑惩罚权重让步态更自然、更抗扰动。调参过程中最耗时间的是奖励权重的平衡。Kayden 的做法是每次只调一个权重观察 500 个 iteration 的效果如果机器人行为没有明显改善就回退。这种“小步快跑”的调参方式比一次性调一堆参数要靠谱得多。训练曲线方面主要看三个指标平均回报、平均前进速度、摔倒率。平均回报上升但前进速度不涨说明机器人在“刷奖励”需要检查奖励函数有没有漏洞。摔倒率居高不下说明姿态惩罚不够或者初始状态太激进。3.4 第六天策略导出与域随机化训练完成后策略网络导出成 ONNX 格式然后在 Orin Nano 上用 ONNX Runtime 加载。这里有一个细节仿真里的观测顺序和真机上的观测顺序必须严格一致。Kayden 在代码里定义了一个观测向量构造函数仿真和真机共用同一份代码避免顺序错乱。域随机化在训练后期开启逐步扩大随机范围。他的做法是前 1000 个 iteration 不随机化让机器人先学会基本步态然后再逐步加入随机化。如果一上来就全随机机器人很难学到有效策略。3.5 第七天真机调试与问题排查真机调试是检验 Sim-to-Real 效果的最终环节。第一次上电的时候Kayden 把机器人吊在一个支架上让腿悬空先验证策略输出的关节角度是否合理。确认无误后再放到地面上用手扶着走几步最后才完全放开。真机上遇到的第一个问题是舵机响应延迟导致步态不稳。仿真里舵机是瞬时响应的真机上有十几毫秒延迟。他的解决办法是在策略输出后面加了一个低通滤波器平滑动作指令虽然牺牲了一点响应速度但稳定性明显提升。第二个问题是IMU 漂移。机器人走几十秒之后姿态估计就会偏。他在策略里加入了观测历史让网络自己学会从历史观测中估计漂移量相当于让网络隐式地做状态估计。4. 常见问题与排查技巧实录4.1 仿真训练不收敛的排查思路训练不收敛是最常见的问题排查顺序建议如下检查观测和动作维度是否匹配。维度错了会直接报错但有时候是顺序错了不报错但学不会。检查奖励函数是否有漏洞。比如机器人可以通过原地抖动刷速度奖励这时候需要加动作平滑惩罚。检查初始状态是否太激进。初始关节角度偏离太大机器人一上来就摔倒很难学到东西。检查物理参数是否合理。质量、摩擦、阻尼填得离谱仿真本身就不稳定。我的经验是先用一个极简的奖励函数只有前进速度跑一遍如果机器人能学会往前挪说明仿真环境和算法没问题再逐步加复杂的奖励项。4.2 Sim-to-Real 迁移失败的典型原因问题现象可能原因解决办法真机上完全不走观测顺序不一致仿真和真机共用观测构造函数走两步就摔舵机延迟未建模加入延迟随机化和动作滤波步态抖动严重动作频率过高降低控制频率或加低通滤波走偏方向IMU 漂移加入观测历史或姿态校正电池电压下降后失效扭矩不足域随机化加入扭矩缩放这张表是我自己踩坑总结的基本上覆盖了小型双足机器人 Sim-to-Real 的常见问题。其中“观测顺序不一致”是最隐蔽的因为代码不报错但策略行为完全不对。4.3 舵机选型与维护的实操心得舵机是双足机器人的执行器选型和维护直接决定项目成败。Kayden 用的是金属齿轮串行总线舵机扭矩大概在 20kg·cm 左右。这个扭矩对于 Stompy 这个尺寸的机器人来说有足够余量。维护方面舵机齿轮磨损是最大的隐患。我建议每次长时间训练后检查舵机虚位如果虚位超过 2 度就要考虑更换齿轮组。另外舵机中位会随着使用时间漂移定期重新标定中位能避免步态逐渐变差。注意不要用舵机堵转来测试扭矩很容易烧齿轮。测试扭矩用弹簧秤慢慢加载读到峰值就停。4.4 Jetson Orin Nano 部署的注意事项Orin Nano 部署强化学习策略有几个坑要注意电源管理默认功耗模式可能限制 GPU 频率建议用nvpmodel调到最大性能模式。散热长时间推理 GPU 会发热加个散热片或者小风扇避免降频。实时性Linux 不是实时系统推理线程要用高优先级避免被其他进程抢占。ONNX Runtime用 GPU 版本别用 CPU 版本否则推理延迟会高很多。我实测下来一个三层 MLP 在 Orin Nano 上推理一次大概 1 到 2 毫秒跑 100Hz 控制频率完全没问题。但如果你的网络更大或者要做视觉处理就要考虑模型量化或者剪枝。4.5 训练加速的实用技巧Isaac Gym 的并行训练能力很强但默认配置不一定最优。几个加速技巧减少环境数量环境太多会导致 GPU 显存不够反而降低速度。找到显存占用的甜点区。简化碰撞体碰撞体越简单物理计算越快。降低仿真频率如果控制频率是 50Hz仿真频率不需要跑到 1000Hz500Hz 足够。用混合精度训练PyTorch 的 AMP 能明显加速但要注意数值稳定性。Kayden 在 4096 个环境下训练大概 4 到 6 小时能得到一个能走的策略。如果环境数降到 1024时间会拉长到 12 小时以上。所以并行环境数是训练速度的关键。4.6 从走到跑后续扩展方向Stompy 目前实现的是稳定行走后续可以往几个方向扩展。一是提高速度把目标速度从 0.3m/s 提到 0.6m/s 甚至更高这需要重新调奖励函数和步态频率。二是加入转向在观测里加入目标航向奖励函数里加入航向跟踪项。三是加入地形适应在仿真里随机化地面高度让机器人学会上下坡和跨越小障碍。我个人觉得转向是最值得先做的扩展。因为转向涉及到左右腿的协调能验证策略的泛化能力。而且转向做出来之后遥控操作会方便很多可以录更酷的视频。4.7 项目复现的最低配置建议如果你想复现这个项目最低配置大概是3D 打印机一台打印结构件串行总线舵机 6 个 舵机控制板Jetson Orin Nano 或者树莓派 4BOrin Nano 更好IMU 模块一个3S 锂电池 降压模块一台带 NVIDIA GPU 的电脑训练用RTX 3060 以上软件方面Isaac Gym 需要 NVIDIA GPUMuJoCo 可以纯 CPU 训练但速度慢很多。如果预算有限可以先用 MuJoCo 跑小规模训练验证算法逻辑再上 Isaac Gym 加速。最后分享一个小技巧训练的时候把策略网络输出的动作录下来在仿真里回放。这样你能直观看到策略在不同阶段的行为变化比看曲线图有效得多。我在调奖励函数的时候经常用这招快速判断策略是不是在“偷懒”。 
长河君 · 2026/10/17 8:56:00 · 阅读 1.2k 7天从零打造双足机器人：强化学习Sim-to-Real实战指南
1. 项目缘起与整体设计思路1.1 为什么选择双足机器人作为强化学习验证平台双足机器人一直是机器人控制领域公认的硬骨头。跟轮式底盘或者四足机器人比起来双足系统的欠驱动特性更明显行走过程中重心投影点会周期性地跑到支撑多边形外面说白了就是“每一步都在摔倒的边缘反复横跳”。也正因为这样双足平台特别适合拿来验证强化学习算法到底能不能处理高维连续控制问题。Kayden Knapik 这个项目选的是自己设计的小型双足机器人 Stompy整机自由度不算多每条腿三个舵机加起来六个主动自由度。这个配置很有意思自由度太少走不出像样的步态自由度太多仿真到现实的迁移难度会指数级上升。六个自由度刚好卡在一个“能走、能调、能训”的甜点区。我自己的经验是做 Sim-to-Real 项目硬件复杂度一定要压住。你在仿真里调得再漂亮真机上舵机响应延迟、齿轮间隙、电池电压下降这些因素都会把策略毁掉。Stompy 这种级别的平台单腿三个舵机分别负责髋关节前后摆、髋关节侧摆和膝关节结构简单出问题容易定位非常适合作为强化学习入门到实战的过渡项目。1.2 七天时间盒的取舍逻辑“7天造出”这个说法听起来很唬人但真正做过的人都知道时间盒的意义不在于炫技而在于逼你做减法。Kayden 的七天安排大致是这样的前两天搞定机械结构和电子布线第三天把仿真环境搭起来第四到第五天跑训练和调奖励函数第六天做域随机化和策略导出第七天在真机上调试和录视频。这个节奏背后有一个很关键的判断机械和电子必须一次做对不能反复返工。因为一旦硬件改尺寸之前训好的策略全部作废URDF 要重新导出仿真参数要重新标定时间根本不够用。所以他在机械设计阶段就用了大量标准件和 3D 打印件关节连接处留了足够的公差余量避免装配后卡死。提示如果你也想做类似的时间盒项目建议把硬件调试时间预留出至少 30% 的缓冲。我见过太多人前两天装完机器第三天发现某个舵机中位不对结果整个进度往后拖了三天。1.3 技术栈选型Jetson Orin Nano 作为机载大脑这个项目用的主控是 Jetson Orin Nano。选它的理由很直接强化学习策略网络虽然推理量不大但你需要一个能跑 PyTorch、能接摄像头、能实时输出 PWM 信号的平台。树莓派跑推理不是不行但遇到稍微大一点的 MLP 或者需要做传感器融合的时候延迟会明显上来。Orin Nano 的 GPU 算力对于这种小型双足机器人来说绰绰有余而且功耗控制得不错适合电池供电。软件栈方面仿真用的是 Isaac Gym 或者 MuJoCo 这类支持 GPU 并行训练的物理引擎训练框架是 PyTorch策略网络通常就是一个几层的 MLP输入是关节角度、角速度、IMU 读数和上一帧动作输出是目标关节位置。这个输入输出维度都不大Orin Nano 上跑个几百赫兹完全没问题。1.4 Sim-to-Real 的核心矛盾Sim-to-Real 最核心的矛盾就一句话仿真里没有噪声现实里全是噪声。你在仿真里训出来的策略到了真机上会遇到舵机死区、摩擦非线性、IMU 漂移、地面打滑、电池电压下降导致扭矩不足等等问题。Kayden 的做法是典型的“域随机化 观测历史 动作平滑”三件套后面我会详细拆解每一步怎么落地。2. 核心细节解析与实操要点2.1 机械结构设计中的关键参数Stompy 的腿部结构是典型的并联式髋关节加串联膝关节。髋关节两个舵机呈 90 度布置一个负责前后摆动一个负责侧向摆动膝关节舵机直接驱动小腿。这种布局的好处是重心集中在大腿附近转动惯量小舵机负载轻。关键尺寸方面大腿长度和小腿长度基本相等这样在站立姿态下膝关节角度接近 90 度扭矩输出效率最高。足端加了一层硅胶垫目的是增加摩擦系数并且吸收落地冲击。这个细节很重要我实测过硬塑料足端在光滑地面上打滑非常严重策略根本学不会稳定行走。舵机选的是串行总线舵机支持位置控制和速度读取。这里有一个坑总线舵机的回读频率和指令频率是共享带宽的。如果你既要高频读位置又要高频发指令总线会堵。Kayden 的做法是控制频率降到 50Hz 左右位置回读用轮询方式分散到不同周期避免总线拥塞。2.2 仿真环境搭建与 URDF 导出仿真环境搭建的第一步是把机械模型导出成 URDF。这里最容易出问题的地方是关节坐标系定义和碰撞体简化。很多人在 CAD 里画得很漂亮导出 URDF 之后发现关节轴方向不对或者碰撞体太复杂导致仿真步长被迫降到很低。Kayden 的做法是视觉网格用精细模型碰撞体全部用简化几何体替代。大腿和小腿用胶囊体足端用球体机身用长方体。这样物理计算量小仿真可以跑到 1000Hz 以上。关节限位和舵机实际行程要严格对齐否则仿真里学出来的动作到了真机上会撞限位。注意URDF 里的关节阻尼和摩擦参数不要拍脑袋填。我的经验是先用一个简单的摆锤实验标定关节摩擦再把这个值填进仿真。虽然麻烦但能省掉后面大量的调参时间。2.3 强化学习算法选型为什么用 PPO这个项目用的是 PPOProximal Policy Optimization。选它的理由很实际PPO 在连续控制任务上稳定、样本效率虽然不算最高但足够用、调参相对友好、社区资料多。对于七天时间盒来说你没有时间去折腾 SAC 或者 TD3 的超参数PPO 是风险最低的选择。策略网络结构是三层 MLP每层 256 个神经元激活函数用 ELU。输入维度包括关节角度6、关节速度6、机身姿态四元数4、机身角速度3、上一帧动作6加起来 25 维左右。输出是 6 维目标关节位置。价值网络结构和策略网络类似但输出是标量。训练的时候用了 4096 个并行环境在 Isaac Gym 里跑大概几个小时就能看到机器人开始迈步。这里的关键是奖励函数设计后面单独讲。2.4 奖励函数设计的核心逻辑奖励函数是强化学习里最像“玄学”的部分但其实有章可循。Kayden 的奖励函数大致包含这几项前进速度奖励机身前进速度接近目标速度时给正奖励偏离时给负奖励。姿态惩罚机身俯仰角和滚转角偏离水平时给惩罚。高度惩罚机身高度偏离期望值时给惩罚。动作平滑惩罚相邻两帧动作差异过大时给惩罚。关节限位惩罚关节接近限位时给惩罚。足端滑动惩罚支撑足在接触地面时水平速度过大给惩罚。这些项加权求和权重需要反复调。我的经验是先调速度和姿态再调平滑和限位。如果一上来就把所有项都加上你会很难判断到底是哪一项导致机器人不走路。2.5 域随机化的参数范围设定域随机化是 Sim-to-Real 的核心手段。Kayden 随机化的参数包括参数随机范围说明机身质量±15%模拟电池和线缆重量差异关节摩擦0.5x ~ 1.5x模拟舵机齿轮磨损舵机延迟0 ~ 20ms模拟总线通信延迟地面摩擦0.4 ~ 1.2模拟不同地面材质IMU 噪声高斯噪声模拟传感器漂移外部推力随机方向模拟扰动这些范围不是随便填的而是根据真机实测数据反推出来的。比如舵机延迟他用示波器测了从发指令到舵机开始动作的时间大概在 8 到 15 毫秒之间所以随机化范围设成 0 到 20 毫秒覆盖了最坏情况。3. 实操过程与核心环节实现3.1 第一天到第二天机械装配与电子布线机械装配的顺序很重要。Kayden 的做法是先把两条腿分别装好再装到机身上。每条腿的装配顺序是髋关节侧摆舵机 - 髋关节前后摆舵机 - 膝关节舵机 - 大腿 - 小腿 - 足端。每装一个关节就用舵机测试板确认中位和行程避免装完发现某个舵机方向反了要拆重来。电子布线方面总线舵机是菊花链连接电源线单独走一路信号线走另一路。电源线要足够粗因为六个舵机同时堵转的时候电流能到好几安培细线会导致电压跌落舵机抖动。他在机身里塞了一块 3S 锂聚合物电池经过一个降压模块给 Orin Nano 和舵机分别供电。提示舵机电源和主控电源一定要分开降压否则舵机启动瞬间的电流冲击会导致主控复位。这个坑我踩过调试的时候机器人走两步就重启查了半天才发现是电源问题。3.2 第三天仿真环境搭建与模型导入仿真环境用的是 Isaac Gym 的预览版配合自己写的 URDF 导入脚本。导入之后第一件事是验证关节方向和限位。他在仿真里写了一个简单的 PD 控制器让机器人做几个预设动作确认每个关节的运动方向和真机一致。这一步看起来简单但非常关键。我见过有人仿真里关节方向反了训练出来的策略在真机上完全不能用白白浪费两天训练时间。验证方法很简单在仿真里给每个关节一个正的目标位置观察关节角度变化方向和真机对比。3.3 第四天到第五天训练与调参训练过程分两个阶段。第一阶段是“学走路”奖励函数里速度项权重给得比较高鼓励机器人往前迈步。这个阶段大概跑 2000 到 3000 个 iteration机器人从原地踏步逐渐学会往前挪。第二阶段是“学走稳”降低速度权重提高姿态和平滑惩罚权重让步态更自然、更抗扰动。调参过程中最耗时间的是奖励权重的平衡。Kayden 的做法是每次只调一个权重观察 500 个 iteration 的效果如果机器人行为没有明显改善就回退。这种“小步快跑”的调参方式比一次性调一堆参数要靠谱得多。训练曲线方面主要看三个指标平均回报、平均前进速度、摔倒率。平均回报上升但前进速度不涨说明机器人在“刷奖励”需要检查奖励函数有没有漏洞。摔倒率居高不下说明姿态惩罚不够或者初始状态太激进。3.4 第六天策略导出与域随机化训练完成后策略网络导出成 ONNX 格式然后在 Orin Nano 上用 ONNX Runtime 加载。这里有一个细节仿真里的观测顺序和真机上的观测顺序必须严格一致。Kayden 在代码里定义了一个观测向量构造函数仿真和真机共用同一份代码避免顺序错乱。域随机化在训练后期开启逐步扩大随机范围。他的做法是前 1000 个 iteration 不随机化让机器人先学会基本步态然后再逐步加入随机化。如果一上来就全随机机器人很难学到有效策略。3.5 第七天真机调试与问题排查真机调试是检验 Sim-to-Real 效果的最终环节。第一次上电的时候Kayden 把机器人吊在一个支架上让腿悬空先验证策略输出的关节角度是否合理。确认无误后再放到地面上用手扶着走几步最后才完全放开。真机上遇到的第一个问题是舵机响应延迟导致步态不稳。仿真里舵机是瞬时响应的真机上有十几毫秒延迟。他的解决办法是在策略输出后面加了一个低通滤波器平滑动作指令虽然牺牲了一点响应速度但稳定性明显提升。第二个问题是IMU 漂移。机器人走几十秒之后姿态估计就会偏。他在策略里加入了观测历史让网络自己学会从历史观测中估计漂移量相当于让网络隐式地做状态估计。4. 常见问题与排查技巧实录4.1 仿真训练不收敛的排查思路训练不收敛是最常见的问题排查顺序建议如下检查观测和动作维度是否匹配。维度错了会直接报错但有时候是顺序错了不报错但学不会。检查奖励函数是否有漏洞。比如机器人可以通过原地抖动刷速度奖励这时候需要加动作平滑惩罚。检查初始状态是否太激进。初始关节角度偏离太大机器人一上来就摔倒很难学到东西。检查物理参数是否合理。质量、摩擦、阻尼填得离谱仿真本身就不稳定。我的经验是先用一个极简的奖励函数只有前进速度跑一遍如果机器人能学会往前挪说明仿真环境和算法没问题再逐步加复杂的奖励项。4.2 Sim-to-Real 迁移失败的典型原因问题现象可能原因解决办法真机上完全不走观测顺序不一致仿真和真机共用观测构造函数走两步就摔舵机延迟未建模加入延迟随机化和动作滤波步态抖动严重动作频率过高降低控制频率或加低通滤波走偏方向IMU 漂移加入观测历史或姿态校正电池电压下降后失效扭矩不足域随机化加入扭矩缩放这张表是我自己踩坑总结的基本上覆盖了小型双足机器人 Sim-to-Real 的常见问题。其中“观测顺序不一致”是最隐蔽的因为代码不报错但策略行为完全不对。4.3 舵机选型与维护的实操心得舵机是双足机器人的执行器选型和维护直接决定项目成败。Kayden 用的是金属齿轮串行总线舵机扭矩大概在 20kg·cm 左右。这个扭矩对于 Stompy 这个尺寸的机器人来说有足够余量。维护方面舵机齿轮磨损是最大的隐患。我建议每次长时间训练后检查舵机虚位如果虚位超过 2 度就要考虑更换齿轮组。另外舵机中位会随着使用时间漂移定期重新标定中位能避免步态逐渐变差。注意不要用舵机堵转来测试扭矩很容易烧齿轮。测试扭矩用弹簧秤慢慢加载读到峰值就停。4.4 Jetson Orin Nano 部署的注意事项Orin Nano 部署强化学习策略有几个坑要注意电源管理默认功耗模式可能限制 GPU 频率建议用nvpmodel调到最大性能模式。散热长时间推理 GPU 会发热加个散热片或者小风扇避免降频。实时性Linux 不是实时系统推理线程要用高优先级避免被其他进程抢占。ONNX Runtime用 GPU 版本别用 CPU 版本否则推理延迟会高很多。我实测下来一个三层 MLP 在 Orin Nano 上推理一次大概 1 到 2 毫秒跑 100Hz 控制频率完全没问题。但如果你的网络更大或者要做视觉处理就要考虑模型量化或者剪枝。4.5 训练加速的实用技巧Isaac Gym 的并行训练能力很强但默认配置不一定最优。几个加速技巧减少环境数量环境太多会导致 GPU 显存不够反而降低速度。找到显存占用的甜点区。简化碰撞体碰撞体越简单物理计算越快。降低仿真频率如果控制频率是 50Hz仿真频率不需要跑到 1000Hz500Hz 足够。用混合精度训练PyTorch 的 AMP 能明显加速但要注意数值稳定性。Kayden 在 4096 个环境下训练大概 4 到 6 小时能得到一个能走的策略。如果环境数降到 1024时间会拉长到 12 小时以上。所以并行环境数是训练速度的关键。4.6 从走到跑后续扩展方向Stompy 目前实现的是稳定行走后续可以往几个方向扩展。一是提高速度把目标速度从 0.3m/s 提到 0.6m/s 甚至更高这需要重新调奖励函数和步态频率。二是加入转向在观测里加入目标航向奖励函数里加入航向跟踪项。三是加入地形适应在仿真里随机化地面高度让机器人学会上下坡和跨越小障碍。我个人觉得转向是最值得先做的扩展。因为转向涉及到左右腿的协调能验证策略的泛化能力。而且转向做出来之后遥控操作会方便很多可以录更酷的视频。4.7 项目复现的最低配置建议如果你想复现这个项目最低配置大概是3D 打印机一台打印结构件串行总线舵机 6 个 舵机控制板Jetson Orin Nano 或者树莓派 4BOrin Nano 更好IMU 模块一个3S 锂电池 降压模块一台带 NVIDIA GPU 的电脑训练用RTX 3060 以上软件方面Isaac Gym 需要 NVIDIA GPUMuJoCo 可以纯 CPU 训练但速度慢很多。如果预算有限可以先用 MuJoCo 跑小规模训练验证算法逻辑再上 Isaac Gym 加速。最后分享一个小技巧训练的时候把策略网络输出的动作录下来在仿真里回放。这样你能直观看到策略在不同阶段的行为变化比看曲线图有效得多。我在调奖励函数的时候经常用这招快速判断策略是不是在“偷懒”。