微型双足鸭形机器人英文圈通常管这类平台叫duck robot or duck-shaped biped但真正把它和强化学习绑定在一起的仓库并不多。我做完这个项目后把训练、仿真、部署的整套代码开源了结构上以强化学习为驱动核心硬件本体是一只巴掌大的双足鸭形机器人。这篇解析就是把整个项目从形态设计、训练架构、奖励设计到开源代码的组织方式和仿真转实机的坑完整复盘一遍。如果你也在做低成本微型足式机器人或者正准备用强化学习训练机器人的行走策略那这篇文章应该能帮你省掉不少摸索时间。先交代项目的基本盘面机器人高度大概90毫米重量控制在80克左右每条腿有髋关节俯仰和膝关节俯仰两个自由度脚掌是被动平板结构全身用PLA 3D打印驱动用9克级别的微型舵机姿态反馈来自一颗低成本IMU。控制链路是典型的强化学习闭环——训练时在MuJoCo里完成策略学习部署时把策略网络导出成轻量模型在ESP32上运行前向推理输出舵机目标角。下面按我实际开发推进的顺序把每个环节的关键决策和踩坑记录拆开讲。1. 为什么是鸭子微型双足平台的形态权衡1.1 鸭子形态不是卖萌是重心策略很多第一次看到这个项目的人都会问为什么不做成人形双足答案非常简单微型机器人受限于舵机力矩和结构精度仿人形双足几乎不可能稳定行走。人形机器人质心高、支撑面窄本质上是一个高不稳定度的倒立摆想要站稳需要很高的控制频率和精确的动力学模型。微型舵机的响应带宽、扭矩输出和控制精度都有限硬上人形结构策略网络还没学会走路舵机就已经过热或者扫齿了。鸭子形态是形态上的降维打击。鸭子的身体是一个低重心、宽底座的船形结构两条腿之间的距离被刻意拉大脚掌做成又扁又宽的样子这样质心高度低、支撑多边形面积大稳定性天然比人形结构好一个数量级。从强化学习训练的角度看稳定裕度大意味着探索时不容易摔训练曲线更好收敛也不需要频繁地为摔倒恢复设计复杂的奖励项。这个概念可以翻译成ZMP零力矩点语言当质心水平投影落在支撑多边形内部时机器人静态或准静态稳定。鸭形结构本质上是把支撑多边形做大、把质心高度做低让这个稳定条件更容易满足。而强化学习策略在训练时也不需要显式去算ZMP它只需要通过大量试错学会不要把重心移出脚掌范围。1.2 硬件选型与结构实现硬件清单并不豪华全是常见件模块型号参考关键参数作用主控ESP32-S3240MHz双核支持TFLite Micro传感器采集、策略推理、舵机控制舵机SG90 / ES08MA II9g扭矩约1.3kg·cm速度约0.1s/60°驱动髋关节和膝关节IMUMPU6050 / ICM426886轴采样最高1kHz获取身体姿态和角速度结构PLA 3D打印层高0.2mm零件壁厚约1.2mm机身、大腿、小腿、脚掌电池2S 300mAh锂电7.4V带降压到5V舵机与主控供电舵机驱动PCA9685或直接PWM16通道控制4个舵机节省主控定时器每条腿的髋关节负责大腿在矢状面的前摆后摆膝关节负责小腿屈伸。脚掌不设置主动踝关节做成一个固定的平板形状表面贴防滑硅胶条。这样的自由度配置足够走出鸭子摇摆步态同时把控制维度降到4维强化学习搜索空间很小训练效率高。结构上有几个值得注意的细节。第一机身的重心尽量靠后下方。鸭子走路的姿态天然有点后仰重心靠后能配合宽脚掌形成稳定的静平衡。第二大腿和小腿的比例要避免极端值否则步态会显得生硬训练时也容易出现膝关节撞击极限位置。第三舵机安装时用铝合金舵机臂塑料舵机臂在反复冲击下容易滑牙。3D打印件的公差控制是微型机器人最容易被低估的环节。如果关节孔和轴承配合太松舵机输出杆上会有旷量反馈回来的关节角度在实机上和仿真里存在系统性偏差后期迁移会很痛苦。我会在打印后用游标卡尺抽检关键配合尺寸必要时处理干涉位置。1.3 传统控制的掣肘与强化学习切入点如果只靠传统控制方法这个项目会卡在建模这一关。经典的ZMP双足控制需要精确的动力学模型还需要足底力传感器来实时估计ZMP位置。微型机器人根本装不下像样的力传感器舵机的滞回和死区也让理论模型和实际响应差距悬殊。另一个常用方案是CPG中枢模式发生器通过一组非线性振荡器生成节律性的关节轨迹。CPG在仿生机器人上确实有效果但参数多、调参靠经验而且为鸭子摇摆步态设计合理的CPG拓扑本身就不容易。强化学习的思路完全不同我不需要手写步态轨迹也不需要精确的动力学模型只需要在仿真环境中定义好状态、动作和奖励让策略网络通过大量交互自己探索出能走的步态。可以理解为传统控制是先列公式再按公式走路而强化学习是让机器人自己在房间里摔上一万次然后学会走路。对微型低成本平台来说后者往往才是工程上真正可行的路线。2. 强化学习训练架构从仿真环境到策略网络的完整链路2.1 仿真器选型为什么最终锁定MuJoCo我对比过三个主流仿真器直接说结论仿真器优势劣势适用场景MuJoCo接触求解稳定MJCF格式简洁速度快需要写环境wrapper足式机器人策略训练PyBulletPython API友好URDF加载简单接触稳定性一般大规模并行较弱快速验证、教学Isaac GymGPU并行数千环境同训依赖NVIDIA生态环境配置复杂大规模参数量训练最终选了MuJoCo。自由度少的小型机器人其实不依赖大规模并行Isaac Gym的优势很难发挥反而要把大量精力耗在集群配置上。而MuJoCo在足式机器人领域的接触求解积累很深仿真出来的摩擦、接触反力相对接近真实对sim-to-real迁移有好处。即使如此我还是用Gymnasium接口写了环境封装把MuJoCo封装成标准的gym环境。这样训练代码完全和仿真器解耦将来想换PyBullet或者Isaac Gym做对比实验只需要换一个环境类。2.2 状态空间、动作空间与观测噪声设计状态空间的设计直接决定了策略能学到什么程度。我使用的是系统的部分可观测状态具体维度如下机体姿态角roll和pitch来自IMU2维机体角速度wx和wy来自IMU陀螺仪2维四个关节的角度髋关节左/右、膝关节左/右4维四个关节的角速度4维上一时刻的动作4个关节的目标角度4维合计16维观测。加上上一时刻动作是强化学习运动控制里很常见的技巧相当于给策略一个记忆让它知道当前动作是从哪个状态出发的能有效抑制高频抖动。动作空间是4维连续空间每个维度对应一个关节的目标位置。这里有一个关键选择动作输出的是目标角度而不是力矩。原因是微型舵机本身就是位置伺服装置内部已经有一个PID环在跟踪目标角。仿真里我把舵机建模成二阶阻尼系统而不是理想力矩源这样策略在仿真里学到的发出目标角的模式和实机上的控制方式完全一致迁移时不需要额外转换。观测噪声是必须加的。IMU的姿态解算在高频振动下会有明显噪声关节编码器舵机反馈在负载下有轻微抖动。仿真的每个观测都要叠加高斯噪声噪声量级按照实机硬件实测的方差来标定。前期直接无噪声训练出来的策略放到实机上几乎必摔原因就是仿真里策略过度信任了这个理论上完美的观测。2.3 开源训练框架的组合方案训练框架我用的是gymnasium环境 PPO算法。算法实现上先后试过Stable-Baselines3和自研PPO最终保留自研版本并开源。这里说下原因。Stable-Baselines3的PPO实现质量高、文档丰富适合快速验证想法。但它在足式机器人场景下有一个明显短板rollout的并行度受到Python多进程开销的限制采集经验的速度上不去。我训练一个策略动辄几百万步累计时间成本差异还是很明显的。自研PPO的思路是在MuJoCo环境上做多进程rollout采集再用PyTorch在GPU上做策略更新。MuJoCo本身是C求解器单个环境仿真速度快配合8到16个并行环境每秒能采集的经验数量比SB3默认实现高出不少。这个架构并不复杂核心就是经典PPO三件套GAE计算优势、带clip的surrogate损失、经验回放池。配置文件统一用YAML来管理。所有超参数、奖励权重、域随机化开关都写在config文件里训练脚本只要读配置就能复现实验。这是后面能快速迭代的基础也让我开源之后其他人可以轻松改参实验。3. 奖励函数设计与算法调参的实战记录3.1 奖励塑形从乱跑到往前走奖励函数是足式机器人强化学习里最烧时间的部分。说它是艺术都不过分因为一个公式的系数改0.5倍训练出来的步态可能就是正常走和原地抽搐的区别。初始失败模式上我先后遇到过三种第一种原地抖动。我只加了前进速度奖励策略很快发现站在原地高频抖动身体也能在统计上产生正向的前进速度积分于是它就学会了抖动而不是走路。解决办法是在奖励里加入对动作幅度的惩罚以及在episode中检测机体实际位移增量位移过小直接结束。第二种倒着走。前进速度奖励的方向定义在机体坐标系下策略发现后退同样能获得速度奖励。解决办法是把参考方向改成世界坐标系下的目标方向并加入朝向奖励凡是偏离目标方向的运动都会被惩罚。第三种摔倒后直接躺平。早期我把摔倒的惩罚设得很高策略发现保持倒地可以获得比尝试走路更高的期望回报于是它就彻底躺平。这本质上是奖励尺度失衡后来把摔倒惩罚降下来同时在episode重置策略上做了调整训练才恢复正常。最终采用的分项奖励结构如下奖励项公式思路作用前进速度机体系x方向速度的线性奖励驱动往前走方向保持机体朝向与目标方向的夹角余弦防止走偏和倒走姿态稳定惩罚roll和pitch偏离零位防止左右晃和前后栽能量消耗惩罚动作二次方之和抑制无效抖动动作平滑惩罚相邻步动作差减少舵机高频摆动存活奖励每存活一步获得小奖励鼓励长时间稳定行走动作平滑项的引入对实机迁移非常重要。微型舵机的寿命和发热量直接和动作抖动频率相关一个在仿真里表现完美、每秒抖20次的策略在实机上跑不了一分钟就会烧舵机。用相邻动作差的平方做惩罚能有效抑制抖动策略会倾向于输出平滑的步态轨迹。3.2 PPO超参调优记录说几个我实际踩过的PPO超参数学习率是第一个要检查的项。我一开始用3e-4训练曲线在几百万步之后缓慢上升但收敛速度很慢。调到1e-3之后前期学习速度明显提升但因为策略网络较小学习率过高时偶发不稳定。最后用网格搜索在5e-4和8e-4之间选了稳定值。rollout长度n_steps决定了每次策略更新前采集多少经验。对步态任务我发现n_steps取1024到2048比较合适。太短的时候优势估计偏差大训练不稳定太长则单次更新延迟高策略迭代变慢。clip系数0.2是PPO的默认值基本不需要动。值得注意的反而是batch size64到256之间对这个规模的策略网络影响较小真正影响大的是价值网络是否做了normalization。我在自研实现里对价值和观测都做running normalization训练稳定性提升显著。网络结构用的是MLP三层配置[256, 128, 64]。对于16维观测、4维动作的小规模策略这个容量绰绰有余。用更大的网络没有带来明显收益反而增加了部署到ESP32上的推理耗时。3.3 训练曲线解读什么才算真学会了训练曲线的解读很容易误判我一开始也吃过亏。只看episodic reward上升就以为策略在变好实际上并存的情况很多。正确做法是同时看三张图总回报、episode长度、前进速度误差。如果总回报在涨但episode长度基本没变说明策略只是在原地状态下多活了几步并没有真正学会前进。真正学会走路的标志是episode长度稳定增长不摔了前进速度维持在目标区间奖励曲线进入平台期。还有一个容易被忽略的指标策略的动作熵。动作熵降得过快说明策略过早收敛到某个局部最优典型表现就是学会了某种奇怪的、有风险的步态。动作熵保持缓慢下降才是健康的探索节奏。训练到大约500万步时策略基本收敛到一个稳定状态机器人能以约0.15到0.2米/秒的速度匀速前进的姿态控制在正负5度以内步态频率和鸭子的自然摇摆频率接近。4. 开源代码架构逐层拆解4.1 仓库目录结构与模块职责开源仓库的目录结构是按训练、部署、资源三个方向拆开的我刻意避免把代码堆成一坨每个模块只干一件事。目录/文件职责envs/仿真环境封装定义状态、动作、奖励和观测噪声agents/训练算法实现包括PPO、GAE、经验回放nets/策略网络结构定义configs/训练超参、奖励权重、域随机化配置assets/机器人的MJCF/URDF模型文件scripts/训练、评估、模型导出脚本deploy/实机部署代码包括传感器读取和策略推理train.py训练入口README.md项目说明、复现步骤assets目录里的MJCF模型是开源项目的基石。别人拿到仓库第一件事应该是能在MuJoCo里把这个鸭子模型加载起来看到它站着然后开始随机抖动。如果模型文件缺零件或者力矩方向定义错误后面所有实验都会跑偏。4.2 训练入口与配置体系config文件是核心一个典型的config.yaml结构就像这样env: model_path: assets/duck_robot.xml max_episode_steps: 1000 obs_noise_std: 0.02 action_noise_std: 0.01 policy: hidden_sizes: [256, 128, 64] activation: elu train: algorithm: PPO learning_rate: 5.0e-4 n_steps: 2048 batch_size: 256 gamma: 0.99 gae_lambda: 0.95 clip_coef: 0.2 reward: weight_forward: 1.2 weight_heading: 0.6 weight_pose: 0.3 weight_energy: 0.05 weight_smoothness: 0.1 domain_randomization: mass_range: [0.8, 1.2] friction_range: [0.2, 1.0] control_delay_steps: 2train.py的逻辑其实很短读取配置、创建环境和策略网络、进入PPO主循环、定期保存checkpoint和评估策略。全部流程加起来不到两百行核心训练循环就是经典的采集、计算GAE、更新策略三步。我刻意把算法实现写得比SB3更透明方便学习者逐行理解PPO在干什么。仓库里在agents/ppo.py中标注了每个张量从哪来到哪去方便按图索骥。4.3 模型导出与实机推理接口训练完成后策略网络会导出成轻量格式我选择的路径是PyTorch导出ONNX再转成TFLite量化模型最终部署到ESP32-S3上跑TFLite Micro推理。导出脚本的核心逻辑是dummy_obs torch.zeros(1, obs_dim) torch.onnx.export(policy, dummy_obs, duck_policy.onnx, input_names[obs], output_names[action])导出的模型输入16维观测输出4维动作整个网络参数量大约3万左右量化成int8之后占用Flash不到50KB在ESP32上的前向推理耗时大约5到10毫秒。这个开销对50Hz控制循环完全够用。deploy目录里是另一套轻量级代码不依赖PyTorch。它负责IMU数据读取、关节反馈采集从舵机PWM反馈或角度传感器读取、策略推理、PWM舵机控制输出。推理频率在实机上设置为50Hz比仿真的100Hz低这是sim-to-real迁移里非常重要的一个调整后面会详细讲。5. 仿真到实机的迁移域随机化与实机踩坑5.1 为什么微型足式机器人是sim-to-real的硬骨头仿真和实机的差距从来不是单一维度的微型低成本机器人把这个差距放到了最大。第一是执行器延迟。仿真里的舵机模型响应几乎是瞬时的就算加了一阶惯性环节也和实机舵机的真实延迟链有差别。实机舵机从收到目标角到真正到位里面有通信帧、内部PID计算、电机响应、齿轮传动的延迟整体算下来可能有100到200毫秒。控制频率50Hz的情况下相当于两三个控制周期都还没到位。第二是传感器噪声和漂移。MPU6050的加速度计在振动环境下噪声明显姿态解算出来的roll和pitch在快速运动时会短时跳变。陀螺仪的yaw方向积分漂移特别严重所以我根本没把yaw放进观测空间只依赖roll和pitch。第三是结构弹性。3D打印的PLA零件刚度其实不算差但关节连接处的间隙和塑料柔韧性会让机器人在运动时产生额外振动。这个振动频率和步态频率接近时会发生结构共振实机上的表现就是走着走着突然剧烈摆动。最后是摩擦和地面参数。仿真里没做精细的地面建模而实机上不同材质地板木地板、瓷砖、地毯的摩擦系数差异极大。只在一个摩擦系数下训练出来的策略换个地板可能直接就摔了。5.2 域随机化参数我实际怎么设置域随机化是应对上述差距的最实用手段做法是在每次训练episode开始时随机采样一组环境参数让策略学会适应一个参数分布区间而不是一组固定值。我实际设置的随机化范围参数随机范围对应实机什么情况机身质量0.8x 到 1.2x电池电量、打印件壁厚差异各连杆质心偏移每个方向正负5mm3D打印内部填充不均匀脚掌摩擦系数0.2 到 1.0地板材质变化执行器延迟0到3个控制周期舵机响应差异和通讯延迟执行器噪声目标角叠加正负2度舵机死区和非线性IMU噪声标准差的0.8到1.5倍不同IMU个体差异执行器延迟的随机化是迁移效果提升最大的一个改动。训练中随机让目标角延迟零到三个周期才生效策略会主动学习预判和少依赖即时反馈来处理延迟实机延迟反而不容易击垮它。代价是训练收敛变慢需要多训练大概两百万步才能达到同样的水平。5.3 实机部署的几个大坑实机部署阶段踩过的坑值得单独列出来。第一个坑是舵机过热和堵转。强化学习策略在探索初期会输出大量高频大幅度动作在实机上如果直接跑未充分训练的策略舵机会在一个很陡的角度之间来回硬掰几十秒就烫手。解决办法是在部署时加入动作平滑滤波和角度限幅不用担心滤波破坏了策略学到的步态因为训练时本身就有动作平滑奖励合理范围内的滤波反而保留了策略意图的同时减少舵机负担。第二个坑是电池电压跌落。2S锂电池在放电末端电压从8.4V降到7V附近舵机输出扭矩明显下降同一个策略在满电时走得挺好低电时就会摔倒。我的处理方法是训练时把可用扭矩也作为一个随机化参数让策略学会在稍微没劲的情况下也能维持步态。同时在实机上用电量检测做策略切换的逻辑电量低于阈值就降低目标速度。第三个坑是结构共振。3D打印件的固有频率主要集中在10到20Hz区间而鸭形步态频率大概在1到2Hz低频主步态倒不共振。真正的共振发生在舵机PWM刷新频率5到10Hz的谐波上表现为机身有轻微的高频抖动。后来我把舵机的PWM刷新率固定到50Hz以上并把策略输出频率与其对齐振动明显缓解。第四个坑是接线对IMU的干扰。舵机是大电流设备舵机电源线靠近I2C总线时IMU数据会出现大量毛刺。我用双绞线接I2C并离舵机线至少3厘米干扰大幅下降。这个坑在微型机器人的紧凑结构里特别容易踩走线布局要在结构设计时就考虑好。第五个坑是零位标定。每个舵机的零位输出角都有细微差异同一套安装角度下左腿和右腿的初始姿态未必完全对称。如果在仿真里没有考虑这个不对称实机跑出来的步态就会明显向一侧偏。我的做法是每次上电做一次关节零位校准同时把左右腿不对称的随机扰动加进仿真里的默认姿态让策略不那么敏感于微小的初始偏差。最后再分享一点我在这个项目上沉淀下来的体会实机迁移成功的关键往往不在算法多先进而在动手调参之前是否诚实地把仿真环境建模得足够丑——噪声该加就加、延迟该有就有、摩擦力该变就变。一个在理想仿真环境里练出来的精装策略放到廉价硬件上往往脆弱得不堪一击而一个在脏乱差仿真环境里滚打出来的鲁棒策略反而能平稳地走出鸭子步。训练时多花点耐心做域随机化和观测噪声远比在实机上反复试错改策略要高效。我的习惯是每次训练之前在config里把随机化范围调大5%然后观察策略是否还能保持稳定输出这一步做扎实了后续部署基本就是水到渠成的事。 
长河君 · 2026/10/8 12:53:49 · 阅读 1.2k 微型双足鸭形机器人：从强化学习仿真到实机部署
微型双足鸭形机器人英文圈通常管这类平台叫duck robot or duck-shaped biped但真正把它和强化学习绑定在一起的仓库并不多。我做完这个项目后把训练、仿真、部署的整套代码开源了结构上以强化学习为驱动核心硬件本体是一只巴掌大的双足鸭形机器人。这篇解析就是把整个项目从形态设计、训练架构、奖励设计到开源代码的组织方式和仿真转实机的坑完整复盘一遍。如果你也在做低成本微型足式机器人或者正准备用强化学习训练机器人的行走策略那这篇文章应该能帮你省掉不少摸索时间。先交代项目的基本盘面机器人高度大概90毫米重量控制在80克左右每条腿有髋关节俯仰和膝关节俯仰两个自由度脚掌是被动平板结构全身用PLA 3D打印驱动用9克级别的微型舵机姿态反馈来自一颗低成本IMU。控制链路是典型的强化学习闭环——训练时在MuJoCo里完成策略学习部署时把策略网络导出成轻量模型在ESP32上运行前向推理输出舵机目标角。下面按我实际开发推进的顺序把每个环节的关键决策和踩坑记录拆开讲。1. 为什么是鸭子微型双足平台的形态权衡1.1 鸭子形态不是卖萌是重心策略很多第一次看到这个项目的人都会问为什么不做成人形双足答案非常简单微型机器人受限于舵机力矩和结构精度仿人形双足几乎不可能稳定行走。人形机器人质心高、支撑面窄本质上是一个高不稳定度的倒立摆想要站稳需要很高的控制频率和精确的动力学模型。微型舵机的响应带宽、扭矩输出和控制精度都有限硬上人形结构策略网络还没学会走路舵机就已经过热或者扫齿了。鸭子形态是形态上的降维打击。鸭子的身体是一个低重心、宽底座的船形结构两条腿之间的距离被刻意拉大脚掌做成又扁又宽的样子这样质心高度低、支撑多边形面积大稳定性天然比人形结构好一个数量级。从强化学习训练的角度看稳定裕度大意味着探索时不容易摔训练曲线更好收敛也不需要频繁地为摔倒恢复设计复杂的奖励项。这个概念可以翻译成ZMP零力矩点语言当质心水平投影落在支撑多边形内部时机器人静态或准静态稳定。鸭形结构本质上是把支撑多边形做大、把质心高度做低让这个稳定条件更容易满足。而强化学习策略在训练时也不需要显式去算ZMP它只需要通过大量试错学会不要把重心移出脚掌范围。1.2 硬件选型与结构实现硬件清单并不豪华全是常见件模块型号参考关键参数作用主控ESP32-S3240MHz双核支持TFLite Micro传感器采集、策略推理、舵机控制舵机SG90 / ES08MA II9g扭矩约1.3kg·cm速度约0.1s/60°驱动髋关节和膝关节IMUMPU6050 / ICM426886轴采样最高1kHz获取身体姿态和角速度结构PLA 3D打印层高0.2mm零件壁厚约1.2mm机身、大腿、小腿、脚掌电池2S 300mAh锂电7.4V带降压到5V舵机与主控供电舵机驱动PCA9685或直接PWM16通道控制4个舵机节省主控定时器每条腿的髋关节负责大腿在矢状面的前摆后摆膝关节负责小腿屈伸。脚掌不设置主动踝关节做成一个固定的平板形状表面贴防滑硅胶条。这样的自由度配置足够走出鸭子摇摆步态同时把控制维度降到4维强化学习搜索空间很小训练效率高。结构上有几个值得注意的细节。第一机身的重心尽量靠后下方。鸭子走路的姿态天然有点后仰重心靠后能配合宽脚掌形成稳定的静平衡。第二大腿和小腿的比例要避免极端值否则步态会显得生硬训练时也容易出现膝关节撞击极限位置。第三舵机安装时用铝合金舵机臂塑料舵机臂在反复冲击下容易滑牙。3D打印件的公差控制是微型机器人最容易被低估的环节。如果关节孔和轴承配合太松舵机输出杆上会有旷量反馈回来的关节角度在实机上和仿真里存在系统性偏差后期迁移会很痛苦。我会在打印后用游标卡尺抽检关键配合尺寸必要时处理干涉位置。1.3 传统控制的掣肘与强化学习切入点如果只靠传统控制方法这个项目会卡在建模这一关。经典的ZMP双足控制需要精确的动力学模型还需要足底力传感器来实时估计ZMP位置。微型机器人根本装不下像样的力传感器舵机的滞回和死区也让理论模型和实际响应差距悬殊。另一个常用方案是CPG中枢模式发生器通过一组非线性振荡器生成节律性的关节轨迹。CPG在仿生机器人上确实有效果但参数多、调参靠经验而且为鸭子摇摆步态设计合理的CPG拓扑本身就不容易。强化学习的思路完全不同我不需要手写步态轨迹也不需要精确的动力学模型只需要在仿真环境中定义好状态、动作和奖励让策略网络通过大量交互自己探索出能走的步态。可以理解为传统控制是先列公式再按公式走路而强化学习是让机器人自己在房间里摔上一万次然后学会走路。对微型低成本平台来说后者往往才是工程上真正可行的路线。2. 强化学习训练架构从仿真环境到策略网络的完整链路2.1 仿真器选型为什么最终锁定MuJoCo我对比过三个主流仿真器直接说结论仿真器优势劣势适用场景MuJoCo接触求解稳定MJCF格式简洁速度快需要写环境wrapper足式机器人策略训练PyBulletPython API友好URDF加载简单接触稳定性一般大规模并行较弱快速验证、教学Isaac GymGPU并行数千环境同训依赖NVIDIA生态环境配置复杂大规模参数量训练最终选了MuJoCo。自由度少的小型机器人其实不依赖大规模并行Isaac Gym的优势很难发挥反而要把大量精力耗在集群配置上。而MuJoCo在足式机器人领域的接触求解积累很深仿真出来的摩擦、接触反力相对接近真实对sim-to-real迁移有好处。即使如此我还是用Gymnasium接口写了环境封装把MuJoCo封装成标准的gym环境。这样训练代码完全和仿真器解耦将来想换PyBullet或者Isaac Gym做对比实验只需要换一个环境类。2.2 状态空间、动作空间与观测噪声设计状态空间的设计直接决定了策略能学到什么程度。我使用的是系统的部分可观测状态具体维度如下机体姿态角roll和pitch来自IMU2维机体角速度wx和wy来自IMU陀螺仪2维四个关节的角度髋关节左/右、膝关节左/右4维四个关节的角速度4维上一时刻的动作4个关节的目标角度4维合计16维观测。加上上一时刻动作是强化学习运动控制里很常见的技巧相当于给策略一个记忆让它知道当前动作是从哪个状态出发的能有效抑制高频抖动。动作空间是4维连续空间每个维度对应一个关节的目标位置。这里有一个关键选择动作输出的是目标角度而不是力矩。原因是微型舵机本身就是位置伺服装置内部已经有一个PID环在跟踪目标角。仿真里我把舵机建模成二阶阻尼系统而不是理想力矩源这样策略在仿真里学到的发出目标角的模式和实机上的控制方式完全一致迁移时不需要额外转换。观测噪声是必须加的。IMU的姿态解算在高频振动下会有明显噪声关节编码器舵机反馈在负载下有轻微抖动。仿真的每个观测都要叠加高斯噪声噪声量级按照实机硬件实测的方差来标定。前期直接无噪声训练出来的策略放到实机上几乎必摔原因就是仿真里策略过度信任了这个理论上完美的观测。2.3 开源训练框架的组合方案训练框架我用的是gymnasium环境 PPO算法。算法实现上先后试过Stable-Baselines3和自研PPO最终保留自研版本并开源。这里说下原因。Stable-Baselines3的PPO实现质量高、文档丰富适合快速验证想法。但它在足式机器人场景下有一个明显短板rollout的并行度受到Python多进程开销的限制采集经验的速度上不去。我训练一个策略动辄几百万步累计时间成本差异还是很明显的。自研PPO的思路是在MuJoCo环境上做多进程rollout采集再用PyTorch在GPU上做策略更新。MuJoCo本身是C求解器单个环境仿真速度快配合8到16个并行环境每秒能采集的经验数量比SB3默认实现高出不少。这个架构并不复杂核心就是经典PPO三件套GAE计算优势、带clip的surrogate损失、经验回放池。配置文件统一用YAML来管理。所有超参数、奖励权重、域随机化开关都写在config文件里训练脚本只要读配置就能复现实验。这是后面能快速迭代的基础也让我开源之后其他人可以轻松改参实验。3. 奖励函数设计与算法调参的实战记录3.1 奖励塑形从乱跑到往前走奖励函数是足式机器人强化学习里最烧时间的部分。说它是艺术都不过分因为一个公式的系数改0.5倍训练出来的步态可能就是正常走和原地抽搐的区别。初始失败模式上我先后遇到过三种第一种原地抖动。我只加了前进速度奖励策略很快发现站在原地高频抖动身体也能在统计上产生正向的前进速度积分于是它就学会了抖动而不是走路。解决办法是在奖励里加入对动作幅度的惩罚以及在episode中检测机体实际位移增量位移过小直接结束。第二种倒着走。前进速度奖励的方向定义在机体坐标系下策略发现后退同样能获得速度奖励。解决办法是把参考方向改成世界坐标系下的目标方向并加入朝向奖励凡是偏离目标方向的运动都会被惩罚。第三种摔倒后直接躺平。早期我把摔倒的惩罚设得很高策略发现保持倒地可以获得比尝试走路更高的期望回报于是它就彻底躺平。这本质上是奖励尺度失衡后来把摔倒惩罚降下来同时在episode重置策略上做了调整训练才恢复正常。最终采用的分项奖励结构如下奖励项公式思路作用前进速度机体系x方向速度的线性奖励驱动往前走方向保持机体朝向与目标方向的夹角余弦防止走偏和倒走姿态稳定惩罚roll和pitch偏离零位防止左右晃和前后栽能量消耗惩罚动作二次方之和抑制无效抖动动作平滑惩罚相邻步动作差减少舵机高频摆动存活奖励每存活一步获得小奖励鼓励长时间稳定行走动作平滑项的引入对实机迁移非常重要。微型舵机的寿命和发热量直接和动作抖动频率相关一个在仿真里表现完美、每秒抖20次的策略在实机上跑不了一分钟就会烧舵机。用相邻动作差的平方做惩罚能有效抑制抖动策略会倾向于输出平滑的步态轨迹。3.2 PPO超参调优记录说几个我实际踩过的PPO超参数学习率是第一个要检查的项。我一开始用3e-4训练曲线在几百万步之后缓慢上升但收敛速度很慢。调到1e-3之后前期学习速度明显提升但因为策略网络较小学习率过高时偶发不稳定。最后用网格搜索在5e-4和8e-4之间选了稳定值。rollout长度n_steps决定了每次策略更新前采集多少经验。对步态任务我发现n_steps取1024到2048比较合适。太短的时候优势估计偏差大训练不稳定太长则单次更新延迟高策略迭代变慢。clip系数0.2是PPO的默认值基本不需要动。值得注意的反而是batch size64到256之间对这个规模的策略网络影响较小真正影响大的是价值网络是否做了normalization。我在自研实现里对价值和观测都做running normalization训练稳定性提升显著。网络结构用的是MLP三层配置[256, 128, 64]。对于16维观测、4维动作的小规模策略这个容量绰绰有余。用更大的网络没有带来明显收益反而增加了部署到ESP32上的推理耗时。3.3 训练曲线解读什么才算真学会了训练曲线的解读很容易误判我一开始也吃过亏。只看episodic reward上升就以为策略在变好实际上并存的情况很多。正确做法是同时看三张图总回报、episode长度、前进速度误差。如果总回报在涨但episode长度基本没变说明策略只是在原地状态下多活了几步并没有真正学会前进。真正学会走路的标志是episode长度稳定增长不摔了前进速度维持在目标区间奖励曲线进入平台期。还有一个容易被忽略的指标策略的动作熵。动作熵降得过快说明策略过早收敛到某个局部最优典型表现就是学会了某种奇怪的、有风险的步态。动作熵保持缓慢下降才是健康的探索节奏。训练到大约500万步时策略基本收敛到一个稳定状态机器人能以约0.15到0.2米/秒的速度匀速前进的姿态控制在正负5度以内步态频率和鸭子的自然摇摆频率接近。4. 开源代码架构逐层拆解4.1 仓库目录结构与模块职责开源仓库的目录结构是按训练、部署、资源三个方向拆开的我刻意避免把代码堆成一坨每个模块只干一件事。目录/文件职责envs/仿真环境封装定义状态、动作、奖励和观测噪声agents/训练算法实现包括PPO、GAE、经验回放nets/策略网络结构定义configs/训练超参、奖励权重、域随机化配置assets/机器人的MJCF/URDF模型文件scripts/训练、评估、模型导出脚本deploy/实机部署代码包括传感器读取和策略推理train.py训练入口README.md项目说明、复现步骤assets目录里的MJCF模型是开源项目的基石。别人拿到仓库第一件事应该是能在MuJoCo里把这个鸭子模型加载起来看到它站着然后开始随机抖动。如果模型文件缺零件或者力矩方向定义错误后面所有实验都会跑偏。4.2 训练入口与配置体系config文件是核心一个典型的config.yaml结构就像这样env: model_path: assets/duck_robot.xml max_episode_steps: 1000 obs_noise_std: 0.02 action_noise_std: 0.01 policy: hidden_sizes: [256, 128, 64] activation: elu train: algorithm: PPO learning_rate: 5.0e-4 n_steps: 2048 batch_size: 256 gamma: 0.99 gae_lambda: 0.95 clip_coef: 0.2 reward: weight_forward: 1.2 weight_heading: 0.6 weight_pose: 0.3 weight_energy: 0.05 weight_smoothness: 0.1 domain_randomization: mass_range: [0.8, 1.2] friction_range: [0.2, 1.0] control_delay_steps: 2train.py的逻辑其实很短读取配置、创建环境和策略网络、进入PPO主循环、定期保存checkpoint和评估策略。全部流程加起来不到两百行核心训练循环就是经典的采集、计算GAE、更新策略三步。我刻意把算法实现写得比SB3更透明方便学习者逐行理解PPO在干什么。仓库里在agents/ppo.py中标注了每个张量从哪来到哪去方便按图索骥。4.3 模型导出与实机推理接口训练完成后策略网络会导出成轻量格式我选择的路径是PyTorch导出ONNX再转成TFLite量化模型最终部署到ESP32-S3上跑TFLite Micro推理。导出脚本的核心逻辑是dummy_obs torch.zeros(1, obs_dim) torch.onnx.export(policy, dummy_obs, duck_policy.onnx, input_names[obs], output_names[action])导出的模型输入16维观测输出4维动作整个网络参数量大约3万左右量化成int8之后占用Flash不到50KB在ESP32上的前向推理耗时大约5到10毫秒。这个开销对50Hz控制循环完全够用。deploy目录里是另一套轻量级代码不依赖PyTorch。它负责IMU数据读取、关节反馈采集从舵机PWM反馈或角度传感器读取、策略推理、PWM舵机控制输出。推理频率在实机上设置为50Hz比仿真的100Hz低这是sim-to-real迁移里非常重要的一个调整后面会详细讲。5. 仿真到实机的迁移域随机化与实机踩坑5.1 为什么微型足式机器人是sim-to-real的硬骨头仿真和实机的差距从来不是单一维度的微型低成本机器人把这个差距放到了最大。第一是执行器延迟。仿真里的舵机模型响应几乎是瞬时的就算加了一阶惯性环节也和实机舵机的真实延迟链有差别。实机舵机从收到目标角到真正到位里面有通信帧、内部PID计算、电机响应、齿轮传动的延迟整体算下来可能有100到200毫秒。控制频率50Hz的情况下相当于两三个控制周期都还没到位。第二是传感器噪声和漂移。MPU6050的加速度计在振动环境下噪声明显姿态解算出来的roll和pitch在快速运动时会短时跳变。陀螺仪的yaw方向积分漂移特别严重所以我根本没把yaw放进观测空间只依赖roll和pitch。第三是结构弹性。3D打印的PLA零件刚度其实不算差但关节连接处的间隙和塑料柔韧性会让机器人在运动时产生额外振动。这个振动频率和步态频率接近时会发生结构共振实机上的表现就是走着走着突然剧烈摆动。最后是摩擦和地面参数。仿真里没做精细的地面建模而实机上不同材质地板木地板、瓷砖、地毯的摩擦系数差异极大。只在一个摩擦系数下训练出来的策略换个地板可能直接就摔了。5.2 域随机化参数我实际怎么设置域随机化是应对上述差距的最实用手段做法是在每次训练episode开始时随机采样一组环境参数让策略学会适应一个参数分布区间而不是一组固定值。我实际设置的随机化范围参数随机范围对应实机什么情况机身质量0.8x 到 1.2x电池电量、打印件壁厚差异各连杆质心偏移每个方向正负5mm3D打印内部填充不均匀脚掌摩擦系数0.2 到 1.0地板材质变化执行器延迟0到3个控制周期舵机响应差异和通讯延迟执行器噪声目标角叠加正负2度舵机死区和非线性IMU噪声标准差的0.8到1.5倍不同IMU个体差异执行器延迟的随机化是迁移效果提升最大的一个改动。训练中随机让目标角延迟零到三个周期才生效策略会主动学习预判和少依赖即时反馈来处理延迟实机延迟反而不容易击垮它。代价是训练收敛变慢需要多训练大概两百万步才能达到同样的水平。5.3 实机部署的几个大坑实机部署阶段踩过的坑值得单独列出来。第一个坑是舵机过热和堵转。强化学习策略在探索初期会输出大量高频大幅度动作在实机上如果直接跑未充分训练的策略舵机会在一个很陡的角度之间来回硬掰几十秒就烫手。解决办法是在部署时加入动作平滑滤波和角度限幅不用担心滤波破坏了策略学到的步态因为训练时本身就有动作平滑奖励合理范围内的滤波反而保留了策略意图的同时减少舵机负担。第二个坑是电池电压跌落。2S锂电池在放电末端电压从8.4V降到7V附近舵机输出扭矩明显下降同一个策略在满电时走得挺好低电时就会摔倒。我的处理方法是训练时把可用扭矩也作为一个随机化参数让策略学会在稍微没劲的情况下也能维持步态。同时在实机上用电量检测做策略切换的逻辑电量低于阈值就降低目标速度。第三个坑是结构共振。3D打印件的固有频率主要集中在10到20Hz区间而鸭形步态频率大概在1到2Hz低频主步态倒不共振。真正的共振发生在舵机PWM刷新频率5到10Hz的谐波上表现为机身有轻微的高频抖动。后来我把舵机的PWM刷新率固定到50Hz以上并把策略输出频率与其对齐振动明显缓解。第四个坑是接线对IMU的干扰。舵机是大电流设备舵机电源线靠近I2C总线时IMU数据会出现大量毛刺。我用双绞线接I2C并离舵机线至少3厘米干扰大幅下降。这个坑在微型机器人的紧凑结构里特别容易踩走线布局要在结构设计时就考虑好。第五个坑是零位标定。每个舵机的零位输出角都有细微差异同一套安装角度下左腿和右腿的初始姿态未必完全对称。如果在仿真里没有考虑这个不对称实机跑出来的步态就会明显向一侧偏。我的做法是每次上电做一次关节零位校准同时把左右腿不对称的随机扰动加进仿真里的默认姿态让策略不那么敏感于微小的初始偏差。最后再分享一点我在这个项目上沉淀下来的体会实机迁移成功的关键往往不在算法多先进而在动手调参之前是否诚实地把仿真环境建模得足够丑——噪声该加就加、延迟该有就有、摩擦力该变就变。一个在理想仿真环境里练出来的精装策略放到廉价硬件上往往脆弱得不堪一击而一个在脏乱差仿真环境里滚打出来的鲁棒策略反而能平稳地走出鸭子步。训练时多花点耐心做域随机化和观测噪声远比在实机上反复试错改策略要高效。我的习惯是每次训练之前在config里把随机化范围调大5%然后观察策略是否还能保持稳定输出这一步做扎实了后续部署基本就是水到渠成的事。