机器人强化学习深度学习具身智能人工智能计算机视觉【免费下载链接】toddlerbot项目地址https://gitcode.com/gh_mirrors/to/toddlerbot点击查看免费下载ToddlerBot是一个低成本、开源的人形机器人平台而其最新的Locomotion Beyond Feet脚步之外的运动多技能全身运动系统让机器人不再只靠走路穿越环境——它可以根据自眼前看到的深度信息自主判断前方障碍切换爬行、攀爬、下蹲、上台阶等全身技能。本文带你完整走完从创建参考动作、训练策略、收集深度数据、训练技能分类器到最终自主穿越障碍的 4 步流程。一、系统全景从走路到全身运动传统双足机器人遇到台阶或高台只能绕路。ToddlerBot 的多技能全身运动系统思路很直接为每种技能创建参考动作如爬楼梯、翻越箱子为每种技能训练独立的强化学习RL策略收集 RGB-D 深度数据并训练技能分类器让机器人看懂前方场景多策略协同运行由分类器实时决定机器人此刻该执行哪种技能。仓库中的 toddlerbot/locomotion/ 目录包含了各技能的环境定义与训练配置例如walk_env.py、crawl_full_env.py、climb_up_box_env.py等与toddlerbot/policies/中对应的部署脚本一一对应。二、第 1 步用 Keyframe 编辑器创建参考动作每个技能都需要一段参考动作作为模仿学习的示范。官方推荐配合 Keyframe Approbot_keyframe_kit使用在浏览器中拖动关节滑杆、逐帧摆出姿势一键导出.lz4动作文件。仓库已内置 motion/ 目录下大量精调好的动作如 push_up_2xc.lz4、climb_up_box_2xc.lz4、crawl_full_2xc.lz4可直接用回放脚本在 MuJoCo 中查看python toddlerbot/policies/run_policy.py --policy replay --path motion/push_up_2xc.lz4 --vis view参考动作的解析逻辑集中在 toddlerbot/reference/motion_ref.py。三、第 2 步为每个技能训练 RL 策略训练脚本是 toddlerbot/locomotion/train_mjx.py支持 JAX 与 PyTorch 后端通过--gin-file指定技能配置。以训练上楼梯技能为例python toddlerbot/locomotion/train_mjx.py --gin-file crawl_up_stairs --env crawl_up_stairs每个技能对应一个 gin 配置文件如crawl_up_stairs.gin训练出的策略 checkpoint 会在后续步骤中被多策略系统加载。小贴士调试新策略前建议先按安全支架的说明给机器人加一个物理支撑防止跌倒损坏四、第 3 步收集深度数据并训练技能分类器这是自主的关键——机器人需要学会看深度图识别场景类型。整个数据管线分三步全部位于 toddlerbot/skill_classifier/ 目录① 真机采集 RGB 立体图像运行 collect_real_world_skill_data.py按提示选择技能标签按空格键开始/暂停录制用数字键实时切换技能类别ESC 退出并保存摘要。python toddlerbot/skill_classifier/data/collect_real_world_skill_data.py② 离线生成深度图用 Foundation Stereo 对采集的立体图批量估计深度python toddlerbot/skill_classifier/data/create_depth_data.py③ 训练分类器训练脚本 train.py 使用 ResNet34 分类网络配置见 toddlerbot/skill_classifier/config.py。注意官方建议的数据集规模全部技能合计10,000 张深度图每个技能类别至少1,000 张才能保证可靠训练。python toddlerbot/skill_classifier/training/train.py data_dir系统内置的 9 个技能类别见 config.py覆盖平地行走walk、下椅子get_down_chair、椅子爬行crawl_chair、上椅子get_up_chair、攀墙climb_wall、上箱climb_up_box、箱上爬行crawl_box、箱上转身rotate_box、上台阶crawl_up_stairs。五、第 4 步启动完整系统自主穿越障碍一切就绪后需要两个进程协同工作进程 A深度估计服务器run_foundation_stereo.py 负责实时运行 Foundation Stereo 深度估计并通过 ZMQ 以非阻塞方式发布深度帧供控制循环消费默认端口 5555python toddlerbot/skill_classifier/run_foundation_stereo.py进程 B多技能运动主程序在 run_multiple_policy.py 的POLICY_CONFIGS中为每个技能指定训练好的 checkpoint 路径然后启动python toddlerbot/policies/run_multiple_policy.py --skill-classifier classifier_checkpoint系统启动后自动执行站立稳定之后深度估计持续送入 SkillMapper 进行技能分类——它带 3 帧历史平滑与 0.7 置信度阈值低置信度时回退到安全技能默认 walk避免误切换。机器人据此自动完成走到高台→下蹲→爬上→爬过的连贯穿越。六、目录速查与延伸阅读模块路径说明运动训练toddlerbot/locomotion/各技能环境定义与 RL 训练策略部署toddlerbot/policies/真机/仿真运行脚本技能分类器toddlerbot/skill_classifier/数据采集、训练、推理深度估计toddlerbot/depth/Foundation Stereo 深度模型参考动作toddlerbot/reference/各技能参考动作解析内置动作库motion/56 段键帧动画.lz4动作画廊docs/_static/motion_gallery/motions.json动作分类与元信息软件安装详见 docs/software/01_setup.rst键帧编辑器用法参考 keyframe_kit_usage.md版本更新历史见 CHANGELOG.md。至此你已经掌握了 ToddlerBot 多技能全身运动系统从数据收集到自主穿越障碍的完整链路——下一步不妨从回放motion/里的动作开始亲眼看看这个会爬会攀的开源小机器人。赞分享机器人强化学习深度学习具身智能人工智能计算机视觉【免费下载链接】toddlerbot项目地址https://gitcode.com/gh_mirrors/to/toddlerbot点击查看免费下载相关推荐终极身份管理系统自托管指南从依赖第三方到数据自主掌控的完整教程终极身份管理系统自托管指南从依赖第三方到数据自主掌控的完整教程 自托管Self hosting是指在自己的服务器上托管和管理应用程序而非依赖SaaS服务文档知识库为什么选择MagicMirror对比其他AI换脸工具的5大优势为什么选择MagicMirror对比其他AI换脸工具的5大优势 在当今AI技术飞速发展的时代AI换脸工具如雨后春笋般涌现。然而面对众多选择MagicMi人工智能AI 应用计算机视觉桌面应用本地部署MarkItDown 工具实战一条命令把 PDF 和办公文档转成 MarkdownMarkItDown 工具实战一条命令把 PDF 和办公文档转成 Markdown markitdown 是一个 Python 命令行工具把 PDF、WorAI 应用数据工程MCP 服务CLI上一篇Material Maker 的 Beehive 节点用六边形网格图案快速搭建蜂巢与彩色砖墙材质下一篇KServe Scikit-Learn Server 实战指南本地开发、模型加载与 InferenceService 部署创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/27 10:14:37 · 阅读 1.2k ToddlerBot多技能全身运动系统：Locomotion Beyond Feet从数据收集到自主穿越障碍的完整指南
机器人强化学习深度学习具身智能人工智能计算机视觉【免费下载链接】toddlerbot项目地址https://gitcode.com/gh_mirrors/to/toddlerbot点击查看免费下载ToddlerBot是一个低成本、开源的人形机器人平台而其最新的Locomotion Beyond Feet脚步之外的运动多技能全身运动系统让机器人不再只靠走路穿越环境——它可以根据自眼前看到的深度信息自主判断前方障碍切换爬行、攀爬、下蹲、上台阶等全身技能。本文带你完整走完从创建参考动作、训练策略、收集深度数据、训练技能分类器到最终自主穿越障碍的 4 步流程。一、系统全景从走路到全身运动传统双足机器人遇到台阶或高台只能绕路。ToddlerBot 的多技能全身运动系统思路很直接为每种技能创建参考动作如爬楼梯、翻越箱子为每种技能训练独立的强化学习RL策略收集 RGB-D 深度数据并训练技能分类器让机器人看懂前方场景多策略协同运行由分类器实时决定机器人此刻该执行哪种技能。仓库中的 toddlerbot/locomotion/ 目录包含了各技能的环境定义与训练配置例如walk_env.py、crawl_full_env.py、climb_up_box_env.py等与toddlerbot/policies/中对应的部署脚本一一对应。二、第 1 步用 Keyframe 编辑器创建参考动作每个技能都需要一段参考动作作为模仿学习的示范。官方推荐配合 Keyframe Approbot_keyframe_kit使用在浏览器中拖动关节滑杆、逐帧摆出姿势一键导出.lz4动作文件。仓库已内置 motion/ 目录下大量精调好的动作如 push_up_2xc.lz4、climb_up_box_2xc.lz4、crawl_full_2xc.lz4可直接用回放脚本在 MuJoCo 中查看python toddlerbot/policies/run_policy.py --policy replay --path motion/push_up_2xc.lz4 --vis view参考动作的解析逻辑集中在 toddlerbot/reference/motion_ref.py。三、第 2 步为每个技能训练 RL 策略训练脚本是 toddlerbot/locomotion/train_mjx.py支持 JAX 与 PyTorch 后端通过--gin-file指定技能配置。以训练上楼梯技能为例python toddlerbot/locomotion/train_mjx.py --gin-file crawl_up_stairs --env crawl_up_stairs每个技能对应一个 gin 配置文件如crawl_up_stairs.gin训练出的策略 checkpoint 会在后续步骤中被多策略系统加载。小贴士调试新策略前建议先按安全支架的说明给机器人加一个物理支撑防止跌倒损坏四、第 3 步收集深度数据并训练技能分类器这是自主的关键——机器人需要学会看深度图识别场景类型。整个数据管线分三步全部位于 toddlerbot/skill_classifier/ 目录① 真机采集 RGB 立体图像运行 collect_real_world_skill_data.py按提示选择技能标签按空格键开始/暂停录制用数字键实时切换技能类别ESC 退出并保存摘要。python toddlerbot/skill_classifier/data/collect_real_world_skill_data.py② 离线生成深度图用 Foundation Stereo 对采集的立体图批量估计深度python toddlerbot/skill_classifier/data/create_depth_data.py③ 训练分类器训练脚本 train.py 使用 ResNet34 分类网络配置见 toddlerbot/skill_classifier/config.py。注意官方建议的数据集规模全部技能合计10,000 张深度图每个技能类别至少1,000 张才能保证可靠训练。python toddlerbot/skill_classifier/training/train.py data_dir系统内置的 9 个技能类别见 config.py覆盖平地行走walk、下椅子get_down_chair、椅子爬行crawl_chair、上椅子get_up_chair、攀墙climb_wall、上箱climb_up_box、箱上爬行crawl_box、箱上转身rotate_box、上台阶crawl_up_stairs。五、第 4 步启动完整系统自主穿越障碍一切就绪后需要两个进程协同工作进程 A深度估计服务器run_foundation_stereo.py 负责实时运行 Foundation Stereo 深度估计并通过 ZMQ 以非阻塞方式发布深度帧供控制循环消费默认端口 5555python toddlerbot/skill_classifier/run_foundation_stereo.py进程 B多技能运动主程序在 run_multiple_policy.py 的POLICY_CONFIGS中为每个技能指定训练好的 checkpoint 路径然后启动python toddlerbot/policies/run_multiple_policy.py --skill-classifier classifier_checkpoint系统启动后自动执行站立稳定之后深度估计持续送入 SkillMapper 进行技能分类——它带 3 帧历史平滑与 0.7 置信度阈值低置信度时回退到安全技能默认 walk避免误切换。机器人据此自动完成走到高台→下蹲→爬上→爬过的连贯穿越。六、目录速查与延伸阅读模块路径说明运动训练toddlerbot/locomotion/各技能环境定义与 RL 训练策略部署toddlerbot/policies/真机/仿真运行脚本技能分类器toddlerbot/skill_classifier/数据采集、训练、推理深度估计toddlerbot/depth/Foundation Stereo 深度模型参考动作toddlerbot/reference/各技能参考动作解析内置动作库motion/56 段键帧动画.lz4动作画廊docs/_static/motion_gallery/motions.json动作分类与元信息软件安装详见 docs/software/01_setup.rst键帧编辑器用法参考 keyframe_kit_usage.md版本更新历史见 CHANGELOG.md。至此你已经掌握了 ToddlerBot 多技能全身运动系统从数据收集到自主穿越障碍的完整链路——下一步不妨从回放motion/里的动作开始亲眼看看这个会爬会攀的开源小机器人。赞分享机器人强化学习深度学习具身智能人工智能计算机视觉【免费下载链接】toddlerbot项目地址https://gitcode.com/gh_mirrors/to/toddlerbot点击查看免费下载相关推荐终极身份管理系统自托管指南从依赖第三方到数据自主掌控的完整教程终极身份管理系统自托管指南从依赖第三方到数据自主掌控的完整教程 自托管Self hosting是指在自己的服务器上托管和管理应用程序而非依赖SaaS服务文档知识库为什么选择MagicMirror对比其他AI换脸工具的5大优势为什么选择MagicMirror对比其他AI换脸工具的5大优势 在当今AI技术飞速发展的时代AI换脸工具如雨后春笋般涌现。然而面对众多选择MagicMi人工智能AI 应用计算机视觉桌面应用本地部署MarkItDown 工具实战一条命令把 PDF 和办公文档转成 MarkdownMarkItDown 工具实战一条命令把 PDF 和办公文档转成 Markdown markitdown 是一个 Python 命令行工具把 PDF、WorAI 应用数据工程MCP 服务CLI上一篇Material Maker 的 Beehive 节点用六边形网格图案快速搭建蜂巢与彩色砖墙材质下一篇KServe Scikit-Learn Server 实战指南本地开发、模型加载与 InferenceService 部署创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考