在实际机器人运动控制项目中单纯依靠传统控制理论如PID去应对复杂地形和动态扰动往往需要大量专家经验和繁琐的参数整定。强化学习Reinforcement Learning, RL提供了一种数据驱动的替代方案让机器人通过与环境的交互“学习”如何行走、奔跑甚至跳跃。然而从理论到实践第一步也是最关键的一步就是搭建一个稳定、可复现的仿真环境。legged_gym与rsl_rl的组合正是当前四足机器人强化学习领域一个非常流行且高效的仿真训练框架栈。legged_gym基于 NVIDIA Isaac Gym 的高性能物理仿真能力专注于四足机器人的仿真环境构建而rsl_rl则是一个轻量、模块化的强化学习算法库提供了PPO等算法的实现。两者结合可以让你在个人工作站甚至高性能服务器上相对高效地训练出能应对复杂地形的四足机器人控制策略。本文的目标读者是具备一定 Python 和 PyTorch 基础希望进入机器人强化学习领域的开发者或研究者。我们将从零开始完成legged_gym和rsl_rl环境的完整配置并运行一个基础训练示例让你能够亲手启动第一个四足机器人的“学习”过程理解从环境安装、依赖解决到启动训练的全链路。1. 理解环境栈legged_gym 与 rsl_rl 的角色与依赖在开始敲命令之前必须厘清几个核心组件的关系和它们对系统环境的要求。盲目安装是环境配置失败的主要原因。1.1 核心组件分工NVIDIA Isaac Gym 底层物理仿真引擎。它不是一个普通的 Python 包而是一个需要独立安装、提供高性能 GPU 加速物理仿真的 SDK。legged_gym严重依赖它。legged_gym 机器人仿真环境层。它基于 Isaac Gym 封装了四足机器人如 ANYmal, Aliengo的模型、传感器IMU, 关节编码器、地形以及奖励函数Reward Function等为强化学习智能体提供了一个标准的“健身房”Gym。rsl_rl 强化学习算法层。它实现了 PPO、SAC 等算法负责从legged_gym接收观测Observation输出动作Action并根据环境返回的奖励Reward和终止信号Done来更新策略网络Policy Network。PyTorch 深度学习框架。rsl_rl和legged_gym中的神经网络均基于 PyTorch 构建。它们的关系可以概括为PyTorch 提供计算基础 - Isaac Gym 提供物理仿真 - legged_gym 提供机器人环境 - rsl_rl 提供学习算法。任何一个环节的版本不匹配或安装错误都会导致后续步骤失败。1.2 环境要求与前置确认根据官方文档和社区实践以下是成功配置的关键前提操作系统Ubuntu 20.04 或 22.04。这是 Isaac Gym 官方支持的系统在其他 Linux 发行版或 Windows 上配置难度极大不推荐初学者尝试。显卡必须配备 NVIDIA GPU且需要支持 CUDA。Isaac Gym 重度依赖 GPU 进行并行仿真。请通过nvidia-smi命令确认显卡驱动已安装。CUDA 版本 这是最容易出错的环节。Isaac Gym 预编译版本通常绑定特定 CUDA 版本。对于当前以常见情况为例的安装你需要CUDA 11.3 或 11.6。请使用nvcc --version或cat /usr/local/cuda/version.txt查看当前 CUDA 版本。如果版本不符需要先安装或切换 CUDA。Python 版本Python 3.8是最兼容的选择。更高版本如 3.10可能导致某些依赖包无法安装。在继续之前请打开终端逐一执行以下命令进行确认# 1. 确认系统版本 lsb_release -a # 2. 确认显卡和驱动 nvidia-smi # 3. 确认 CUDA 版本如果已安装 nvcc --version 2/dev/null || echo “CUDA nvcc 未找到请检查 CUDA 安装” # 4. 确认 Python 版本 python3 --version如果 CUDA 版本不符合要求你需要先处理 CUDA 环境。这通常涉及安装特定版本的 CUDA Toolkit 并正确设置环境变量PATH和LD_LIBRARY_PATH。由于 CUDA 安装本身是一个复杂话题本文假设你已具备正确的 CUDA 环境。2. 逐步安装从底层仿真到上层算法安装顺序必须严格遵守CUDA - Isaac Gym - PyTorch - legged_gym - rsl_rl。我们将在一个干净的 Python 虚拟环境中进行这是管理项目依赖的最佳实践。2.1 步骤一创建并激活虚拟环境使用conda或venv创建独立环境。这里以conda为例。# 创建名为 legged_rl 的 Python 3.8 环境 conda create -n legged_rl python3.8 -y conda activate legged_rl激活后你的终端提示符前应出现(legged_rl)。2.2 步骤二安装 PyTorch根据你的 CUDA 版本例如 11.3从 PyTorch 官网获取对应的安装命令。在虚拟环境中执行# 以 CUDA 11.3 为例 pip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113安装后验证python -c “import torch; print(torch.__version__); print(torch.cuda.is_available())”应输出 PyTorch 版本和True。如果显示False说明 PyTorch 未能识别你的 CUDA需要检查 CUDA 和 PyTorch 版本的匹配性。2.3 步骤三安装 NVIDIA Isaac Gym这是最关键且最容易出错的一步。下载 访问 NVIDIA Isaac Gym 的官方下载页面需要注册 NVIDIA 开发者账号下载适用于你系统Linux的预压缩包例如IsaacGym_Preview_4_Package.tar.gz。注意下载的版本其依赖的 CUDA 和 PyTorch 版本在文档中有说明。解压 将其解压到你希望放置的目录例如~/workspace/。cd ~/workspace tar -xzf /path/to/IsaacGym_Preview_4_Package.tar.gz安装 Python 依赖 进入解压后的目录安装其要求的 Python 包。cd IsaacGym_Preview_4_Package/python pip install -e .命令中的-e代表“可编辑模式”安装这样你可以修改源码并立即生效。运行测试 官方包内通常包含示例。运行一个简单示例来验证安装是否成功。cd examples python 1080_balls_of_solitude.py如果安装成功你应该能看到一个弹跳小球的图形化仿真窗口。请务必确保此测试通过这是后续所有工作的基础。2.4 步骤四安装 legged_gym克隆仓库cd ~/workspace # 或其他你的工作目录 git clone https://github.com/leggedrobotics/legged_gym.git cd legged_gym安装依赖legged_gym的依赖记录在requirements.txt中。pip install -r requirements.txt这个步骤会安装gym,numpy,wandb等包。设置环境变量 需要让 Python 知道 Isaac Gym 的安装路径。通常通过设置PYTHONPATH实现。更可靠的方法是在你的项目根目录或虚拟环境激活脚本中设置。# 假设 Isaac Gym 解压在 ~/workspace/IsaacGym_Preview_4_Package export ISAACGYM_PATH~/workspace/IsaacGym_Preview_4_Package # 将 Isaac Gym 的 python 目录加入 PYTHONPATH export PYTHONPATH$ISAACGYM_PATH/python:$PYTHONPATH为了方便你可以将这两行命令添加到虚拟环境的激活后脚本$CONDA_PREFIX/etc/conda/activate.d/env_vars.sh或你的~/.bashrc中。2.5 步骤五安装 rsl_rl克隆仓库cd ~/workspace # 与 legged_gym 同级目录 git clone https://github.com/leggedrobotics/rsl_rl.git cd rsl_rl安装依赖 同样使用requirements.txt。pip install -r requirements.txt以可编辑模式安装 这样legged_gym才能正确引用到rsl_rl。pip install -e .至此所有核心组件安装完毕。你的工作目录结构应类似于~/workspace/ ├── IsaacGym_Preview_4_Package/ ├── legged_gym/ └── rsl_rl/3. 运行第一个训练任务验证环境完整性安装完成不代表环境就能工作。最好的验证方式是运行一个最简单的训练任务。legged_gym仓库通常提供了训练脚本和配置文件。3.1 准备配置文件与脚本进入legged_gym目录查看其结构。训练入口通常是scripts/train.py。配置文件位于legged_gym/legged_gym/cfg/目录下定义了机器人参数、环境参数和训练参数。一个最小化的运行方式是使用官方提供的示例命令。你需要根据你的实际路径调整 Isaac Gym 资源路径。cd ~/workspace/legged_gym # 一个典型的训练命令示例参数需要根据你的环境调整 python scripts/train.py --taskanymal_c_flat --num_envs4096 --headless让我们分解这个命令--taskanymal_c_flat: 指定训练任务这里是在平坦地面上训练 ANYmal-C 机器人。--num_envs4096: 指定并行仿真的环境数量这是 Isaac Gym 性能优势的关键数量越大数据收集越快但对 GPU 显存要求越高。初次运行可先设为1024或2048。--headless: 无头模式不启动图形界面节省资源且适合服务器运行。第一次运行时可以去掉此参数以便观察机器人形态。3.2 关键参数解析与调整在运行前你可能需要检查或修改配置文件。最重要的配置文件是任务对应的yaml文件例如legged_gym/legged_gym/cfg/task/anymal_c_flat.yaml。其中几个关键部分# 示例片段非完整文件 env: num_envs: 4096 # 覆盖命令行参数 env_spacing: 2.5 # 环境之间的间距 episode_length_s: 20 # 每个episode的最大时长秒 task: rewards: # 奖励函数组成及权重 - name: “lin_vel_z” weight: -2.0 - name: “ang_vel_xy” weight: -0.05 commands: # 给机器人的命令如期望速度 ranges: lin_vel_x: [-1.0, 1.0] # 期望的前向速度范围 algorithm: # 与 rsl_rl 相关的训练参数 runner: policy_class: “ActorCritic” algorithm_class: “PPO” num_learning_epochs: 5 num_mini_batches: 4对于初次运行建议先修改以下参数以快速验证和降低硬件要求在命令行或配置文件中将num_envs设为1024。将headless设为True或使用--headless标志。将训练总步数max_iterations改小如 100只是为了看能否跑起来。3.3 执行训练与观察输出在legged_gym目录下执行你的训练命令。如果一切配置正确你将看到类似以下的输出Isaac Gym 初始化日志... 创建仿真环境... 初始化策略网络... 开始训练迭代... | Iteration | 1/5000 | Total Timesteps 4096 | Mean Reward -12.34 | Episode Length 15.6 | | Iteration | 2/5000 | Total Timesteps 8192 | Mean Reward -10.56 | Episode Length 16.1 | ...这表示机器人正在开始学习。Mean Reward平均奖励会随着训练从负值因为初始策略是随机动作机器人会摔倒逐渐上升意味着机器人正在学习如何站立和移动。注意第一次运行可能会因为要编译一些 CUDA 内核而耗时较长后续运行会快很多。如果程序卡在“Initializing...”或“Creating simulation...”很久可能是 Isaac Gym 资源路径问题。4. 环境配置常见问题深度排查即使按照步骤操作也极有可能遇到各种错误。下面列出从高频到低频的典型问题及其排查路径。4.1 问题一ImportError: cannot import name ‘...’ from ‘isaacgym’现象 在导入isaacgym或运行训练脚本时出现ImportError提示无法从isaacgym模块中导入某个子模块。可能原因与排查Isaac Gym Python 包未正确安装 确保你在IsaacGym_Preview_4_Package/python目录下执行了pip install -e .并且安装过程没有报错。PYTHONPATH 环境变量未设置或错误 这是最常见的原因。检查echo $PYTHONPATH确认其中包含了IsaacGym_Preview_4_Package/python的绝对路径。必须在运行 Python 脚本的终端会话中提前设置好。虚拟环境未激活 确认终端提示符前有(legged_rl)或使用which python确认 Python 解释器路径在你的虚拟环境内。Isaac Gym 版本与 Python/PyTorch 版本不兼容 回顾步骤 1.2严格检查 Isaac Gym 版本说明对 CUDA 和 PyTorch 的要求。解决方案在运行训练脚本的终端中显式设置环境变量export ISAACGYM_PATH~/workspace/IsaacGym_Preview_4_Package export PYTHONPATH$ISAACGYM_PATH/python:$PYTHONPATH conda activate legged_rl python scripts/train.py ...4.2 问题二CUDA error: no kernel image is available for execution on the device现象 程序启动后在初始化或运行过程中报 CUDA 相关错误。可能原因与排查PyTorch 与 CUDA 版本不匹配 PyTorch 是用特定 CUDA 版本编译的。用python -c “import torch; print(torch.version.cuda)”查看 PyTorch 编译时的 CUDA 版本必须与nvcc --version显示的运行时版本一致。Isaac Gym 预编译二进制与 GPU 架构不兼容 Isaac Gym 预编译包可能不支持你显卡的算力Compute Capability。较新的显卡如 RTX 40系可能遇到此问题。解决方案对于原因1重新安装与本地 CUDA 版本匹配的 PyTorch。对于原因2可能需要从源码编译 Isaac Gym过程复杂或查阅 Isaac Gym 论坛/Issues 看是否有支持新显卡的预览版。4.3 问题三训练启动后卡住无任何输出或报错现象 运行命令后程序打印一两行日志后便长期挂起不报错也不继续。可能原因与排查资源路径问题 Isaac Gym 需要加载资产文件机器人URDF、地形网格等。检查是否设置了ISAACGYM_PATH并且该路径下存在assets等目录。权限问题 某些临时文件或缓存目录无法写入。headless 模式下的显示问题 即使在无头模式下Isaac Gym 也可能需要一些图形库或虚拟显示。可以尝试安装xvfb并运行。xvfb-run -a python scripts/train.py --taskanymal_c_flat --headless解决方案仔细检查ISAACGYM_PATH环境变量确保指向正确的根目录。尝试在非headless模式下运行看是否有图形界面弹出这能帮助判断是否是显示相关问题。4.4 问题四ModuleNotFoundError: No module named ‘rsl_rl’现象 训练脚本运行后提示找不到rsl_rl模块。可能原因与排查rsl_rl 未以可编辑模式安装 在rsl_rl目录中必须执行pip install -e .而不仅仅是pip install .或未安装。虚拟环境不一致 可能你在系统 Python 或其他虚拟环境中安装了rsl_rl但训练脚本运行在legged_rl环境中。解决方案确保在正确的虚拟环境中进入rsl_rl目录重新执行pip install -e .。下表总结了上述常见问题及快速自查点问题现象最可能原因首要检查点解决方向导入 isaacgym 失败PYTHONPATH环境变量错误echo $PYTHONPATHecho $ISAACGYM_PATH正确设置并导出环境变量CUDA kernel 错误PyTorch/CUDA 版本不匹配torch.version.cudavsnvcc --version重装匹配版本的 PyTorch程序卡在初始化Isaac Gym 资源路径不对检查$ISAACGYM_PATH/assets是否存在确保ISAACGYM_PATH指向 Isaac Gym 根目录找不到 rsl_rl 模块rsl_rl 未安装或安装模式不对在虚拟环境中执行 pip listgrep rsl运行报 GLIBCXX 错误GCC 运行时库版本过低strings /usr/lib/x86_64-linux-gnu/libstdc.so.6grep GLIBCXX5. 生产环境考量与最佳实践成功运行示例只是第一步。如果你想进行严肃的研究或项目开发需要关注以下方面。5.1 环境固化与复现研究可复现性至关重要。记录下所有环境的精确版本。使用pip freeze 在虚拟环境中执行pip freeze requirements_lock.txt将生成一个包含所有包及其精确版本的文件。其他人可以通过pip install -r requirements_lock.txt复现完全相同的环境。记录系统信息 保存nvidia-smi,nvcc --version,python --version,conda list的输出。版本控制 将你的代码、配置文件以及上述requirements_lock.txt纳入 Git 管理。5.2 训练配置管理不要直接修改仓库中的默认配置文件。创建自定义配置 复制一份默认的yaml文件如anymal_c_flat.yaml到新文件如my_experiment.yaml在新文件中进行修改。在训练时通过--cfg_path参数指定你的配置文件。python scripts/train.py --taskanymal_c --cfg_path./legged_gym/cfg/task/my_experiment.yaml参数化实验 对于需要系统比较的实验可以编写脚本批量生成和运行不同参数的配置文件。5.3 监控与调试使用 WandBlegged_gym默认集成了 WandBWeights Biases进行实验跟踪。首次使用需要注册并登录。它会自动记录奖励曲线、系统数据等非常方便。日志分级 训练脚本通常有日志级别参数。调试时可以使用更详细的日志如--log_levelDEBUG生产运行时调整为INFO或WARNING。定期保存检查点 确保配置中的save_interval参数已设置定期保存模型快照防止训练中断导致进度丢失。5.4 性能优化调整num_envs 这是影响训练速度的最关键参数。增加它可以提高数据吞吐量但受 GPU 显存限制。使用nvidia-smi监控显存占用逐步增加num_envs直到显存接近用满。使用headless模式 图形渲染会消耗大量资源。在服务器训练时务必使用--headless。优化观测与动作空间 在自定义任务时检查legged_gym中观测obs和动作actions的构建过程移除不必要的维度可以轻微提升性能。5.5 扩展方向环境搭好并能运行后你可以尝试修改奖励函数 在任务配置文件的task.rewards部分调整不同奖励项的权重观察对机器人步态的影响。设计新任务 参考现有任务代码创建新的地形如楼梯、乱石堆或新的命令如转向、后退。集成新算法rsl_rl是模块化的可以尝试实现或集成其他强化学习算法如 SAC, TD3。向真实机器人迁移 了解 Sim-to-Real 的相关技术如域随机化 Domain Randomization这是将仿真中训练的策略部署到真实 ANYmal 等机器人的关键。配置legged_gym和rsl_rl环境是一次对系统依赖管理、版本兼容性和问题排查能力的综合锻炼。成功的关键在于耐心和细致严格按照组件依赖顺序操作并对每一个错误信息进行溯源。当看到虚拟的 ANYmal 机器人从踉跄学步到稳健奔跑时你会觉得这一切都是值得的。接下来你可以深入代码去理解环境如何构建观测、算法如何更新策略从而真正掌握机器人强化学习的核心流程。 
长河君 · 2026/9/1 4:11:21 · 阅读 1.2k 四足机器人强化学习环境搭建：legged_gym与rsl_rl配置全攻略
在实际机器人运动控制项目中单纯依靠传统控制理论如PID去应对复杂地形和动态扰动往往需要大量专家经验和繁琐的参数整定。强化学习Reinforcement Learning, RL提供了一种数据驱动的替代方案让机器人通过与环境的交互“学习”如何行走、奔跑甚至跳跃。然而从理论到实践第一步也是最关键的一步就是搭建一个稳定、可复现的仿真环境。legged_gym与rsl_rl的组合正是当前四足机器人强化学习领域一个非常流行且高效的仿真训练框架栈。legged_gym基于 NVIDIA Isaac Gym 的高性能物理仿真能力专注于四足机器人的仿真环境构建而rsl_rl则是一个轻量、模块化的强化学习算法库提供了PPO等算法的实现。两者结合可以让你在个人工作站甚至高性能服务器上相对高效地训练出能应对复杂地形的四足机器人控制策略。本文的目标读者是具备一定 Python 和 PyTorch 基础希望进入机器人强化学习领域的开发者或研究者。我们将从零开始完成legged_gym和rsl_rl环境的完整配置并运行一个基础训练示例让你能够亲手启动第一个四足机器人的“学习”过程理解从环境安装、依赖解决到启动训练的全链路。1. 理解环境栈legged_gym 与 rsl_rl 的角色与依赖在开始敲命令之前必须厘清几个核心组件的关系和它们对系统环境的要求。盲目安装是环境配置失败的主要原因。1.1 核心组件分工NVIDIA Isaac Gym 底层物理仿真引擎。它不是一个普通的 Python 包而是一个需要独立安装、提供高性能 GPU 加速物理仿真的 SDK。legged_gym严重依赖它。legged_gym 机器人仿真环境层。它基于 Isaac Gym 封装了四足机器人如 ANYmal, Aliengo的模型、传感器IMU, 关节编码器、地形以及奖励函数Reward Function等为强化学习智能体提供了一个标准的“健身房”Gym。rsl_rl 强化学习算法层。它实现了 PPO、SAC 等算法负责从legged_gym接收观测Observation输出动作Action并根据环境返回的奖励Reward和终止信号Done来更新策略网络Policy Network。PyTorch 深度学习框架。rsl_rl和legged_gym中的神经网络均基于 PyTorch 构建。它们的关系可以概括为PyTorch 提供计算基础 - Isaac Gym 提供物理仿真 - legged_gym 提供机器人环境 - rsl_rl 提供学习算法。任何一个环节的版本不匹配或安装错误都会导致后续步骤失败。1.2 环境要求与前置确认根据官方文档和社区实践以下是成功配置的关键前提操作系统Ubuntu 20.04 或 22.04。这是 Isaac Gym 官方支持的系统在其他 Linux 发行版或 Windows 上配置难度极大不推荐初学者尝试。显卡必须配备 NVIDIA GPU且需要支持 CUDA。Isaac Gym 重度依赖 GPU 进行并行仿真。请通过nvidia-smi命令确认显卡驱动已安装。CUDA 版本 这是最容易出错的环节。Isaac Gym 预编译版本通常绑定特定 CUDA 版本。对于当前以常见情况为例的安装你需要CUDA 11.3 或 11.6。请使用nvcc --version或cat /usr/local/cuda/version.txt查看当前 CUDA 版本。如果版本不符需要先安装或切换 CUDA。Python 版本Python 3.8是最兼容的选择。更高版本如 3.10可能导致某些依赖包无法安装。在继续之前请打开终端逐一执行以下命令进行确认# 1. 确认系统版本 lsb_release -a # 2. 确认显卡和驱动 nvidia-smi # 3. 确认 CUDA 版本如果已安装 nvcc --version 2/dev/null || echo “CUDA nvcc 未找到请检查 CUDA 安装” # 4. 确认 Python 版本 python3 --version如果 CUDA 版本不符合要求你需要先处理 CUDA 环境。这通常涉及安装特定版本的 CUDA Toolkit 并正确设置环境变量PATH和LD_LIBRARY_PATH。由于 CUDA 安装本身是一个复杂话题本文假设你已具备正确的 CUDA 环境。2. 逐步安装从底层仿真到上层算法安装顺序必须严格遵守CUDA - Isaac Gym - PyTorch - legged_gym - rsl_rl。我们将在一个干净的 Python 虚拟环境中进行这是管理项目依赖的最佳实践。2.1 步骤一创建并激活虚拟环境使用conda或venv创建独立环境。这里以conda为例。# 创建名为 legged_rl 的 Python 3.8 环境 conda create -n legged_rl python3.8 -y conda activate legged_rl激活后你的终端提示符前应出现(legged_rl)。2.2 步骤二安装 PyTorch根据你的 CUDA 版本例如 11.3从 PyTorch 官网获取对应的安装命令。在虚拟环境中执行# 以 CUDA 11.3 为例 pip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113安装后验证python -c “import torch; print(torch.__version__); print(torch.cuda.is_available())”应输出 PyTorch 版本和True。如果显示False说明 PyTorch 未能识别你的 CUDA需要检查 CUDA 和 PyTorch 版本的匹配性。2.3 步骤三安装 NVIDIA Isaac Gym这是最关键且最容易出错的一步。下载 访问 NVIDIA Isaac Gym 的官方下载页面需要注册 NVIDIA 开发者账号下载适用于你系统Linux的预压缩包例如IsaacGym_Preview_4_Package.tar.gz。注意下载的版本其依赖的 CUDA 和 PyTorch 版本在文档中有说明。解压 将其解压到你希望放置的目录例如~/workspace/。cd ~/workspace tar -xzf /path/to/IsaacGym_Preview_4_Package.tar.gz安装 Python 依赖 进入解压后的目录安装其要求的 Python 包。cd IsaacGym_Preview_4_Package/python pip install -e .命令中的-e代表“可编辑模式”安装这样你可以修改源码并立即生效。运行测试 官方包内通常包含示例。运行一个简单示例来验证安装是否成功。cd examples python 1080_balls_of_solitude.py如果安装成功你应该能看到一个弹跳小球的图形化仿真窗口。请务必确保此测试通过这是后续所有工作的基础。2.4 步骤四安装 legged_gym克隆仓库cd ~/workspace # 或其他你的工作目录 git clone https://github.com/leggedrobotics/legged_gym.git cd legged_gym安装依赖legged_gym的依赖记录在requirements.txt中。pip install -r requirements.txt这个步骤会安装gym,numpy,wandb等包。设置环境变量 需要让 Python 知道 Isaac Gym 的安装路径。通常通过设置PYTHONPATH实现。更可靠的方法是在你的项目根目录或虚拟环境激活脚本中设置。# 假设 Isaac Gym 解压在 ~/workspace/IsaacGym_Preview_4_Package export ISAACGYM_PATH~/workspace/IsaacGym_Preview_4_Package # 将 Isaac Gym 的 python 目录加入 PYTHONPATH export PYTHONPATH$ISAACGYM_PATH/python:$PYTHONPATH为了方便你可以将这两行命令添加到虚拟环境的激活后脚本$CONDA_PREFIX/etc/conda/activate.d/env_vars.sh或你的~/.bashrc中。2.5 步骤五安装 rsl_rl克隆仓库cd ~/workspace # 与 legged_gym 同级目录 git clone https://github.com/leggedrobotics/rsl_rl.git cd rsl_rl安装依赖 同样使用requirements.txt。pip install -r requirements.txt以可编辑模式安装 这样legged_gym才能正确引用到rsl_rl。pip install -e .至此所有核心组件安装完毕。你的工作目录结构应类似于~/workspace/ ├── IsaacGym_Preview_4_Package/ ├── legged_gym/ └── rsl_rl/3. 运行第一个训练任务验证环境完整性安装完成不代表环境就能工作。最好的验证方式是运行一个最简单的训练任务。legged_gym仓库通常提供了训练脚本和配置文件。3.1 准备配置文件与脚本进入legged_gym目录查看其结构。训练入口通常是scripts/train.py。配置文件位于legged_gym/legged_gym/cfg/目录下定义了机器人参数、环境参数和训练参数。一个最小化的运行方式是使用官方提供的示例命令。你需要根据你的实际路径调整 Isaac Gym 资源路径。cd ~/workspace/legged_gym # 一个典型的训练命令示例参数需要根据你的环境调整 python scripts/train.py --taskanymal_c_flat --num_envs4096 --headless让我们分解这个命令--taskanymal_c_flat: 指定训练任务这里是在平坦地面上训练 ANYmal-C 机器人。--num_envs4096: 指定并行仿真的环境数量这是 Isaac Gym 性能优势的关键数量越大数据收集越快但对 GPU 显存要求越高。初次运行可先设为1024或2048。--headless: 无头模式不启动图形界面节省资源且适合服务器运行。第一次运行时可以去掉此参数以便观察机器人形态。3.2 关键参数解析与调整在运行前你可能需要检查或修改配置文件。最重要的配置文件是任务对应的yaml文件例如legged_gym/legged_gym/cfg/task/anymal_c_flat.yaml。其中几个关键部分# 示例片段非完整文件 env: num_envs: 4096 # 覆盖命令行参数 env_spacing: 2.5 # 环境之间的间距 episode_length_s: 20 # 每个episode的最大时长秒 task: rewards: # 奖励函数组成及权重 - name: “lin_vel_z” weight: -2.0 - name: “ang_vel_xy” weight: -0.05 commands: # 给机器人的命令如期望速度 ranges: lin_vel_x: [-1.0, 1.0] # 期望的前向速度范围 algorithm: # 与 rsl_rl 相关的训练参数 runner: policy_class: “ActorCritic” algorithm_class: “PPO” num_learning_epochs: 5 num_mini_batches: 4对于初次运行建议先修改以下参数以快速验证和降低硬件要求在命令行或配置文件中将num_envs设为1024。将headless设为True或使用--headless标志。将训练总步数max_iterations改小如 100只是为了看能否跑起来。3.3 执行训练与观察输出在legged_gym目录下执行你的训练命令。如果一切配置正确你将看到类似以下的输出Isaac Gym 初始化日志... 创建仿真环境... 初始化策略网络... 开始训练迭代... | Iteration | 1/5000 | Total Timesteps 4096 | Mean Reward -12.34 | Episode Length 15.6 | | Iteration | 2/5000 | Total Timesteps 8192 | Mean Reward -10.56 | Episode Length 16.1 | ...这表示机器人正在开始学习。Mean Reward平均奖励会随着训练从负值因为初始策略是随机动作机器人会摔倒逐渐上升意味着机器人正在学习如何站立和移动。注意第一次运行可能会因为要编译一些 CUDA 内核而耗时较长后续运行会快很多。如果程序卡在“Initializing...”或“Creating simulation...”很久可能是 Isaac Gym 资源路径问题。4. 环境配置常见问题深度排查即使按照步骤操作也极有可能遇到各种错误。下面列出从高频到低频的典型问题及其排查路径。4.1 问题一ImportError: cannot import name ‘...’ from ‘isaacgym’现象 在导入isaacgym或运行训练脚本时出现ImportError提示无法从isaacgym模块中导入某个子模块。可能原因与排查Isaac Gym Python 包未正确安装 确保你在IsaacGym_Preview_4_Package/python目录下执行了pip install -e .并且安装过程没有报错。PYTHONPATH 环境变量未设置或错误 这是最常见的原因。检查echo $PYTHONPATH确认其中包含了IsaacGym_Preview_4_Package/python的绝对路径。必须在运行 Python 脚本的终端会话中提前设置好。虚拟环境未激活 确认终端提示符前有(legged_rl)或使用which python确认 Python 解释器路径在你的虚拟环境内。Isaac Gym 版本与 Python/PyTorch 版本不兼容 回顾步骤 1.2严格检查 Isaac Gym 版本说明对 CUDA 和 PyTorch 的要求。解决方案在运行训练脚本的终端中显式设置环境变量export ISAACGYM_PATH~/workspace/IsaacGym_Preview_4_Package export PYTHONPATH$ISAACGYM_PATH/python:$PYTHONPATH conda activate legged_rl python scripts/train.py ...4.2 问题二CUDA error: no kernel image is available for execution on the device现象 程序启动后在初始化或运行过程中报 CUDA 相关错误。可能原因与排查PyTorch 与 CUDA 版本不匹配 PyTorch 是用特定 CUDA 版本编译的。用python -c “import torch; print(torch.version.cuda)”查看 PyTorch 编译时的 CUDA 版本必须与nvcc --version显示的运行时版本一致。Isaac Gym 预编译二进制与 GPU 架构不兼容 Isaac Gym 预编译包可能不支持你显卡的算力Compute Capability。较新的显卡如 RTX 40系可能遇到此问题。解决方案对于原因1重新安装与本地 CUDA 版本匹配的 PyTorch。对于原因2可能需要从源码编译 Isaac Gym过程复杂或查阅 Isaac Gym 论坛/Issues 看是否有支持新显卡的预览版。4.3 问题三训练启动后卡住无任何输出或报错现象 运行命令后程序打印一两行日志后便长期挂起不报错也不继续。可能原因与排查资源路径问题 Isaac Gym 需要加载资产文件机器人URDF、地形网格等。检查是否设置了ISAACGYM_PATH并且该路径下存在assets等目录。权限问题 某些临时文件或缓存目录无法写入。headless 模式下的显示问题 即使在无头模式下Isaac Gym 也可能需要一些图形库或虚拟显示。可以尝试安装xvfb并运行。xvfb-run -a python scripts/train.py --taskanymal_c_flat --headless解决方案仔细检查ISAACGYM_PATH环境变量确保指向正确的根目录。尝试在非headless模式下运行看是否有图形界面弹出这能帮助判断是否是显示相关问题。4.4 问题四ModuleNotFoundError: No module named ‘rsl_rl’现象 训练脚本运行后提示找不到rsl_rl模块。可能原因与排查rsl_rl 未以可编辑模式安装 在rsl_rl目录中必须执行pip install -e .而不仅仅是pip install .或未安装。虚拟环境不一致 可能你在系统 Python 或其他虚拟环境中安装了rsl_rl但训练脚本运行在legged_rl环境中。解决方案确保在正确的虚拟环境中进入rsl_rl目录重新执行pip install -e .。下表总结了上述常见问题及快速自查点问题现象最可能原因首要检查点解决方向导入 isaacgym 失败PYTHONPATH环境变量错误echo $PYTHONPATHecho $ISAACGYM_PATH正确设置并导出环境变量CUDA kernel 错误PyTorch/CUDA 版本不匹配torch.version.cudavsnvcc --version重装匹配版本的 PyTorch程序卡在初始化Isaac Gym 资源路径不对检查$ISAACGYM_PATH/assets是否存在确保ISAACGYM_PATH指向 Isaac Gym 根目录找不到 rsl_rl 模块rsl_rl 未安装或安装模式不对在虚拟环境中执行 pip listgrep rsl运行报 GLIBCXX 错误GCC 运行时库版本过低strings /usr/lib/x86_64-linux-gnu/libstdc.so.6grep GLIBCXX5. 生产环境考量与最佳实践成功运行示例只是第一步。如果你想进行严肃的研究或项目开发需要关注以下方面。5.1 环境固化与复现研究可复现性至关重要。记录下所有环境的精确版本。使用pip freeze 在虚拟环境中执行pip freeze requirements_lock.txt将生成一个包含所有包及其精确版本的文件。其他人可以通过pip install -r requirements_lock.txt复现完全相同的环境。记录系统信息 保存nvidia-smi,nvcc --version,python --version,conda list的输出。版本控制 将你的代码、配置文件以及上述requirements_lock.txt纳入 Git 管理。5.2 训练配置管理不要直接修改仓库中的默认配置文件。创建自定义配置 复制一份默认的yaml文件如anymal_c_flat.yaml到新文件如my_experiment.yaml在新文件中进行修改。在训练时通过--cfg_path参数指定你的配置文件。python scripts/train.py --taskanymal_c --cfg_path./legged_gym/cfg/task/my_experiment.yaml参数化实验 对于需要系统比较的实验可以编写脚本批量生成和运行不同参数的配置文件。5.3 监控与调试使用 WandBlegged_gym默认集成了 WandBWeights Biases进行实验跟踪。首次使用需要注册并登录。它会自动记录奖励曲线、系统数据等非常方便。日志分级 训练脚本通常有日志级别参数。调试时可以使用更详细的日志如--log_levelDEBUG生产运行时调整为INFO或WARNING。定期保存检查点 确保配置中的save_interval参数已设置定期保存模型快照防止训练中断导致进度丢失。5.4 性能优化调整num_envs 这是影响训练速度的最关键参数。增加它可以提高数据吞吐量但受 GPU 显存限制。使用nvidia-smi监控显存占用逐步增加num_envs直到显存接近用满。使用headless模式 图形渲染会消耗大量资源。在服务器训练时务必使用--headless。优化观测与动作空间 在自定义任务时检查legged_gym中观测obs和动作actions的构建过程移除不必要的维度可以轻微提升性能。5.5 扩展方向环境搭好并能运行后你可以尝试修改奖励函数 在任务配置文件的task.rewards部分调整不同奖励项的权重观察对机器人步态的影响。设计新任务 参考现有任务代码创建新的地形如楼梯、乱石堆或新的命令如转向、后退。集成新算法rsl_rl是模块化的可以尝试实现或集成其他强化学习算法如 SAC, TD3。向真实机器人迁移 了解 Sim-to-Real 的相关技术如域随机化 Domain Randomization这是将仿真中训练的策略部署到真实 ANYmal 等机器人的关键。配置legged_gym和rsl_rl环境是一次对系统依赖管理、版本兼容性和问题排查能力的综合锻炼。成功的关键在于耐心和细致严格按照组件依赖顺序操作并对每一个错误信息进行溯源。当看到虚拟的 ANYmal 机器人从踉跄学步到稳健奔跑时你会觉得这一切都是值得的。接下来你可以深入代码去理解环境如何构建观测、算法如何更新策略从而真正掌握机器人强化学习的核心流程。