【免费下载链接】axrlAxisRL is an agentic RL post-training framework built on SGLang rollout, Megatron training, and real-world agent workflows.项目地址https://gitcode.com/gh_mirrors/ax/axrl点击查看免费下载AxisRL 是一个构建在 SGLang rollout 和 Megatron 训练之上的 agentic RL post-training 框架负责协调多轮 rollout、环境交互、奖励计算、样本构造与权重同步。本文带你用最短路径跑通 AxisRL 上的第一个 Agent RL 训练任务——GSM8K 数据集上的 GRPO 训练并切换到 PPO 对比两种目标函数的配置差异最后讲解训练产物的查看与常见问题排查。先明确目标读完本文你将能在 8 卡 GPU 机器上用一条命令启动 GSM8K GRPO 训练看懂核心配置项的含义并知道如何切换到 PPO。为什么选 GSM8K 作为 Agent RL 入门对于第一次接触强化学习后训练RL post-training的读者任务选择应遵循数据小、奖励可验证、逻辑简单三个原则。GSM8K 恰好全中维度GSM8K 的特点数据量约 7.5K 训练题小规模机器也能跑奖励信号答案唯一规则匹配即可验证无需奖励模型交互轮数单轮生成step-by-step 推理后输出答案逻辑清晰模型规模官方 recipe 默认 Qwen2.5-1.5B-Instruct8 卡即可AxisRL 将每个任务封装为一个recipe配方任务特定的数据集加载、环境循环、验证器、奖励计算都集中在 axis_recipe/ 目录而 rollout 调度、样本构造、权重同步等系统层由框架统一处理。GSM8K 的两个 recipe 就是最理想的入门路径。认识 AxisRL 的数据流架构5 步闭环在动手之前花 2 分钟理解 AxisRL 的一次训练循环长什么样后面看日志就不迷路了Rollout Actors领取任务驱动环境GSM8K 场景下就是出题 → 生成 → 判分SGLang Workers提供高吞吐的模型生成服务环境 / 验证器产生交互记录和 rewardMegatron Workers消费训练样本执行 GRPO 或 PPO 训练更新后的权重同步回 rollout 侧进入下一轮。如上图所示重数据例如 routing replay 张量不经过中心 driver而是走本地存储的 handle 数据通道由训练 worker 按需读取——这是 AxisRL 保持控制面轻量、支持大规模训练的关键设计。环境安装步骤Docker 镜像 一键依赖AxisRL 依赖 SGLang、Megatron Core、MagiAttention、Ray 和 CUDA 栈手动装依赖非常容易踩坑官方强烈推荐使用项目提供的 Docker 镜像Dockerfile 见 docker/cuda/cu130-sgl0.5.14-mcore0.18-magi.Dockerfile# 1. 拉取预构建镜像含 SGLang / Megatron Core / Ray / CUDA 依赖 docker pull leejunjie/sglang-mcore:cu130-sgl0.5.14-mcore0.18-magi # 2. 克隆仓库并安装 git clone https://gitcode.com/gh_mirrors/ax/axrl.git cd axrl pip install -e .接着准备模型和数据。官方提供了一键下载脚本 axrl/example/download_data.pypython axrl/example/download_data.py⚠️ 注意完整下载包含多 B 参数模型体量很大。如果只想跑 GSM8K recipe手动下载Qwen/Qwen2.5-1.5B-Instruct模型和openai/gsm8k数据集再把 recipe 配置里的路径指过去即可不必全量下载。️硬件建议两个 GSM8K recipe 的默认并行配置Megatron 侧tp_size2, pp_size2SGLang 侧tp_size2rollout 与训练 colocated 共享 GPU按 8 卡 GPU 机器准备最稳妥。3 条命令跑通第一个 GSM8K GRPO 训练GRPO recipe 的入口是三件套启动脚本 axis_recipe/grpo_gsm8k/run_train.sh、配置 axis_recipe/grpo_gsm8k/pipeline_config.yaml 和训练管线 axis_recipe/grpo_gsm8k/train_pipeline.py。最快启动方法只训 4 个 global update用于验证环境跑通AXRL_OUTPUT_DIR_NAMEgrpo_gsm8k \ bash axis_recipe/grpo_gsm8k/run_train.sh \ --online_rl_train.max_global_updates4这条命令做了三件事先调用 generate_configs.py 校验并落盘默认配置启动PipelineController拉起 rollout 与训练 worker把配置写入 pipeline_config.yaml通过--path.to.fieldvalue形式的参数覆盖任意配置项这里把总步数从默认 600 降到 4快速验证。日志和产物统一落在$AXRL_OUTPUT_DIR默认~/axrl-data/outputs下产物路径运行日志grpo_gsm8k/run-train-pipeline-grpo-GSM8K.logTensorBoardlogger_type: tensorboard按project_name/group_name归档权重 checkpoint由checkpoint_every_n_global_updates控制脚本默认拉长验证时不触发读懂 GRPO 配置文件的 4 个关键参数打开 pipeline_config.yaml新手重点关注这 4 处模型与数据megatron_worker.model.name为Qwen/Qwen2.5-1.5B-Instruct训练集openai/gsm8k/train、测试集openai/gsm8k/test配置第 160–169 行。数据集加载时会把题目包装成step by step 推理、最终答案写在####之后的提示见 axrl/datasets/gsm8k.pyGRPO 组采样num_rollouts_per_conversation: 8—— 每道题采 8 条回复组成一个组用组内相对收益估计 advantage这正是 GRPO 省掉 value 模型的秘诀配置第 282–301 行训练目标grpo.loss_type: grpo附带clip_ratio_high/low: 0.2的 PPO 式裁剪和 dual-clip 负 advantage 因子配置第 192–220 行权重同步节奏model_sync_every_n_global_updates: 4—— 每 4 步把新权重同步给 SGLang保持 rollout 与策略接近 on-policy。训练在框架内发生了什么recipe 的 rollout 逻辑非常短值得看一眼 train_pipeline.py它构建一个MathEnvaxrl/envs/math_env.py负责生成 → 判分 → 结束的单步循环配合两个本地 processor——GSM8KVerifier从回答末尾提取####后的数字并与标准答案比对见 axrl/verifier/gsm8k.py和ConversationTokenizer。判分是 0/1 规则奖励没有任何黑盒成分非常适合调试期确认奖励链路是否正常。切换到 PPO增加 value worker 的实战配置PPO recipe 与 GRPO 的目录结构几乎一一对应入口是 axis_recipe/ppo_gsm8k/run_train.sh。启动方式相同AXRL_OUTPUT_DIR_NAMEppo_gsm8k \ bash axis_recipe/ppo_gsm8k/run_train.sh \ --online_rl_train.max_global_updates4两者配置上的核心差异只有三处都在 axis_recipe/ppo_gsm8k/pipeline_config.yaml 中配置项GRPO recipePPO recipe含义grpo.loss_typegrpoppoadvantage 估计方式组内相对 vs value 模型value_workernull完整 workermodel_role: valuePPO 需要独立的 value 模型估计 V(s)见配置第 114–119 行grpo.ppo_valuenullgamma: 1.0, gae_lambda: 1.0, value_clip: 0.2GAE 参数与 value loss 裁剪见配置第 378–384 行也就是说PPO GRPO 的 rollout 链路 一个额外训练并同步的 value 模型 GAE 优势估计。代价是显存和训练时间上升checkpoint 会分成 actor 与 value 两份脚本里分别写到checkpoints/megatron_actor和checkpoints/megatron_value收益是对长程、多轮 reward 场景下更平滑的 value 估计。GSM8K 这种单轮任务上两者都能用而 AxisRL 面向的多轮 agent 场景正是 PPO 更有优势的地方。训练产物与可观测性如何判断训练在正常推进AxisRL 把可观测性当一等公民设计。判断你的第一个训练是否健康看三个地方就够了控制台 / TensorBoardlog_every_k_steps: 1表示每步都打印关注 reward 均值是否缓慢抬升、loss 是否平稳eval_on_start: true会在训练开始前先跑一轮 test 集评估给你一个基线分数rollout 原文save_eval_rollouts: true会保留评估阶段的完整生成文本可以人工抽查模型是否在学会####格式mismatch 分析对于进阶用户AxisRL 提供 rollout 与 trainer 两条路径的 token 级 KL 对比工具。下图中启用 R3 routing replay橙线后 KL mismatch 的量级和尾部离群点都明显收敛——这类图是排查rollout 与训练不一致导致 loss 尖峰的利器。更多稳定性工具spike replay、sequence masking、TIS 等在 docs/README-cn.md 的核心技术思路一节有完整介绍。常见问题排查新手最容易卡住的 4 个点现象可能原因处理建议启动时报 GPU 资源不足默认tp2, pp2 rollouttp2colocated需 8 卡换 8 卡机器或用--rollout_worker.tp_size1等方式降并行度模型 / 数据找不到未跑download_data.py或路径不匹配手动下载后修改megatron_worker.model.name与train_datasets的data_pathreward 始终为 0模型还没学会####输出格式正常现象先观察训练若干步后格式是否出现这是奖励塑形前的冷启动训练速度比预期慢默认global_batch_size: 512、每题 8 条 rollout验证阶段把max_global_updates调小即可正式训练再放开 通用技巧任何配置字段都可用--path.to.fieldvalue命令行覆盖不需要改 YAML 文件完整的配置解析规则见 docs/config-parsing.md。下一步从 GSM8K 走向真正的 Agent 任务跑通这两个 recipe 后AxisRL 还为你准备好了进阶路线Search-R1多轮、带检索工具的 white-box agent 任务入口 axis_recipe/search_r1/run_train.sh需要额外启动一个 retrieval serverBlack-Box RLOpenHands E2B 沙箱的 black-box 集成通过 OpenAI 兼容 proxy 捕获任意 agent harness 的交互轨迹见 axis_recipe/blackbox_rl/README.md一致性调试如果正式训练中遇到 loss 尖峰或 rollout/trainer 不一致参考 skills/axrl-spike-replay/ 下的排查清单。总结AxisRL 把高吞吐 rollout、大规模训练、权重同步、可观测性封装成一条闭环你只需关注 recipe 中的环境、奖励与训练配置。从bash axis_recipe/grpo_gsm8k/run_train.sh开始3 条命令就能看到你第一个 Agent RL 训练循环完整转起来。赞分享【免费下载链接】axrlAxisRL is an agentic RL post-training framework built on SGLang rollout, Megatron training, and real-world agent workflows.项目地址https://gitcode.com/gh_mirrors/ax/axrl点击查看免费下载相关推荐AReaL 快速入门用 GRPO 函数奖励在 GSM8K 上完成首个 RL 训练实验AReaL 快速入门用 GRPO 函数奖励在 GSM8K 上完成首个 RL 训练实验 导读 AReaL 是一个面向 LLM Agent 应用的强化学习桥接人工智能大模型强化学习分布式训练AxisRL Black-Box RL 实战在 E2B 沙箱中用 LeetCode 题目训练 Coding AgentAxisRL Black Box RL 实战在 E2B 沙箱中用 LeetCode 题目训练 Coding Agent AxisRL 是一个基于 SGLangopenJiuwen Agent RL 强化学习训练扩展完全指南从离线 PPO/GRPO 训练到在线轨迹采集openJiuwen Agent RL 强化学习训练扩展完全指南从离线 PPO/GRPO 训练到在线轨迹采集 openjiuwen.agent_evolvin人工智能大模型AI Agent工具调用工作流编排提示工程上一篇Digital Speech Decoder 1.7.0-dev新特性解析提升你的语音解码体验下一篇魔兽争霸III焕新秘籍全方位优化解决方案指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/22 12:39:25 · 阅读 1.2k 如何在 AxisRL 上跑通第一个 Agent RL 训练：GSM8K GRPO 与 PPO 实战详解
【免费下载链接】axrlAxisRL is an agentic RL post-training framework built on SGLang rollout, Megatron training, and real-world agent workflows.项目地址https://gitcode.com/gh_mirrors/ax/axrl点击查看免费下载AxisRL 是一个构建在 SGLang rollout 和 Megatron 训练之上的 agentic RL post-training 框架负责协调多轮 rollout、环境交互、奖励计算、样本构造与权重同步。本文带你用最短路径跑通 AxisRL 上的第一个 Agent RL 训练任务——GSM8K 数据集上的 GRPO 训练并切换到 PPO 对比两种目标函数的配置差异最后讲解训练产物的查看与常见问题排查。先明确目标读完本文你将能在 8 卡 GPU 机器上用一条命令启动 GSM8K GRPO 训练看懂核心配置项的含义并知道如何切换到 PPO。为什么选 GSM8K 作为 Agent RL 入门对于第一次接触强化学习后训练RL post-training的读者任务选择应遵循数据小、奖励可验证、逻辑简单三个原则。GSM8K 恰好全中维度GSM8K 的特点数据量约 7.5K 训练题小规模机器也能跑奖励信号答案唯一规则匹配即可验证无需奖励模型交互轮数单轮生成step-by-step 推理后输出答案逻辑清晰模型规模官方 recipe 默认 Qwen2.5-1.5B-Instruct8 卡即可AxisRL 将每个任务封装为一个recipe配方任务特定的数据集加载、环境循环、验证器、奖励计算都集中在 axis_recipe/ 目录而 rollout 调度、样本构造、权重同步等系统层由框架统一处理。GSM8K 的两个 recipe 就是最理想的入门路径。认识 AxisRL 的数据流架构5 步闭环在动手之前花 2 分钟理解 AxisRL 的一次训练循环长什么样后面看日志就不迷路了Rollout Actors领取任务驱动环境GSM8K 场景下就是出题 → 生成 → 判分SGLang Workers提供高吞吐的模型生成服务环境 / 验证器产生交互记录和 rewardMegatron Workers消费训练样本执行 GRPO 或 PPO 训练更新后的权重同步回 rollout 侧进入下一轮。如上图所示重数据例如 routing replay 张量不经过中心 driver而是走本地存储的 handle 数据通道由训练 worker 按需读取——这是 AxisRL 保持控制面轻量、支持大规模训练的关键设计。环境安装步骤Docker 镜像 一键依赖AxisRL 依赖 SGLang、Megatron Core、MagiAttention、Ray 和 CUDA 栈手动装依赖非常容易踩坑官方强烈推荐使用项目提供的 Docker 镜像Dockerfile 见 docker/cuda/cu130-sgl0.5.14-mcore0.18-magi.Dockerfile# 1. 拉取预构建镜像含 SGLang / Megatron Core / Ray / CUDA 依赖 docker pull leejunjie/sglang-mcore:cu130-sgl0.5.14-mcore0.18-magi # 2. 克隆仓库并安装 git clone https://gitcode.com/gh_mirrors/ax/axrl.git cd axrl pip install -e .接着准备模型和数据。官方提供了一键下载脚本 axrl/example/download_data.pypython axrl/example/download_data.py⚠️ 注意完整下载包含多 B 参数模型体量很大。如果只想跑 GSM8K recipe手动下载Qwen/Qwen2.5-1.5B-Instruct模型和openai/gsm8k数据集再把 recipe 配置里的路径指过去即可不必全量下载。️硬件建议两个 GSM8K recipe 的默认并行配置Megatron 侧tp_size2, pp_size2SGLang 侧tp_size2rollout 与训练 colocated 共享 GPU按 8 卡 GPU 机器准备最稳妥。3 条命令跑通第一个 GSM8K GRPO 训练GRPO recipe 的入口是三件套启动脚本 axis_recipe/grpo_gsm8k/run_train.sh、配置 axis_recipe/grpo_gsm8k/pipeline_config.yaml 和训练管线 axis_recipe/grpo_gsm8k/train_pipeline.py。最快启动方法只训 4 个 global update用于验证环境跑通AXRL_OUTPUT_DIR_NAMEgrpo_gsm8k \ bash axis_recipe/grpo_gsm8k/run_train.sh \ --online_rl_train.max_global_updates4这条命令做了三件事先调用 generate_configs.py 校验并落盘默认配置启动PipelineController拉起 rollout 与训练 worker把配置写入 pipeline_config.yaml通过--path.to.fieldvalue形式的参数覆盖任意配置项这里把总步数从默认 600 降到 4快速验证。日志和产物统一落在$AXRL_OUTPUT_DIR默认~/axrl-data/outputs下产物路径运行日志grpo_gsm8k/run-train-pipeline-grpo-GSM8K.logTensorBoardlogger_type: tensorboard按project_name/group_name归档权重 checkpoint由checkpoint_every_n_global_updates控制脚本默认拉长验证时不触发读懂 GRPO 配置文件的 4 个关键参数打开 pipeline_config.yaml新手重点关注这 4 处模型与数据megatron_worker.model.name为Qwen/Qwen2.5-1.5B-Instruct训练集openai/gsm8k/train、测试集openai/gsm8k/test配置第 160–169 行。数据集加载时会把题目包装成step by step 推理、最终答案写在####之后的提示见 axrl/datasets/gsm8k.pyGRPO 组采样num_rollouts_per_conversation: 8—— 每道题采 8 条回复组成一个组用组内相对收益估计 advantage这正是 GRPO 省掉 value 模型的秘诀配置第 282–301 行训练目标grpo.loss_type: grpo附带clip_ratio_high/low: 0.2的 PPO 式裁剪和 dual-clip 负 advantage 因子配置第 192–220 行权重同步节奏model_sync_every_n_global_updates: 4—— 每 4 步把新权重同步给 SGLang保持 rollout 与策略接近 on-policy。训练在框架内发生了什么recipe 的 rollout 逻辑非常短值得看一眼 train_pipeline.py它构建一个MathEnvaxrl/envs/math_env.py负责生成 → 判分 → 结束的单步循环配合两个本地 processor——GSM8KVerifier从回答末尾提取####后的数字并与标准答案比对见 axrl/verifier/gsm8k.py和ConversationTokenizer。判分是 0/1 规则奖励没有任何黑盒成分非常适合调试期确认奖励链路是否正常。切换到 PPO增加 value worker 的实战配置PPO recipe 与 GRPO 的目录结构几乎一一对应入口是 axis_recipe/ppo_gsm8k/run_train.sh。启动方式相同AXRL_OUTPUT_DIR_NAMEppo_gsm8k \ bash axis_recipe/ppo_gsm8k/run_train.sh \ --online_rl_train.max_global_updates4两者配置上的核心差异只有三处都在 axis_recipe/ppo_gsm8k/pipeline_config.yaml 中配置项GRPO recipePPO recipe含义grpo.loss_typegrpoppoadvantage 估计方式组内相对 vs value 模型value_workernull完整 workermodel_role: valuePPO 需要独立的 value 模型估计 V(s)见配置第 114–119 行grpo.ppo_valuenullgamma: 1.0, gae_lambda: 1.0, value_clip: 0.2GAE 参数与 value loss 裁剪见配置第 378–384 行也就是说PPO GRPO 的 rollout 链路 一个额外训练并同步的 value 模型 GAE 优势估计。代价是显存和训练时间上升checkpoint 会分成 actor 与 value 两份脚本里分别写到checkpoints/megatron_actor和checkpoints/megatron_value收益是对长程、多轮 reward 场景下更平滑的 value 估计。GSM8K 这种单轮任务上两者都能用而 AxisRL 面向的多轮 agent 场景正是 PPO 更有优势的地方。训练产物与可观测性如何判断训练在正常推进AxisRL 把可观测性当一等公民设计。判断你的第一个训练是否健康看三个地方就够了控制台 / TensorBoardlog_every_k_steps: 1表示每步都打印关注 reward 均值是否缓慢抬升、loss 是否平稳eval_on_start: true会在训练开始前先跑一轮 test 集评估给你一个基线分数rollout 原文save_eval_rollouts: true会保留评估阶段的完整生成文本可以人工抽查模型是否在学会####格式mismatch 分析对于进阶用户AxisRL 提供 rollout 与 trainer 两条路径的 token 级 KL 对比工具。下图中启用 R3 routing replay橙线后 KL mismatch 的量级和尾部离群点都明显收敛——这类图是排查rollout 与训练不一致导致 loss 尖峰的利器。更多稳定性工具spike replay、sequence masking、TIS 等在 docs/README-cn.md 的核心技术思路一节有完整介绍。常见问题排查新手最容易卡住的 4 个点现象可能原因处理建议启动时报 GPU 资源不足默认tp2, pp2 rollouttp2colocated需 8 卡换 8 卡机器或用--rollout_worker.tp_size1等方式降并行度模型 / 数据找不到未跑download_data.py或路径不匹配手动下载后修改megatron_worker.model.name与train_datasets的data_pathreward 始终为 0模型还没学会####输出格式正常现象先观察训练若干步后格式是否出现这是奖励塑形前的冷启动训练速度比预期慢默认global_batch_size: 512、每题 8 条 rollout验证阶段把max_global_updates调小即可正式训练再放开 通用技巧任何配置字段都可用--path.to.fieldvalue命令行覆盖不需要改 YAML 文件完整的配置解析规则见 docs/config-parsing.md。下一步从 GSM8K 走向真正的 Agent 任务跑通这两个 recipe 后AxisRL 还为你准备好了进阶路线Search-R1多轮、带检索工具的 white-box agent 任务入口 axis_recipe/search_r1/run_train.sh需要额外启动一个 retrieval serverBlack-Box RLOpenHands E2B 沙箱的 black-box 集成通过 OpenAI 兼容 proxy 捕获任意 agent harness 的交互轨迹见 axis_recipe/blackbox_rl/README.md一致性调试如果正式训练中遇到 loss 尖峰或 rollout/trainer 不一致参考 skills/axrl-spike-replay/ 下的排查清单。总结AxisRL 把高吞吐 rollout、大规模训练、权重同步、可观测性封装成一条闭环你只需关注 recipe 中的环境、奖励与训练配置。从bash axis_recipe/grpo_gsm8k/run_train.sh开始3 条命令就能看到你第一个 Agent RL 训练循环完整转起来。赞分享【免费下载链接】axrlAxisRL is an agentic RL post-training framework built on SGLang rollout, Megatron training, and real-world agent workflows.项目地址https://gitcode.com/gh_mirrors/ax/axrl点击查看免费下载相关推荐AReaL 快速入门用 GRPO 函数奖励在 GSM8K 上完成首个 RL 训练实验AReaL 快速入门用 GRPO 函数奖励在 GSM8K 上完成首个 RL 训练实验 导读 AReaL 是一个面向 LLM Agent 应用的强化学习桥接人工智能大模型强化学习分布式训练AxisRL Black-Box RL 实战在 E2B 沙箱中用 LeetCode 题目训练 Coding AgentAxisRL Black Box RL 实战在 E2B 沙箱中用 LeetCode 题目训练 Coding Agent AxisRL 是一个基于 SGLangopenJiuwen Agent RL 强化学习训练扩展完全指南从离线 PPO/GRPO 训练到在线轨迹采集openJiuwen Agent RL 强化学习训练扩展完全指南从离线 PPO/GRPO 训练到在线轨迹采集 openjiuwen.agent_evolvin人工智能大模型AI Agent工具调用工作流编排提示工程上一篇Digital Speech Decoder 1.7.0-dev新特性解析提升你的语音解码体验下一篇魔兽争霸III焕新秘籍全方位优化解决方案指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考