人工智能大模型基础模型本地部署模型量化openBMB【免费下载链接】MiniCPM5-2B-MLX项目地址https://ai.gitcode.com/OpenBMB/MiniCPM5-2B-MLX点击查看免费下载MiniCPM5-2B-MLX 是面向 Apple Silicon 优化的 4bit 量化端侧大模型约 2.5B 参数由 2B 级开源 SOTA 模型 MiniCPM5-2B 转换而来。它最值得聊的是官方后训练流程中那一步OPDOn-Policy Distillation在线策略蒸馏——把 16 个 RL 专家模型的能力炼进同一个模型。本文带你彻底搞懂这套原理。为什么要把 16 个专家模型炼成一个 做强化学习RL后训练时团队通常会为不同方向各训一个专家数学、代码、写作、Agent……好处是每个方向都能拉到最优坏处也很直白16 个模型 16 份存储和部署成本端侧设备根本放不下每个专家顾头不顾尾数学专家写代码可能拉胯通用能力还会互相拖累用户要的是一个六边形战士而不是十几个偏科生MiniCPM5-2B 的解法就是RL OPD两阶段组合拳先用 RL 把专家练强再用 OPD 把 16 位专家的绝活合璧到同一个发布模型里。MiniCPM5-2B 后训练三步走SFT → RL → OPD整个训练是全栈式的UltraData 分级数据管理实践覆盖 base training、mid-training 与后训练三个阶段。后训练又拆成三步第一步 SFT用 400B tokens 打好深度思考地基先用400B tokens 的 deep-thinking SFT 数据建立深度思考与通用对话能力。这批 SFT 数据已开源为 UltraData-SFT-2605Agent 方向的 SFT 数据为 UltraData-SFT-Agent-2609约 500K 智能体训练样本。第二步 RL16 个专家模型登场随后团队针对数学、代码、Agent 任务和写作等方向分别训练出 16 个专用 RL teacher其中包含5 个 agentic 专家模型。RL 阶段采用了 JustRL II 提出的 critic-based 算法大幅提升了小模型强化学习的训练稳定性。RL 训练数据已开源为 UltraData-RL-26098 万 高质量样本覆盖数学、代码、通用知识与长上下文推理。第三步 OPD一个模型继承 16 种专长最后通过On-Policy DistillationOPD在线策略蒸馏把 16 位专家的能力合并进同一个发布模型。这一步正是 MiniCPM5-2B 能以小博大的关键下面拆开讲。OPD 核心原理揭秘反向 KL 散度如何替代验证优势OPD 官方描述只有两句话但信息量很大我们逐条翻译关键设计 1全词表反向 KL 散度作为优势估计在 response 序列的每个位置对学生和教师 logits 计算全词表的反向 KL 散度作为优势估计值替代原有的 verification-based advantage。用大白话说传统 RL 的验证式优势靠外部验证器给整条回答打一个对/错分信号稀疏——一整篇回答可能只换来一个分数OPD 的做法学生模型自己在线生成回答on-policy在每一个 token 位置上拿学生与教师的完整词表 logits 算反向 KL 散度把它当作这个位置的优势值相当于把期末一次性打分变成了逐字批改每一步都有密集、细粒度的监督信号学生模型能贴着教师的完整概率分布快速对齐而不是只学到这道题做对了。关键设计 2直接复用 RL 提示词蒸馏语料零成本OPD 直接复用各 RL teacher 训练时的 prompt 作为蒸馏数据无需额外构造语料。各专家训练时用过什么题目OPD 就用什么题目。省掉一套独立的蒸馏数据集构建流程工程上极其省心地一鱼多吃。RL OPD 实测收益推理平均 10.96 分这套组合拳的官方数据相当能打能力维度RL OPD 提升一句话解读推理与通用能力↑ 10.96 分平均数学、代码、知识类基准普涨Agent 能力↑ 6.96 分平均16 个专家中 5 个是 agentic 模型合并收益直接兑现合并后的 MiniCPM5-2B 综合均分53.9超过对比集合中所有更大的 4B 级模型最高 51.1部分代表性成绩基准MiniCPM5-2B同规模最强对手AIME 2025数学86.541.9LiveCodeBench v6代码69.142.9SWE-bench Verified编程智能体46.46.0GAIA Text-103通用智能体88.749.5MiniCPM5-2B-MLX 模型规格一览本仓库是上述最终模型的MLX / 4bit 版本专为 Apple SiliconM 系列芯片统一内存架构设计。核心规格见 config.json项目数值架构标准LlamaForCausalLM总参数2,516,756,480约 2.5B隐藏层数42注意力GQA16 个 Q heads / 2 个 KV heads上下文长度131,072128K词表大小130,560量化4bit / group_size 64 / affineMLX⚡ 4bit 量化让这样一个16 专家合体的模型可以舒服地跑在 MacBook 的统一内存里。生成参数建议temperature1.0, top_p0.95, min_p0.0已预置在 generation_config.json 中。项目文件导读从配置文件看懂这个模型文件作用README.md / README-cn.md完整文档训练流程、基准成绩、各框架部署教程config.json模型结构超参 MLX 4bit 量化配置generation_config.json官方推荐采样参数chat_template.jinja对话模板控制思考/工具调用等角色格式tokenizer.json / tokenizer_config.json分词器定义与配置model.safetensors model.safetensors.index.json权重文件及索引想深挖 OPD 与完整训练配方的原始出处重点阅读 README.md 中的Training Recipe章节即可。总结OPD 给端侧模型带来的启示 回看这套16 合 1的炼法它给了我们三个可复用的经验专家分工、蒸馏合并RL 阶段可以放心地各练各的OPD 负责最后一公里的能力合璧逐 token 的密集信号 逐条的稀疏信号用全词表反向 KL 散度当优势估计把教师能力逐字灌给学生数据复用RL 的 prompt 就是蒸馏的语料工程成本几乎为零对于端侧部署场景MiniCPM5-2B-MLX 证明了2B 量级的模型靠训练配方而不是堆参数同样能打出超越 4B 模型的综合成绩。如果需要本地使用可执行git clone https://gitcode.com/OpenBMB/MiniCPM5-2B-MLX获取模型文件再配合 mlx-lm 框架在 Apple Silicon 设备上运行。赞分享人工智能大模型基础模型本地部署模型量化openBMB【免费下载链接】MiniCPM5-2B-MLX项目地址https://ai.gitcode.com/OpenBMB/MiniCPM5-2B-MLX点击查看免费下载相关推荐DiffusionOPD揭秘VeRL-Omni如何实现多教师在线策略蒸馏让扩散模型训练更高效DiffusionOPD揭秘VeRL Omni如何实现多教师在线策略蒸馏让扩散模型训练更高效 DiffusionOPDDiffusion On PolicMiniCPM5-2B-mlx-4Bit 思考模式揭秘enable_thinking 推理能力实用指南MiniCPM5 2B mlx 4Bit 思考模式揭秘enable_thinking 推理能力实用指南 MiniCPM5 2B mlx 4Bit 是 MiniHy-Memory-30B-A3B训练原理全解记忆在线策略蒸馏OPD与强化学习两阶段方法Hy Memory 30B A3B训练原理全解记忆在线策略蒸馏OPD与强化学习两阶段方法 Hy Memory 30B A3B 是腾讯混元推出的轻量级 长期记忆上一篇3步解锁公众号数据洞察wechat_articles_spider实战应用指南下一篇Windows和Office激活终极指南KMS_VL_ALL_AIO智能脚本详解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/20 1:54:22 · 阅读 1.2k 16个专家模型如何炼成一个？MiniCPM5-2B-MLX的在线策略蒸馏OPD原理深度揭秘
人工智能大模型基础模型本地部署模型量化openBMB【免费下载链接】MiniCPM5-2B-MLX项目地址https://ai.gitcode.com/OpenBMB/MiniCPM5-2B-MLX点击查看免费下载MiniCPM5-2B-MLX 是面向 Apple Silicon 优化的 4bit 量化端侧大模型约 2.5B 参数由 2B 级开源 SOTA 模型 MiniCPM5-2B 转换而来。它最值得聊的是官方后训练流程中那一步OPDOn-Policy Distillation在线策略蒸馏——把 16 个 RL 专家模型的能力炼进同一个模型。本文带你彻底搞懂这套原理。为什么要把 16 个专家模型炼成一个 做强化学习RL后训练时团队通常会为不同方向各训一个专家数学、代码、写作、Agent……好处是每个方向都能拉到最优坏处也很直白16 个模型 16 份存储和部署成本端侧设备根本放不下每个专家顾头不顾尾数学专家写代码可能拉胯通用能力还会互相拖累用户要的是一个六边形战士而不是十几个偏科生MiniCPM5-2B 的解法就是RL OPD两阶段组合拳先用 RL 把专家练强再用 OPD 把 16 位专家的绝活合璧到同一个发布模型里。MiniCPM5-2B 后训练三步走SFT → RL → OPD整个训练是全栈式的UltraData 分级数据管理实践覆盖 base training、mid-training 与后训练三个阶段。后训练又拆成三步第一步 SFT用 400B tokens 打好深度思考地基先用400B tokens 的 deep-thinking SFT 数据建立深度思考与通用对话能力。这批 SFT 数据已开源为 UltraData-SFT-2605Agent 方向的 SFT 数据为 UltraData-SFT-Agent-2609约 500K 智能体训练样本。第二步 RL16 个专家模型登场随后团队针对数学、代码、Agent 任务和写作等方向分别训练出 16 个专用 RL teacher其中包含5 个 agentic 专家模型。RL 阶段采用了 JustRL II 提出的 critic-based 算法大幅提升了小模型强化学习的训练稳定性。RL 训练数据已开源为 UltraData-RL-26098 万 高质量样本覆盖数学、代码、通用知识与长上下文推理。第三步 OPD一个模型继承 16 种专长最后通过On-Policy DistillationOPD在线策略蒸馏把 16 位专家的能力合并进同一个发布模型。这一步正是 MiniCPM5-2B 能以小博大的关键下面拆开讲。OPD 核心原理揭秘反向 KL 散度如何替代验证优势OPD 官方描述只有两句话但信息量很大我们逐条翻译关键设计 1全词表反向 KL 散度作为优势估计在 response 序列的每个位置对学生和教师 logits 计算全词表的反向 KL 散度作为优势估计值替代原有的 verification-based advantage。用大白话说传统 RL 的验证式优势靠外部验证器给整条回答打一个对/错分信号稀疏——一整篇回答可能只换来一个分数OPD 的做法学生模型自己在线生成回答on-policy在每一个 token 位置上拿学生与教师的完整词表 logits 算反向 KL 散度把它当作这个位置的优势值相当于把期末一次性打分变成了逐字批改每一步都有密集、细粒度的监督信号学生模型能贴着教师的完整概率分布快速对齐而不是只学到这道题做对了。关键设计 2直接复用 RL 提示词蒸馏语料零成本OPD 直接复用各 RL teacher 训练时的 prompt 作为蒸馏数据无需额外构造语料。各专家训练时用过什么题目OPD 就用什么题目。省掉一套独立的蒸馏数据集构建流程工程上极其省心地一鱼多吃。RL OPD 实测收益推理平均 10.96 分这套组合拳的官方数据相当能打能力维度RL OPD 提升一句话解读推理与通用能力↑ 10.96 分平均数学、代码、知识类基准普涨Agent 能力↑ 6.96 分平均16 个专家中 5 个是 agentic 模型合并收益直接兑现合并后的 MiniCPM5-2B 综合均分53.9超过对比集合中所有更大的 4B 级模型最高 51.1部分代表性成绩基准MiniCPM5-2B同规模最强对手AIME 2025数学86.541.9LiveCodeBench v6代码69.142.9SWE-bench Verified编程智能体46.46.0GAIA Text-103通用智能体88.749.5MiniCPM5-2B-MLX 模型规格一览本仓库是上述最终模型的MLX / 4bit 版本专为 Apple SiliconM 系列芯片统一内存架构设计。核心规格见 config.json项目数值架构标准LlamaForCausalLM总参数2,516,756,480约 2.5B隐藏层数42注意力GQA16 个 Q heads / 2 个 KV heads上下文长度131,072128K词表大小130,560量化4bit / group_size 64 / affineMLX⚡ 4bit 量化让这样一个16 专家合体的模型可以舒服地跑在 MacBook 的统一内存里。生成参数建议temperature1.0, top_p0.95, min_p0.0已预置在 generation_config.json 中。项目文件导读从配置文件看懂这个模型文件作用README.md / README-cn.md完整文档训练流程、基准成绩、各框架部署教程config.json模型结构超参 MLX 4bit 量化配置generation_config.json官方推荐采样参数chat_template.jinja对话模板控制思考/工具调用等角色格式tokenizer.json / tokenizer_config.json分词器定义与配置model.safetensors model.safetensors.index.json权重文件及索引想深挖 OPD 与完整训练配方的原始出处重点阅读 README.md 中的Training Recipe章节即可。总结OPD 给端侧模型带来的启示 回看这套16 合 1的炼法它给了我们三个可复用的经验专家分工、蒸馏合并RL 阶段可以放心地各练各的OPD 负责最后一公里的能力合璧逐 token 的密集信号 逐条的稀疏信号用全词表反向 KL 散度当优势估计把教师能力逐字灌给学生数据复用RL 的 prompt 就是蒸馏的语料工程成本几乎为零对于端侧部署场景MiniCPM5-2B-MLX 证明了2B 量级的模型靠训练配方而不是堆参数同样能打出超越 4B 模型的综合成绩。如果需要本地使用可执行git clone https://gitcode.com/OpenBMB/MiniCPM5-2B-MLX获取模型文件再配合 mlx-lm 框架在 Apple Silicon 设备上运行。赞分享人工智能大模型基础模型本地部署模型量化openBMB【免费下载链接】MiniCPM5-2B-MLX项目地址https://ai.gitcode.com/OpenBMB/MiniCPM5-2B-MLX点击查看免费下载相关推荐DiffusionOPD揭秘VeRL-Omni如何实现多教师在线策略蒸馏让扩散模型训练更高效DiffusionOPD揭秘VeRL Omni如何实现多教师在线策略蒸馏让扩散模型训练更高效 DiffusionOPDDiffusion On PolicMiniCPM5-2B-mlx-4Bit 思考模式揭秘enable_thinking 推理能力实用指南MiniCPM5 2B mlx 4Bit 思考模式揭秘enable_thinking 推理能力实用指南 MiniCPM5 2B mlx 4Bit 是 MiniHy-Memory-30B-A3B训练原理全解记忆在线策略蒸馏OPD与强化学习两阶段方法Hy Memory 30B A3B训练原理全解记忆在线策略蒸馏OPD与强化学习两阶段方法 Hy Memory 30B A3B 是腾讯混元推出的轻量级 长期记忆上一篇3步解锁公众号数据洞察wechat_articles_spider实战应用指南下一篇Windows和Office激活终极指南KMS_VL_ALL_AIO智能脚本详解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考