Kimi K2万亿参数MoE模型解析MuonClip优化器如何稳住1T训练【免费下载链接】Kimi-K2Kimi K2 is the large language model series developed by Moonshot AI team项目地址: https://gitcode.com/GitHub_Trending/ki/Kimi-K2Kimi K2 是 Moonshot AI 开源的万亿参数混合专家MoE大模型核心解决了超大 MoE 模型训练失稳这一难题。它的训练过程把 Muon 优化器首次应用到 1T 参数规模全程零训练不稳定同时在编码和智能体任务上打到了开源第一梯队。对做大规模训练或 Agent 应用的人来说这是值得细读的一篇教科书级案例。为什么值得关注先看两个数字总参数 1T每个 token 激活 32B。也就是说推理时每次真正干活的参数只占总量的约 3.2%——用 MoE 把知识容量和单 token 计算量解耦是 Kimi K2 成本可控的前提。再看结果。在 SWE-bench Verified单轮 Agent 编码上 Kimi-K2-Instruct 拿到 65.8% 的准确率超过同表的 GPT-4.154.6%与 Claude Sonnet 472.7% 带扩展思考除外LiveCodeBench v6 的 Pass1 为 53.7在对比的开源模型中排第一。更关键的是训练侧的指标15.5T tokens 的预训练全程零不稳定zero training instability。对从业者来说万亿 MoE 稳定收敛这两个词同时出现本身就稀缺。核心技术拆解Muon 优化器难在哪Muon 的机制和 AdamW 不同它不逐元素缩放梯度而是对每个权重矩阵做近似的正交化即对梯度矩阵做 SVD 后保留正交方向再按谱范数约束更新幅度。这么做的好处是每步更新的形状更均匀长训中不容易出现个别维度梯度爆炸或消失。问题出在规模上。Muon 此前基本停留在中小模型的实验里。到了 1T 参数、61 层、384 个专家这个量级正交化计算要跨大量 GPU 做分布式同步数值精度、学习率匹配、通信开销任何一个环节出问题loss 曲线就可能起飞。这正是万亿 MoE 训练中最怕的事训到一半崩掉前面几十亿美金的算力全部打水漂。MuonClip 是怎么解决的Kimi K2 的做法可以概括为先上规模再补短板把 Muon 用到前所未有的规模。团队直接把 Muon 优化器铺到 1T 参数 MoE 的全量预训练上而不是稠密部分用 Muon、专家部分用别的这种保守拆分。针对扩展中暴露的不稳定开发新的优化技术即 MuonClip。在放大训练规模的过程中Muon 原有的更新幅度控制在部分参数上失效MuonClip 对这些更新做约束把可能失稳的步长夹回安全范围从而消除了扩展带来的震荡。效果15.5T tokens 预训练零不稳定。没有中途重启、没有大规模回滚。稳定不是调参数调出来的运气而是优化器层面的设计结果。稳定性换来了什么优化器层面的收益直接体现在下游能力上。稳定预训练意味着 32B 激活参数的 MoE 能把 15.5T tokens 的信息吃干榨净指令模型在 AIME 2024 拿 69.6Avg64、MATH-500 拿 97.4、Tau2 工具调用三个场景平均领先多数对比模型Base 模型则把 MMLU 5-shot 做到 87.8超过 DeepSeek-V3-Base。换句话说MuonClip 的价值不只是训得完而是训得满。快速上手从仓库到推理服务拉取仓库。仓库内包含部署文档与工具调用指南模型权重另在 Huggingface 上以 block-fp8 格式发布moonshotai/Kimi-K2-Instruct。git clone https://gitcode.com/GitHub_Trending/ki/Kimi-K2准备权重与引擎。官方推荐四套推理引擎vLLM、SGLang、KTransformers、TensorRT-LLM。vLLM 需 v0.10.0rc1 及以上版本。128K 上下文下FP8 权重在 H200/H20 平台的最小部署单元是 16 卡集群TP 或 DPEP。以 vLLM 起服务16 卡张量并行示例命令来自 docs/deploy_guidance.mdvllm serve $MODEL_PATH \ --port 8000 \ --served-model-name kimi-k2 \ --trust-remote-code \ --tensor-parallel-size 16 \ --enable-auto-tool-choice \ --tool-call-parser kimi_k2调通对话端点。官方建议temperature 0.6system prompt 用默认即可response client.chat.completions.create( modelkimi-k2, messages[{role: user, content: 请简短自我介绍一下。}], temperature0.6, max_tokens256, )启用工具调用。需要第 3 步里的--enable-auto-tool-choice和--tool-call-parser kimi_k2两个开关客户端按finish_reason tool_calls循环执行工具并回填结果完整流程见 docs/tool_call_guidance.md。一个省事的细节Kimi-K2 复用了DeepSeekV3CausalLM架构config.json里model_type设为kimi_k2。如果你的框架不识别这个类型临时改成deepseek_v3也能跑只是工具调用需要自己解析。关键参数一览项目规格架构MoE混合专家总参数 / 激活参数1T / 32B层数含密集层61其中密集层 1注意力隐藏维度7168MoE 隐藏维度每专家2048注意力头数64专家数量 / 每 token 选择384 / 8共享专家1注意力机制MLAMulti-head Latent Attention低秩压缩 KV激活函数SwiGLU词汇表大小160K上下文长度128K优化器MuonClip基于 Muon 扩展预训练数据量15.5T tokens权重格式block-fp8许可证Modified MIT代码与权重同协议谁该用 Kimi K2做 Agent / 编码系统的开发者Instruct 版本是反射级模型不强制长思考响应快65.8% 的 SWE-bench Verified 单轮成绩说明它能直接扛住真实代码修复任务需要 128K 上下文的业务长文档、长会话场景开箱可用研究者与微调团队Base 版本面向想要完整控制权的人群配合 Modified MIT 协议商用与二次开发门槛低关注训练技术的人MuonClip 是目前公开材料里万亿 MoE 非 AdamW 系优化器最完整的样本。延伸阅读想深入 MuonClip 的训练细节优先看仓库自带的两份文档部署配置与参数解释在 docs/deploy_guidance.md工具调用的消息流转协议在 docs/tool_call_guidance.md。模型架构与全部评测原始数据在 README.md许可证条款见 LICENSE。完整训练过程、MuonClip 的推导与消融实验官方放在了 Kimi K2 技术报告与技术博客中搜索 Kimi K2: Open Agentic IntelligencearXiv: 2507.20534即可找到。【免费下载链接】Kimi-K2Kimi K2 is the large language model series developed by Moonshot AI team项目地址: https://gitcode.com/GitHub_Trending/ki/Kimi-K2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/9/15 11:07:00 · 阅读 1.2k Kimi K2万亿参数MoE模型解析：MuonClip优化器如何稳住1T训练
Kimi K2万亿参数MoE模型解析MuonClip优化器如何稳住1T训练【免费下载链接】Kimi-K2Kimi K2 is the large language model series developed by Moonshot AI team项目地址: https://gitcode.com/GitHub_Trending/ki/Kimi-K2Kimi K2 是 Moonshot AI 开源的万亿参数混合专家MoE大模型核心解决了超大 MoE 模型训练失稳这一难题。它的训练过程把 Muon 优化器首次应用到 1T 参数规模全程零训练不稳定同时在编码和智能体任务上打到了开源第一梯队。对做大规模训练或 Agent 应用的人来说这是值得细读的一篇教科书级案例。为什么值得关注先看两个数字总参数 1T每个 token 激活 32B。也就是说推理时每次真正干活的参数只占总量的约 3.2%——用 MoE 把知识容量和单 token 计算量解耦是 Kimi K2 成本可控的前提。再看结果。在 SWE-bench Verified单轮 Agent 编码上 Kimi-K2-Instruct 拿到 65.8% 的准确率超过同表的 GPT-4.154.6%与 Claude Sonnet 472.7% 带扩展思考除外LiveCodeBench v6 的 Pass1 为 53.7在对比的开源模型中排第一。更关键的是训练侧的指标15.5T tokens 的预训练全程零不稳定zero training instability。对从业者来说万亿 MoE 稳定收敛这两个词同时出现本身就稀缺。核心技术拆解Muon 优化器难在哪Muon 的机制和 AdamW 不同它不逐元素缩放梯度而是对每个权重矩阵做近似的正交化即对梯度矩阵做 SVD 后保留正交方向再按谱范数约束更新幅度。这么做的好处是每步更新的形状更均匀长训中不容易出现个别维度梯度爆炸或消失。问题出在规模上。Muon 此前基本停留在中小模型的实验里。到了 1T 参数、61 层、384 个专家这个量级正交化计算要跨大量 GPU 做分布式同步数值精度、学习率匹配、通信开销任何一个环节出问题loss 曲线就可能起飞。这正是万亿 MoE 训练中最怕的事训到一半崩掉前面几十亿美金的算力全部打水漂。MuonClip 是怎么解决的Kimi K2 的做法可以概括为先上规模再补短板把 Muon 用到前所未有的规模。团队直接把 Muon 优化器铺到 1T 参数 MoE 的全量预训练上而不是稠密部分用 Muon、专家部分用别的这种保守拆分。针对扩展中暴露的不稳定开发新的优化技术即 MuonClip。在放大训练规模的过程中Muon 原有的更新幅度控制在部分参数上失效MuonClip 对这些更新做约束把可能失稳的步长夹回安全范围从而消除了扩展带来的震荡。效果15.5T tokens 预训练零不稳定。没有中途重启、没有大规模回滚。稳定不是调参数调出来的运气而是优化器层面的设计结果。稳定性换来了什么优化器层面的收益直接体现在下游能力上。稳定预训练意味着 32B 激活参数的 MoE 能把 15.5T tokens 的信息吃干榨净指令模型在 AIME 2024 拿 69.6Avg64、MATH-500 拿 97.4、Tau2 工具调用三个场景平均领先多数对比模型Base 模型则把 MMLU 5-shot 做到 87.8超过 DeepSeek-V3-Base。换句话说MuonClip 的价值不只是训得完而是训得满。快速上手从仓库到推理服务拉取仓库。仓库内包含部署文档与工具调用指南模型权重另在 Huggingface 上以 block-fp8 格式发布moonshotai/Kimi-K2-Instruct。git clone https://gitcode.com/GitHub_Trending/ki/Kimi-K2准备权重与引擎。官方推荐四套推理引擎vLLM、SGLang、KTransformers、TensorRT-LLM。vLLM 需 v0.10.0rc1 及以上版本。128K 上下文下FP8 权重在 H200/H20 平台的最小部署单元是 16 卡集群TP 或 DPEP。以 vLLM 起服务16 卡张量并行示例命令来自 docs/deploy_guidance.mdvllm serve $MODEL_PATH \ --port 8000 \ --served-model-name kimi-k2 \ --trust-remote-code \ --tensor-parallel-size 16 \ --enable-auto-tool-choice \ --tool-call-parser kimi_k2调通对话端点。官方建议temperature 0.6system prompt 用默认即可response client.chat.completions.create( modelkimi-k2, messages[{role: user, content: 请简短自我介绍一下。}], temperature0.6, max_tokens256, )启用工具调用。需要第 3 步里的--enable-auto-tool-choice和--tool-call-parser kimi_k2两个开关客户端按finish_reason tool_calls循环执行工具并回填结果完整流程见 docs/tool_call_guidance.md。一个省事的细节Kimi-K2 复用了DeepSeekV3CausalLM架构config.json里model_type设为kimi_k2。如果你的框架不识别这个类型临时改成deepseek_v3也能跑只是工具调用需要自己解析。关键参数一览项目规格架构MoE混合专家总参数 / 激活参数1T / 32B层数含密集层61其中密集层 1注意力隐藏维度7168MoE 隐藏维度每专家2048注意力头数64专家数量 / 每 token 选择384 / 8共享专家1注意力机制MLAMulti-head Latent Attention低秩压缩 KV激活函数SwiGLU词汇表大小160K上下文长度128K优化器MuonClip基于 Muon 扩展预训练数据量15.5T tokens权重格式block-fp8许可证Modified MIT代码与权重同协议谁该用 Kimi K2做 Agent / 编码系统的开发者Instruct 版本是反射级模型不强制长思考响应快65.8% 的 SWE-bench Verified 单轮成绩说明它能直接扛住真实代码修复任务需要 128K 上下文的业务长文档、长会话场景开箱可用研究者与微调团队Base 版本面向想要完整控制权的人群配合 Modified MIT 协议商用与二次开发门槛低关注训练技术的人MuonClip 是目前公开材料里万亿 MoE 非 AdamW 系优化器最完整的样本。延伸阅读想深入 MuonClip 的训练细节优先看仓库自带的两份文档部署配置与参数解释在 docs/deploy_guidance.md工具调用的消息流转协议在 docs/tool_call_guidance.md。模型架构与全部评测原始数据在 README.md许可证条款见 LICENSE。完整训练过程、MuonClip 的推导与消融实验官方放在了 Kimi K2 技术报告与技术博客中搜索 Kimi K2: Open Agentic IntelligencearXiv: 2507.20534即可找到。【免费下载链接】Kimi-K2Kimi K2 is the large language model series developed by Moonshot AI team项目地址: https://gitcode.com/GitHub_Trending/ki/Kimi-K2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考