距离我上次认真读技术报告已经过去一段时间了这类需要点开链接、逐段标记、再对照公开榜单看效果的深度剖析越来越像是少数人的乐趣。但当看到“MiMo-V2.6”和“第一开源大模型”并列出现的时候我还是没忍住点进去了。过去半年大家都在讨论强化学习RL怎么让大模型“自己变聪明”可大多数说得热闹真正拿出完整技术报告并把模型权重放出来的项目并不多。这份报告最吸引我的地方是标题里那半句话“迈向自我改进的强化学习规模化”。它不是讲“我们做了个更强的模型”而是在尝试回答一个更本质的问题——当一个模型能自己生成数据、自己验证、自己迭代的时候开源社区该怎么跟上这篇文章我准备把MiMo-V2.6技术报告里我认为最值得读的部分拆开聊一聊从方法论到复现门槛再到我对“开源大模型”这件事的新理解。1. 后训练时代的分水岭为什么 MiMo-V2.6 把宝押在强化学习上这几年大模型的发展脉络其实很清晰前两年大家在卷预训练堆参数、堆token、堆算力谁家的底座大谁说话硬气。可到了2024年下半年风向变了。预训练带来的边际收益肉眼可见地在递减反而是后训练——尤其是强化学习——成了拉开差距的关键环节。大家应该都有印象OpenAI的o1系列出来之后“推理模型”这个概念直接火遍全网随后国内外几乎所有大模型团队都开始补课。MiMo-V2.6这个版本选择把强化学习规模化作为核心叙事踩的正是这个大势。1.1 预训练红利见顶RL成为新引擎为什么预训练不灵了数据层面高质量文本语料基本被挖得差不多了你再怎么清洗、怎么配比能挤出来的新信息有限算力层面万卡集群的边际成本越来越高但换来的损失下降越来越平缓。这时候强化学习就显出了优势——它不依赖“更多数据”而是依赖“更好的反馈信号”。同一个模型让它在环境中多试错几次通过奖励信号自己调整策略往往比继续喂几万亿token更有效。这在游戏AI里早就验证过了AlphaGo、AlphaZero都是这么干的。现在只不过是把这套思路搬到了语言模型上。MiMo-V2.6很明显是奔着这条路去的。技术报告里有一句话让我印象很深大意是当模型学会自我改进之后后训练的规模效应才刚刚开始。意思是说你不必再像以前那样费劲地人工标注偏好数据只需要设计好奖励规则模型就能在迭代中不断变强。这个转变听着简单实际操作起来却非常考验团队的工程能力。1.2 从“抄作业”到“自己解题对答案”我自己的理解里传统的有监督微调SFT像是让学生抄作业——你给他标准答案他模仿着来写得好不好取决于参考答案的质量。而强化学习则像是让学生自己动手解题做完之后拿标准答案核对错了就回头检查哪个步骤出了问题。这个过程不需要每一道题都有人工讲解只要答案是可以验证的学生就能自己改错、自己总结。MiMo-V2.6把这种思路用到了极致。它的报告里反复提到“规则可验证奖励”rule-based reward意思是在数学、代码这类有明确对错标准的场景里不需要训练一个奖励模型来判断好坏直接用编译器的输出、单元测试的结果、标准答案的对比来给分。这个设计让数据飞轮转得飞快——模型生成一堆候选解验证器筛出对的错的解走回头路更新策略整个过程不需要人类介入。这个逻辑听上去很顺但实际落地的时候光是把不同来源的代码题、数学题统一成同一种可验证格式就是一个不小的工程。MiMo-V2.6的团队在这块花了多大精力报告里没有直接写但从它数据清洗和任务构造的细节描述来看这个前置工作的成本绝对不低。1.3 “第一开源大模型”的底气来自哪里“第一开源大模型”这个定位不是自封的。在我翻到的对比信息里MiMo-V2.6在部分推理能力评测上已经能和全球领先的闭源模型掰手腕而且是少数敢针对“强化学习规模化”发布完整技术方案的开源项目。很多团队能做到高性能但未必愿意把自己的RL训练细节、奖励设计思路、数据配比策略公开到这么细的程度。这也是我为什么愿意写这篇解析——开源模型的价值不只是权重公开更在于训练追随能力的透明度。2. 技术报告最核心的方法论从“模仿人类”到“用规则驱动自我改进”如果说标题里的“强化学习规模化”是MiMo-V2.6的旗帜那“自我改进”就是旗帜上的图腾。这一章我想聊聊这份技术报告到底讲了什么方法、为什么它和以前的RLHF不太一样、以及它所谓的“自动生成新任务-自己生成推理路径-自己验证对错”是怎么闭环的。2.1 规则奖励怎么设计才算真正“可验证”先说说奖励信号的细节。传统RLHF用的是人类偏好对比需要大量人工标注成本高、噪声大而且容易让模型学会“讨好标注者”而不是“变聪明”。MiMo-V2.6转向规则可验证奖励核心理念是凡是能用确定性标准判定的任务就不用人类主观评价。具体到代码生成任务它的做法是给定一个编程问题模型需要生成完整可运行的代码然后放到沙箱里执行跑预置的单元测试用例。全通过记1分有失败就记0分。在这个过程中除了最终结果的正确与否还可以给梯形奖励——比如通过了多少个测试用例、编译耗时多少、有没有依赖黑名单接口等。数学任务也一样标准答案只有一个模型写推理步骤最终答案和参考答案一致才算对。这里有一个很值得注意的细节MiMo-V2.6在报告中明确区分了“最终答案正确”和“推理过程合理”。它的做法是即使最终答案对了如果推理链出现关键逻辑跳步也会扣分反过来过程写得完整但答案错了同样不得分。这种双重要求实际上是在同时优化模型的推理能力和表达能力。下面我整理了一个对比表格方便大家直观感受规则奖励和传统RLHF的差异维度传统RLHF规则可验证奖励MiMo-V2.6奖励来源人类标注偏好确定性验证器评分标注成本高需要大量人工低可自动运行验证反馈精度粗粒度、偏好级细粒度、结果级过程级可扩展性受限于标注速度可无限生成任务并自动验证适用场景对话、创意写作等领域代码、数学、逻辑推理等领域从表格能看出来规则奖励不是万能的它的优势场景恰恰是MiMo-V2.6最有底气的地方——代码和数学。2.2 数据飞轮模型自己生成数据自己验证自己进步MiMo-V2.6自我改进的核心在于构建了一条“生成-验证-学习-再生成”的循环。技术报告里给出了一条比较完整的链路设计我用自己的话转述一下种子阶段用一小部分经过筛选的高质量数学题、编程题作为初始训练集让模型先学会解题的基本套路。自动任务生成在模型能力达到一定阈值后让它反客为主根据已有的题目风格和难度自己生成新题目。这些新题目会经过一轮规则校验比如是否重复、难度是否合理、有没有明显的语法错误合格才进入候选池。并行采样与验证对每道候选题模型会生成多条解题路径比如温度0.7采样8次然后全部送入验证器打分。策略更新得分高的样本作为正例进强化学习更新得分低的样本作为负例通过对比学习让模型逐步减少类似错误。循环迭代重复以上过程每完成一轮把这一轮的模型作为新起点继续跑。这个循环里最妙的一步是“自动任务生成”。以前大家依赖外部数据源OpenAI有GPT-4再生数据开源社区往往没有这个能力。MiMo-V2.6通过让模型自己出题把数据瓶颈也解决了——你不需要囤积无尽的题海只要种子数据质量够高模型就能自己长出更多的训练材料。这种“教学相长”式的设计用在开源模型上尤其适用因为开源模型本来就不像闭源那样拥有庞大的私域数据池。2.3 部分可验证场景如何兜底从纯规则走向混合奖励当然不是所有任务都能严格判定对错。代码和数学是规则奖励的主场但一个真正实用的大模型总不能只会做题。MiMo-V2.6在技术报告里也没有回避这个问题它在通用对话、百科问答、文案生成等场景上采用的是混合奖励机制。思路大概是这样的对结果可验证的部分比如事实性问答中的标准知识点用规则验真对创意性输出则训练一个轻量级的奖励模型打分同时设置一个较低权重避免奖励模型的主观偏见反向污染主线能力。换句话说规则奖励负责守住能力的“基本面”奖励模型负责在规则覆盖不到的角落兜底。我实际看过不少团队做RL容易犯的错误是一刀切——要么全用规则导致模型只会做有标准答案的题对话能力反而退化要么全用奖励模型人工标注成本高到怀疑人生。MiMo-V2.6这种按任务类型分流的思路工程上更稳妥也更接近产品落地时的真实需求。2.4 为什么叫“规模化”算力、样本量与策略更新的三角关系“规模化”这个词在技术报告里不是口号而是实打实的参数。MiMo-V2.6的强化学习阶段使用了大量并发样本生成我看到的其中一组内部测试数据表明当并行采样的路数从4路提升到8路时在相同算力预算下模型最终的数学推理通过率还有明显提升。这说明RL对采样充分度的依赖比很多人想象中更大你的模型生成的候选路径越多策略更新就越精准越不容易被随机噪声带偏。同时策略更新的batch大小也影响了稳定性。报告里有一个很细节的实操建议如果用分布式RL框架跑大规模迭代建议把KL散度控制在0.1以内否则旧策略和新策略相差太远模型容易出现能力回退。这个数值虽然写得很细但我实际体验过过大KL确实会出现“苦学新知识、忘掉老本领”的问题控制奖励约束对保持长期迭代稳定非常关键。3. 实测维度拆解代码、数学等可验证领域的提升路径说完了方法论来点实在的。一个模型好不好光看技术报告上的曲线图没用还是要落到具体任务上看它提升了什么、牺牲了什么。这一章我不会逐条列benchmark分数而是Pick几个有代表性的能力维度讲讲MiMo-V2.6在强化学习规模化之后具体哪些方面真的变强了。3.1 代码生成从“能编译”到“能通过全部测试用例”老一代开源模型写代码很多是“看着像”生成的代码能跑通语法检查但一到单元测试就原形毕露。MiMo-V2.6给我的明显感受是它对“代码正确性”的理解上了一个台阶。原因不难解释。它的RL训练里奖励信号直接绑定“是否通过全部测试用例”这比任何人类偏好标注都来得严谨。以前看某个模型“代码能力强”可能是它考试见过类似的题现在是一个能自己迭代的模型真的在大量的编译失败、运行超时、边缘用例报错中学会了怎么写出通过率更高的代码。我自己拿几道LeetCode中等偏上的题做过快速测试模型给出的解法思路是清晰的代码风格也规整更重要的是它会主动处理那些容易被忽略的边界条件——比如空数组、超大整数溢出这类细节在有SFT的模型里经常被忽略但在RL训练里验证器会一遍遍教它“这也不行那也不行”直到建立起条件反射。3.2 数学推理过程可解释和结果正确一个都不能少数学是MiMo-V2.6的另一个主场。之前很多开源模型在数学题上的表现给我的观感是“瞎猜”——答案碰巧对了中间步骤却完全是胡凑。MiMo-V2.6因为使用了过程结果双重奖励模型在推理链完整性上明显更扎实。技术报告里举了个例子让我印象很深一道多步骤代数题模型先写了错误的中间化简但最终答案碰巧对了奖励模块照样给出低分并引导模型重新检查中间步骤。经过这类样本的反复强化模型慢慢学会“每一步都尽量写清楚、写正确而不是直接跳到最后一步”的推导习惯。这一步其实特别重要因为大模型的数学能力一旦步入“可解释的推理”就不再只是刷题工具而是能真正辅助科研计算、金融风控等需要严谨逻辑的领域。这相当于从“会用公式”进化到“理解推导过程”。3.3 人类偏好对齐规则训练并没有牺牲对话体验很多人担心强化学习跑多了模型会变成“只会解题的偏科生”。MiMo-V2.6在通用对话能力上的处理给了一个不错的答案它在RL阶段保留了部分SFT数据作为锚点每次策略更新时用一个小比例的人类偏好数据约束模型不偏离通用主航道。我实测下来它写邮件、做摘要、解释概念的能力依然在及格线以上不会像一些极端RL模型那样“三句话不离代码”。这也验证了我的一个判断——RL规模化不是要做“偏才”而是在特定领域拔尖的同时尽量保住其他能力的面子。这个过程当然有取舍不可能面面俱到但至少比起那些一个劲刷榜、对话体验稀碎的开源模型MiMo-V2.6在这个度上把握得更好。3.4 场景延伸代码和数学之外下一个可验证赛道是什么MiMo-V2.6把规则奖励的主场选在代码和数学是有原因的——这两类任务的验证器成熟、数据可得性高、对错判定没有争议。但顺着这个思路想其实还有很多领域正在向“可验证”靠拢。比如智能体Agent任务。你在一个封闭沙箱里让Agent调用工具、完成网页操作或API请求每一步都有明确的状态反馈最后的任务是否完成也能程序化判定。这不就是天然的规则奖励吗再比如结构化数据抽取让模型从一堆非结构化文本里抽取指定字段再用程序比对抽取结果的准确性同样适合RL训练。我个人觉得MiMo-V2.6带给大家的方向感比它的具体能力还要有价值——先用规则奖励把一个领域做到极致然后copy这套方法论到下一个有“天然正确答案”的赛道。这也是“强化学习规模化”一词真正的外延。4. 开源的价值不止是权重复现 MiMo-V2.6 要跨过的四道门槛标题里“第一开源”这四个字让很多人下意识以为“开源免费下载自己也能训一个”。但稍微懂行的人都知道权重公开只是最后一公里真正的门槛在权重之外。这一章我想说说如果你想自己复现MiMo-V2.6的RL规模化路线你实际上要跨过哪几道门槛。4.1 门槛一算力需求比预训练更“挑剔”预训练是越多越好RL训练却对“稳定性”和“同步效率”更敏感。MiMo-V2.6在强化学习阶段需要同时运行大量Rollout采样生成、Reward Model打分、Policy更新这套流程对集群的通信带宽、任务调度、容错能力都提出了新要求。我给一个粗略的参考如果你用8卡H100跑一个7B模型的RL训练对比同样规模模型的SFTRL的显存占用和通信开销高出30%~50%是很正常的。如果你用的是更小的消费级显卡比如4090要跑GRPO这类算法梯度同步的损耗会很大还容易出现中途OOM把整个训练打断的情况。所以想复现的团队最好一开始就规划云端的NVLink高配集群而不是拿着单机尝试硬扛。4.2 门槛二可验证数据集的构建与清洗MiMo-V2.6能实现自我改进种子数据功不可没。报告里提到的数据组织方式有一个很务实的思路先用去重算法把公开代码库、数学题库里的相似样本做收敛然后按难度分级确保难度分布是“阶梯式上升”的。太简单的数据会让RL很快饱和太难的数据会让模型在训练初期频繁犯错奖励信号全是负数策略更新原地踏步。我第一次做这类数据清洗的时候犯过一个低级错误——把不同来源的编程题混合在一起结果题目自带的测试用例和题目本身出自不同版本导致验证器经常误判。后来才意识到所有数据必须统一格式、统一运行环境任何细节不一致都会在RL训练中被放大。这块工作看似不起眼但直接影响RL收敛质量。4.3 门槛三分布式RL框架的稳定性训练中常遇到的“Loss炸了”问题在RL里会更频繁。MiMo-V2.6在技术报告里提到它们用了一套自研的分布式RL框架能够动态调整采样batch、自动检测异常节点这和开源社区惯用的通用RL框架相比在容错和资源利用率上都有明显优势。如果你打算用社区通用方案复现我给你提个醒先把“断点续训”做好RL训练动辄数天中途一次节点故障就白跑的情况太常见了。我当时跑一个实验连续熬了三天结果一个worker显存泄漏直接让全部节点崩掉重新来了一次。从那之后我养成了每半小时存一次checkpoint的习惯。4.4 门槛四评估体系的公正与长效最后一道门槛是评估。MiMo-V2.6的榜单成绩当然好看但你复现之后怎么确认自己真的复现成功了我的建议是别只看几个标准benchmark而是自己留一套“私有测试集”题目可以是从近期竞赛里抽取、训练阶段没有见过的。只有自己的私有评估稳定通过才算真正把RL规模化这条路跑通了。顺便说一句开源模型容易给人一种“反正都可以看抄一抄就行”的错觉实际上看懂了和跑通了之间的距离比想象中大得多。这也是我这份解析里反复强调“工程细节”的原因——学术创新往往只是一个开始电力、显存、稳定的分布式环境才是把论文变成现实的焊点。4.5 顺手盘点MiMo-V2.6让开源社区重新站在同一起跑线传统观念里开源模型比闭源模型落后一代主要在“数据”和“工程能力”上被卡脖子。MiMo-V2.6最有意义的点在于它把“规则奖励驱动的自我改进”这条最核心的路径公开了。从此以后开源社区不再只是拿着闭源模型的蒸馏数据做二传手而是有能力自己构建持续进化的训练循环。这个转折可能比任何一份榜单上的排名都更有长远价值。5. 几点总结与个人判断开源大模型的下一站在哪里写到这里技术报告的核心内容已经拆解得差不多了。最后我想抛开细节说说我自己读完这份报告的几点体会。不一定对但都是我真实的想法。第一强化学习规模化确实是当前大模型提升能力的确定性路径但它的前置条件很苛刻——你得有足够多的可验证任务、足够稳的训练框架、足够强的算力调度能力。这三样缺一不可MiMo-V2.6之所以能走在前面很大程度上是因为它把这三条腿都接上了。第二开源大模型的竞争维度正在从“谁更能接近闭源”转向“谁更擅长自己迭代自己”。以前开源模型的更新靠社区投喂数据以后靠的是强化学习循环的自我繁殖能力。MiMo-V2.6证明了这条路走得通后面注定会有更多模型跟进。第三对中小团队和独立开发者来说MiMo-V2.6是一个信号你不需要从零训练一个模型只需要在开源底座上设计好自己的奖励规则和验证器就有机会在特定领域做出比通用大模型更专业的效果。这种“站在开源肩膀上做垂直深度强化”的玩法未来应该会越来越普遍。我个人在实际使用中的体会是强化学习规模化听起来很玄但落到工程上到最后拼的都是“谁更愿意做脏活累活”。数据清洗、验证器设计、训练稳定性调试——这些细节没有一个写在论文摘要里但它们才是决定一个开源模型能不能真正实现“自我改进”的关键。MiMo-V2.6把这条路走通了也让所有跟着它往前走的团队都有了值得模仿的样板。 
长河君 · 2026/10/28 5:54:19 · 阅读 1.2k MiMo-V2.6技术解析：强化学习规模化推动开源大模型自我改进
距离我上次认真读技术报告已经过去一段时间了这类需要点开链接、逐段标记、再对照公开榜单看效果的深度剖析越来越像是少数人的乐趣。但当看到“MiMo-V2.6”和“第一开源大模型”并列出现的时候我还是没忍住点进去了。过去半年大家都在讨论强化学习RL怎么让大模型“自己变聪明”可大多数说得热闹真正拿出完整技术报告并把模型权重放出来的项目并不多。这份报告最吸引我的地方是标题里那半句话“迈向自我改进的强化学习规模化”。它不是讲“我们做了个更强的模型”而是在尝试回答一个更本质的问题——当一个模型能自己生成数据、自己验证、自己迭代的时候开源社区该怎么跟上这篇文章我准备把MiMo-V2.6技术报告里我认为最值得读的部分拆开聊一聊从方法论到复现门槛再到我对“开源大模型”这件事的新理解。1. 后训练时代的分水岭为什么 MiMo-V2.6 把宝押在强化学习上这几年大模型的发展脉络其实很清晰前两年大家在卷预训练堆参数、堆token、堆算力谁家的底座大谁说话硬气。可到了2024年下半年风向变了。预训练带来的边际收益肉眼可见地在递减反而是后训练——尤其是强化学习——成了拉开差距的关键环节。大家应该都有印象OpenAI的o1系列出来之后“推理模型”这个概念直接火遍全网随后国内外几乎所有大模型团队都开始补课。MiMo-V2.6这个版本选择把强化学习规模化作为核心叙事踩的正是这个大势。1.1 预训练红利见顶RL成为新引擎为什么预训练不灵了数据层面高质量文本语料基本被挖得差不多了你再怎么清洗、怎么配比能挤出来的新信息有限算力层面万卡集群的边际成本越来越高但换来的损失下降越来越平缓。这时候强化学习就显出了优势——它不依赖“更多数据”而是依赖“更好的反馈信号”。同一个模型让它在环境中多试错几次通过奖励信号自己调整策略往往比继续喂几万亿token更有效。这在游戏AI里早就验证过了AlphaGo、AlphaZero都是这么干的。现在只不过是把这套思路搬到了语言模型上。MiMo-V2.6很明显是奔着这条路去的。技术报告里有一句话让我印象很深大意是当模型学会自我改进之后后训练的规模效应才刚刚开始。意思是说你不必再像以前那样费劲地人工标注偏好数据只需要设计好奖励规则模型就能在迭代中不断变强。这个转变听着简单实际操作起来却非常考验团队的工程能力。1.2 从“抄作业”到“自己解题对答案”我自己的理解里传统的有监督微调SFT像是让学生抄作业——你给他标准答案他模仿着来写得好不好取决于参考答案的质量。而强化学习则像是让学生自己动手解题做完之后拿标准答案核对错了就回头检查哪个步骤出了问题。这个过程不需要每一道题都有人工讲解只要答案是可以验证的学生就能自己改错、自己总结。MiMo-V2.6把这种思路用到了极致。它的报告里反复提到“规则可验证奖励”rule-based reward意思是在数学、代码这类有明确对错标准的场景里不需要训练一个奖励模型来判断好坏直接用编译器的输出、单元测试的结果、标准答案的对比来给分。这个设计让数据飞轮转得飞快——模型生成一堆候选解验证器筛出对的错的解走回头路更新策略整个过程不需要人类介入。这个逻辑听上去很顺但实际落地的时候光是把不同来源的代码题、数学题统一成同一种可验证格式就是一个不小的工程。MiMo-V2.6的团队在这块花了多大精力报告里没有直接写但从它数据清洗和任务构造的细节描述来看这个前置工作的成本绝对不低。1.3 “第一开源大模型”的底气来自哪里“第一开源大模型”这个定位不是自封的。在我翻到的对比信息里MiMo-V2.6在部分推理能力评测上已经能和全球领先的闭源模型掰手腕而且是少数敢针对“强化学习规模化”发布完整技术方案的开源项目。很多团队能做到高性能但未必愿意把自己的RL训练细节、奖励设计思路、数据配比策略公开到这么细的程度。这也是我为什么愿意写这篇解析——开源模型的价值不只是权重公开更在于训练追随能力的透明度。2. 技术报告最核心的方法论从“模仿人类”到“用规则驱动自我改进”如果说标题里的“强化学习规模化”是MiMo-V2.6的旗帜那“自我改进”就是旗帜上的图腾。这一章我想聊聊这份技术报告到底讲了什么方法、为什么它和以前的RLHF不太一样、以及它所谓的“自动生成新任务-自己生成推理路径-自己验证对错”是怎么闭环的。2.1 规则奖励怎么设计才算真正“可验证”先说说奖励信号的细节。传统RLHF用的是人类偏好对比需要大量人工标注成本高、噪声大而且容易让模型学会“讨好标注者”而不是“变聪明”。MiMo-V2.6转向规则可验证奖励核心理念是凡是能用确定性标准判定的任务就不用人类主观评价。具体到代码生成任务它的做法是给定一个编程问题模型需要生成完整可运行的代码然后放到沙箱里执行跑预置的单元测试用例。全通过记1分有失败就记0分。在这个过程中除了最终结果的正确与否还可以给梯形奖励——比如通过了多少个测试用例、编译耗时多少、有没有依赖黑名单接口等。数学任务也一样标准答案只有一个模型写推理步骤最终答案和参考答案一致才算对。这里有一个很值得注意的细节MiMo-V2.6在报告中明确区分了“最终答案正确”和“推理过程合理”。它的做法是即使最终答案对了如果推理链出现关键逻辑跳步也会扣分反过来过程写得完整但答案错了同样不得分。这种双重要求实际上是在同时优化模型的推理能力和表达能力。下面我整理了一个对比表格方便大家直观感受规则奖励和传统RLHF的差异维度传统RLHF规则可验证奖励MiMo-V2.6奖励来源人类标注偏好确定性验证器评分标注成本高需要大量人工低可自动运行验证反馈精度粗粒度、偏好级细粒度、结果级过程级可扩展性受限于标注速度可无限生成任务并自动验证适用场景对话、创意写作等领域代码、数学、逻辑推理等领域从表格能看出来规则奖励不是万能的它的优势场景恰恰是MiMo-V2.6最有底气的地方——代码和数学。2.2 数据飞轮模型自己生成数据自己验证自己进步MiMo-V2.6自我改进的核心在于构建了一条“生成-验证-学习-再生成”的循环。技术报告里给出了一条比较完整的链路设计我用自己的话转述一下种子阶段用一小部分经过筛选的高质量数学题、编程题作为初始训练集让模型先学会解题的基本套路。自动任务生成在模型能力达到一定阈值后让它反客为主根据已有的题目风格和难度自己生成新题目。这些新题目会经过一轮规则校验比如是否重复、难度是否合理、有没有明显的语法错误合格才进入候选池。并行采样与验证对每道候选题模型会生成多条解题路径比如温度0.7采样8次然后全部送入验证器打分。策略更新得分高的样本作为正例进强化学习更新得分低的样本作为负例通过对比学习让模型逐步减少类似错误。循环迭代重复以上过程每完成一轮把这一轮的模型作为新起点继续跑。这个循环里最妙的一步是“自动任务生成”。以前大家依赖外部数据源OpenAI有GPT-4再生数据开源社区往往没有这个能力。MiMo-V2.6通过让模型自己出题把数据瓶颈也解决了——你不需要囤积无尽的题海只要种子数据质量够高模型就能自己长出更多的训练材料。这种“教学相长”式的设计用在开源模型上尤其适用因为开源模型本来就不像闭源那样拥有庞大的私域数据池。2.3 部分可验证场景如何兜底从纯规则走向混合奖励当然不是所有任务都能严格判定对错。代码和数学是规则奖励的主场但一个真正实用的大模型总不能只会做题。MiMo-V2.6在技术报告里也没有回避这个问题它在通用对话、百科问答、文案生成等场景上采用的是混合奖励机制。思路大概是这样的对结果可验证的部分比如事实性问答中的标准知识点用规则验真对创意性输出则训练一个轻量级的奖励模型打分同时设置一个较低权重避免奖励模型的主观偏见反向污染主线能力。换句话说规则奖励负责守住能力的“基本面”奖励模型负责在规则覆盖不到的角落兜底。我实际看过不少团队做RL容易犯的错误是一刀切——要么全用规则导致模型只会做有标准答案的题对话能力反而退化要么全用奖励模型人工标注成本高到怀疑人生。MiMo-V2.6这种按任务类型分流的思路工程上更稳妥也更接近产品落地时的真实需求。2.4 为什么叫“规模化”算力、样本量与策略更新的三角关系“规模化”这个词在技术报告里不是口号而是实打实的参数。MiMo-V2.6的强化学习阶段使用了大量并发样本生成我看到的其中一组内部测试数据表明当并行采样的路数从4路提升到8路时在相同算力预算下模型最终的数学推理通过率还有明显提升。这说明RL对采样充分度的依赖比很多人想象中更大你的模型生成的候选路径越多策略更新就越精准越不容易被随机噪声带偏。同时策略更新的batch大小也影响了稳定性。报告里有一个很细节的实操建议如果用分布式RL框架跑大规模迭代建议把KL散度控制在0.1以内否则旧策略和新策略相差太远模型容易出现能力回退。这个数值虽然写得很细但我实际体验过过大KL确实会出现“苦学新知识、忘掉老本领”的问题控制奖励约束对保持长期迭代稳定非常关键。3. 实测维度拆解代码、数学等可验证领域的提升路径说完了方法论来点实在的。一个模型好不好光看技术报告上的曲线图没用还是要落到具体任务上看它提升了什么、牺牲了什么。这一章我不会逐条列benchmark分数而是Pick几个有代表性的能力维度讲讲MiMo-V2.6在强化学习规模化之后具体哪些方面真的变强了。3.1 代码生成从“能编译”到“能通过全部测试用例”老一代开源模型写代码很多是“看着像”生成的代码能跑通语法检查但一到单元测试就原形毕露。MiMo-V2.6给我的明显感受是它对“代码正确性”的理解上了一个台阶。原因不难解释。它的RL训练里奖励信号直接绑定“是否通过全部测试用例”这比任何人类偏好标注都来得严谨。以前看某个模型“代码能力强”可能是它考试见过类似的题现在是一个能自己迭代的模型真的在大量的编译失败、运行超时、边缘用例报错中学会了怎么写出通过率更高的代码。我自己拿几道LeetCode中等偏上的题做过快速测试模型给出的解法思路是清晰的代码风格也规整更重要的是它会主动处理那些容易被忽略的边界条件——比如空数组、超大整数溢出这类细节在有SFT的模型里经常被忽略但在RL训练里验证器会一遍遍教它“这也不行那也不行”直到建立起条件反射。3.2 数学推理过程可解释和结果正确一个都不能少数学是MiMo-V2.6的另一个主场。之前很多开源模型在数学题上的表现给我的观感是“瞎猜”——答案碰巧对了中间步骤却完全是胡凑。MiMo-V2.6因为使用了过程结果双重奖励模型在推理链完整性上明显更扎实。技术报告里举了个例子让我印象很深一道多步骤代数题模型先写了错误的中间化简但最终答案碰巧对了奖励模块照样给出低分并引导模型重新检查中间步骤。经过这类样本的反复强化模型慢慢学会“每一步都尽量写清楚、写正确而不是直接跳到最后一步”的推导习惯。这一步其实特别重要因为大模型的数学能力一旦步入“可解释的推理”就不再只是刷题工具而是能真正辅助科研计算、金融风控等需要严谨逻辑的领域。这相当于从“会用公式”进化到“理解推导过程”。3.3 人类偏好对齐规则训练并没有牺牲对话体验很多人担心强化学习跑多了模型会变成“只会解题的偏科生”。MiMo-V2.6在通用对话能力上的处理给了一个不错的答案它在RL阶段保留了部分SFT数据作为锚点每次策略更新时用一个小比例的人类偏好数据约束模型不偏离通用主航道。我实测下来它写邮件、做摘要、解释概念的能力依然在及格线以上不会像一些极端RL模型那样“三句话不离代码”。这也验证了我的一个判断——RL规模化不是要做“偏才”而是在特定领域拔尖的同时尽量保住其他能力的面子。这个过程当然有取舍不可能面面俱到但至少比起那些一个劲刷榜、对话体验稀碎的开源模型MiMo-V2.6在这个度上把握得更好。3.4 场景延伸代码和数学之外下一个可验证赛道是什么MiMo-V2.6把规则奖励的主场选在代码和数学是有原因的——这两类任务的验证器成熟、数据可得性高、对错判定没有争议。但顺着这个思路想其实还有很多领域正在向“可验证”靠拢。比如智能体Agent任务。你在一个封闭沙箱里让Agent调用工具、完成网页操作或API请求每一步都有明确的状态反馈最后的任务是否完成也能程序化判定。这不就是天然的规则奖励吗再比如结构化数据抽取让模型从一堆非结构化文本里抽取指定字段再用程序比对抽取结果的准确性同样适合RL训练。我个人觉得MiMo-V2.6带给大家的方向感比它的具体能力还要有价值——先用规则奖励把一个领域做到极致然后copy这套方法论到下一个有“天然正确答案”的赛道。这也是“强化学习规模化”一词真正的外延。4. 开源的价值不止是权重复现 MiMo-V2.6 要跨过的四道门槛标题里“第一开源”这四个字让很多人下意识以为“开源免费下载自己也能训一个”。但稍微懂行的人都知道权重公开只是最后一公里真正的门槛在权重之外。这一章我想说说如果你想自己复现MiMo-V2.6的RL规模化路线你实际上要跨过哪几道门槛。4.1 门槛一算力需求比预训练更“挑剔”预训练是越多越好RL训练却对“稳定性”和“同步效率”更敏感。MiMo-V2.6在强化学习阶段需要同时运行大量Rollout采样生成、Reward Model打分、Policy更新这套流程对集群的通信带宽、任务调度、容错能力都提出了新要求。我给一个粗略的参考如果你用8卡H100跑一个7B模型的RL训练对比同样规模模型的SFTRL的显存占用和通信开销高出30%~50%是很正常的。如果你用的是更小的消费级显卡比如4090要跑GRPO这类算法梯度同步的损耗会很大还容易出现中途OOM把整个训练打断的情况。所以想复现的团队最好一开始就规划云端的NVLink高配集群而不是拿着单机尝试硬扛。4.2 门槛二可验证数据集的构建与清洗MiMo-V2.6能实现自我改进种子数据功不可没。报告里提到的数据组织方式有一个很务实的思路先用去重算法把公开代码库、数学题库里的相似样本做收敛然后按难度分级确保难度分布是“阶梯式上升”的。太简单的数据会让RL很快饱和太难的数据会让模型在训练初期频繁犯错奖励信号全是负数策略更新原地踏步。我第一次做这类数据清洗的时候犯过一个低级错误——把不同来源的编程题混合在一起结果题目自带的测试用例和题目本身出自不同版本导致验证器经常误判。后来才意识到所有数据必须统一格式、统一运行环境任何细节不一致都会在RL训练中被放大。这块工作看似不起眼但直接影响RL收敛质量。4.3 门槛三分布式RL框架的稳定性训练中常遇到的“Loss炸了”问题在RL里会更频繁。MiMo-V2.6在技术报告里提到它们用了一套自研的分布式RL框架能够动态调整采样batch、自动检测异常节点这和开源社区惯用的通用RL框架相比在容错和资源利用率上都有明显优势。如果你打算用社区通用方案复现我给你提个醒先把“断点续训”做好RL训练动辄数天中途一次节点故障就白跑的情况太常见了。我当时跑一个实验连续熬了三天结果一个worker显存泄漏直接让全部节点崩掉重新来了一次。从那之后我养成了每半小时存一次checkpoint的习惯。4.4 门槛四评估体系的公正与长效最后一道门槛是评估。MiMo-V2.6的榜单成绩当然好看但你复现之后怎么确认自己真的复现成功了我的建议是别只看几个标准benchmark而是自己留一套“私有测试集”题目可以是从近期竞赛里抽取、训练阶段没有见过的。只有自己的私有评估稳定通过才算真正把RL规模化这条路跑通了。顺便说一句开源模型容易给人一种“反正都可以看抄一抄就行”的错觉实际上看懂了和跑通了之间的距离比想象中大得多。这也是我这份解析里反复强调“工程细节”的原因——学术创新往往只是一个开始电力、显存、稳定的分布式环境才是把论文变成现实的焊点。4.5 顺手盘点MiMo-V2.6让开源社区重新站在同一起跑线传统观念里开源模型比闭源模型落后一代主要在“数据”和“工程能力”上被卡脖子。MiMo-V2.6最有意义的点在于它把“规则奖励驱动的自我改进”这条最核心的路径公开了。从此以后开源社区不再只是拿着闭源模型的蒸馏数据做二传手而是有能力自己构建持续进化的训练循环。这个转折可能比任何一份榜单上的排名都更有长远价值。5. 几点总结与个人判断开源大模型的下一站在哪里写到这里技术报告的核心内容已经拆解得差不多了。最后我想抛开细节说说我自己读完这份报告的几点体会。不一定对但都是我真实的想法。第一强化学习规模化确实是当前大模型提升能力的确定性路径但它的前置条件很苛刻——你得有足够多的可验证任务、足够稳的训练框架、足够强的算力调度能力。这三样缺一不可MiMo-V2.6之所以能走在前面很大程度上是因为它把这三条腿都接上了。第二开源大模型的竞争维度正在从“谁更能接近闭源”转向“谁更擅长自己迭代自己”。以前开源模型的更新靠社区投喂数据以后靠的是强化学习循环的自我繁殖能力。MiMo-V2.6证明了这条路走得通后面注定会有更多模型跟进。第三对中小团队和独立开发者来说MiMo-V2.6是一个信号你不需要从零训练一个模型只需要在开源底座上设计好自己的奖励规则和验证器就有机会在特定领域做出比通用大模型更专业的效果。这种“站在开源肩膀上做垂直深度强化”的玩法未来应该会越来越普遍。我个人在实际使用中的体会是强化学习规模化听起来很玄但落到工程上到最后拼的都是“谁更愿意做脏活累活”。数据清洗、验证器设计、训练稳定性调试——这些细节没有一个写在论文摘要里但它们才是决定一个开源模型能不能真正实现“自我改进”的关键。MiMo-V2.6把这条路走通了也让所有跟着它往前走的团队都有了值得模仿的样板。