自我蒸馏究竟让模型学到了什么一篇新论文对推理进步证据的重新审查**原论文**Does self-distillation improve reasoning?**选文与版本**2026 年 10 月 14 日 arXiv cs.LG 最新列表选文10 月 15 日完成解读依据 2610.18613v1。**阅读范围**正文、理论证明、完整实验表、训练参数和梯度测量附录并核对所讨论 SDPO / OPSD 原始研究的公开主张。实验数字为作者报告未独立复现。摘要自我蒸馏的吸引力在于同一个模型在获得正确答案、参考解法或环境反馈后可能成为“更好的自己”再通过稠密的 token 级监督教会没有这些信息的学生模型。但这个故事包含几个需要分别验证的环节获得更多信息是否真的产生更好的教师学生的提升是否来自这些信息提升能否迁移到新问题收益是否只是由更长的思考过程换来。这篇论文围绕 SDPO 和 OPSD 进行复现与机制拆解。它发现所测 SDPO 在代码任务上的改善主要停留在训练题目部分科学领域训练伴随跨领域退化OPSD 的数学收益则更符合思考模式迁移而不依赖正确参考解法的内容。梯度分析进一步显示低方差的蒸馏信号不一定指向未见问题上的奖励改善。我的判断这篇论文最重要的贡献是把“模型分数提高”与“特权信息有效转化为可泛化能力”分开验证。它对两种具体方法给出了有力质疑但没有证明自我蒸馏普遍无效也没有证明强化学习在任何预算下都更优。1. 论文档案与阅读立场项目信息标题Does self-distillation improve reasoning?作者Jason Ken Adhinarta、Raina Wu、Ashutosh Sharma、Avinash Balakrishnan、Rameswar Panda、Polina Golland、Yoon Kim、Zhang-Wei HongarXiv2610.18613v1首次提交2026-10-13 15:59:36 UTC北京时间 10 月 13 日 23:59:36篇幅作者标注 33 页、11 图、24 表模型范围Qwen3 1.7B–14B以及 OLMo-3-7B 系列核心对象SDPO、OPSD代码、科学问答、工具使用和数学任务代码sleepypandu/does-sd-improve-reasoning状态arXiv 预印本本文不预设其已完成同行评议这是一篇以机制识别和评测审查为主的算法研究不是推出新训练算法的论文。评价它应看它能否排除已有解释的替代原因而不只看是否刷出最高分。2. 为什么“同一个模型教自己”看起来合理设学生仅看到问题x xx教师还看到训练时可用、部署时不可用的信息z zz。它们分别给出p S ( ⋅ ∣ x , y t ) , p T ( ⋅ ∣ x , z , y t ) . p_S(\cdot\mid x,y_{t}),\qquad p_T(\cdot\mid x,z,y_{t}).pS(⋅∣x,yt),pT(⋅∣x,z,yt).这里z zz可以是正确推导、执行错误信息或另一条成功轨迹。“特权”描述的是信息可用性差异不意味着教师权重更大。训练先让学生产生轨迹再在学生实际经过的前缀上让其 token 分布接近教师分布。概括为L S D E x , y ∼ sg ( p S ) , z [ ∑ t D ( p S ( ⋅ ∣ x , y t ) , sg ( p T ( ⋅ ∣ x , z , y t ) ) ) ] . L_{\mathrm{SD}} \mathbb E_{x,y\sim\operatorname{sg}(p_S),z} \left[\sum_tD\big(p_S(\cdot\mid x,y_{t}), \operatorname{sg}(p_T(\cdot\mid x,z,y_{t}))\big)\right].LSDEx,y∼sg(pS),z[t∑D(pS(⋅∣x,yt),sg(pT(⋅∣x,z,yt)))].sg \operatorname{sg}sg表示停止梯度。实际教师还可能是冻结副本或指数移动平均副本不能把“同模型”理解为每一步教师与学生权重都完全相同。它的优势设想有两点学生在自身容易访问的状态上学习减少训练—部署分布错位教师每个 token 都给出监督缓解整段回答只有一个成败奖励的稀疏性。[2–3]问题也在这里监督更密集只说明信号数量更多它不保证这些信号更接近真正应学习的内容。SDPO 与 OPSD 的区别方法主要教师信息本文复现实验中的关键损失设置SDPO成功的同组轨迹、环境反馈代码用 top-k 反向 KL科学 / 工具实验用 Jensen–Shannon使用 EMA 教师OPSD数据集参考解法正向 KL 与 token 级裁剪冻结教师另对教师思考模式做对照GRPO 对照可验证的回答奖励按组估计相对优势直接训练高奖励行为这些差异很重要。不能把一项实验的失败简单归因于“所有 KL 蒸馏”也不能把不同方法中的教师刷新方式和散度方向混在一起。3. 第一条证据链通过新测试用例不等于会解新题3.1 原有评测主张需要拆成两个问题根据本文作者对所复现 SDPO 设置的说明原代码实验在相同题目上留出部分测试用例。这样的评测可以检查模型是否学会满足题目的完整规格但不能单独回答它能否解决训练中未出现的新题。本文于是将 LiveCodeBench v6 的题目拆成互不重叠的训练题和测试题再区分三个评测集合集合题目是否训练过测试用例是否训练时使用更接近检验什么train_seen是是对训练任务的适应train_unseen是否同题规格内的用例泛化test_unseen否否跨题目泛化这不是文字游戏。同一算法题的多个用例通常共享一个解题规则真正掌握那道题的解法后通过新输入并不要求获得可迁移到其他题目的新能力。因此问题级记忆与测试用例级过拟合可以同时被区分模型可能没有死记输入输出却仍主要记住了训练题目的解法。3.2 新题成绩与训练题成绩出现分离以下为附录表 5 的 test_unseen 结果均为四个种子的均值 ± 标准差单位为百分比。初始化评测存在采样差异因此保留每个方法各自的起点。模型方法初始化200 步相对自身起点Qwen3-8BSDPO32.3 ± 1.629.8 ± 1.1−2.5 个百分点Qwen3-8BGRPO30.6 ± 1.034.3 ± 0.53.7 个百分点Qwen3-14BSDPO32.8 ± 0.732.3 ± 1.3−0.5 个百分点Qwen3-14BGRPO33.6 ± 0.438.5 ± 2.24.9 个百分点OLMo-3-7B-InstructSDPO30.9 ± 1.021.0 ± 1.4−9.9 个百分点OLMo-3-7B-InstructGRPO31.5 ± 1.834.1 ± 0.82.6 个百分点与此同时Qwen3-8B 的 SDPO 在 train_seen 提升 23.1 个百分点在 train_unseen 提升 18.4 个百分点。这组对照比“分数下降”更有解释力方法确实学到了有用内容只是这些内容的有效范围主要局限在已接触题目。3.3 更快上升与更好最终结果是两种优势SDPO 在早期训练题成绩上升更快延长训练后Qwen3 上的 GRPO 继续改善并反超部分训练题指标。早期评测能支持样本效率主张却不能直接支持最终能力上限主张。但反过来也要公平如果部署预算只允许很短的适配阶段早期优势仍然有实际价值。科学比较应同时报告固定交互预算、固定 token 预算和固定计算时间而不是只选择有利的一段曲线。4. 第二条证据链专项提升可能伴随其他能力退化作者分别在生物、化学、材料、物理和工具使用上训练 Qwen3-8B然后在全部五域的留出题上评测。下表摘自正文表 1OOD 变化指四个非训练域的平均准确率相对基础模型的变化。训练域SDPO 域内准确率GRPO 域内准确率SDPO OOD 变化GRPO OOD 变化生物52.5%51.0%−12.8 ± 0.81.2 ± 0.9化学77.7%68.9%−16.6 ± 4.41.6 ± 0.4材料73.5%76.2%−7.1 ± 4.01.2 ± 0.7物理73.1%72.4%−12.5 ± 4.60.9 ± 0.1工具使用53.5%66.3%0.9 ± 1.8−2.1 ± 1.2域内列为均值完整标准差见原表OOD 列保留均值 ± 标准差单位为百分点。原评测使用 avg16即多次采样准确率的平均估计不是“16 次中至少一次答对”的 pass16。化学上 SDPO 的域内优势明显不能忽略但它同时存在更大的非训练域损失。工具训练又是例外SDPO 的 OOD 略升GRPO 略降。因此“SDPO 训练必然破坏其他能力”并不符合原表。更合理的问题是目标域改善与原有能力保持之间的交换比例是否适合实际应用例如专门解化学题的离线模型和需要在科学、工具、日常问答间切换的通用助手对退化的容忍度不同。平均域内分数不能独立决定部署价值。5. 第三条证据链参考答案的内容可能不是收益来源5.1 一个容易混淆的双重变化在所分析的 OPSD 设置中学生关闭 thinking教师开启 thinking且教师获得正确参考解法。因此教师比学生多了两个条件更丰富的解题信息和不同的思考模式。如果不分别控制最终分数提升既可能来自正确知识也可能来自输出行为迁移。作者设计两个因素教师 thinking 开 / 关参考信息为正确解法、无解法、其他题目的打乱解法。学生训练时保持 thinking-off再分别以 thinking-on / off 评测。5.2 结果对“参考内容必不可少”构成挑战下表为 Qwen3-8B、AIME24 / AIME25 / HMMT25 的平均分摘自正文表 2。采用 avg12各评测模式选择其跨种子平均表现最佳的 checkpoint并非所有单元格都来自同一个训练步。训练方法 / 教师设置教师参考信息thinking-off 评测thinking-on 评测基础模型—19.3%63.1%GRPO训练时不思考—23.7%64.3%SFT参考监督数据50.0%63.0%OPSD教师思考正确解法33.1%65.0%OPSD教师思考无解法44.6%65.3%OPSD教师思考打乱解法33.2%65.1%OPSD教师不思考正确解法19.5%64.6%OPSD教师不思考无解法20.4%64.5%OPSD教师不思考打乱解法19.1%64.9%固定教师 thinking-on 后正确解法在 thinking-off 评测下没有超过打乱解法反而明显低于无解法。关闭教师思考后学生直接回答模式下的增益接近消失。这支持在这些配置中正确参考内容不是获得收益的必要条件教师思考行为的迁移更能解释较大的提升。但“不是必要条件”不等于“所有样本上都没有作用”。平均结果可能掩盖部分题目上的正负效应也不能从打乱解法仍有效推导出模型完全忽略上下文。无参考条件改变了输入长度和干扰程度需要进一步精细控制。5.3 思考模式可以通过行为重新出现作者观察到学生在 thinking-off 模式下仍可能生成长篇第一人称推理输出孤立的/think标记再给出整理后的答案部分设置孤立标记占比达到 69.9%。使用 thinking-on 教师后回答长度增加到原来的 2.72–5.82 倍。[1§4.3、附录 D.3–D.4]这说明模板上的模式开关不等于输出行为被严格限制。模型可能把已有的长推理行为搬进直接回答通道。这仍可能是有用的训练效果它改变了能力的调用方式。但若没有固定生成预算就不能称为“以同样推理成本获得更强能力”。更准确的研究问题是收益来自新的问题解决策略还是来自更长时间地运行已有策略6. 第四条证据链低方差监督为什么仍可能方向不对6.1 理想教师的条件比“知道答案”更严格论文讨论一个相对当前策略、带 KL 约束的理想教师π ∗ ( y ∣ x ) 1 Z ( x ) π θ ( y ∣ x ) exp ( R ( x , y ) / β ) . \pi^*(y\mid x)\frac{1}{Z(x)}\pi_\theta(y\mid x)\exp(R(x,y)/\beta).π∗(y∣x)Z(x)1πθ(y∣x)exp(R(x,y)/β).它按奖励重新加权学生原有输出分布。对固定问题、二元奖励和相应完整分布目标作者证明向这个冻结的理想教师做正向或反向 KL 优化其局部更新方向与奖励策略梯度相同。[1命题 3.1、附录 B]例如反向 KL 的梯度满足∇ θ D K L ( π θ ∥ sg ( π ∗ ) ) − 1 β ∇ θ E π θ [ R ] . \nabla_\theta D_{\mathrm{KL}}(\pi_\theta\|\operatorname{sg}(\pi^*)) -\frac{1}{\beta}\nabla_\theta\mathbb E_{\pi_\theta}[R].∇θDKL(πθ∥sg(π∗))−β1∇θEπθ[R].正向 KL 在二元奖励下得到另一个正比例系数。因此关键不在“是否蒸馏”而在教师是否具备这种奖励重加权结构。看到正确答案的语言模型并不会自动满足它。教师可能被参考文本的表面形式吸引偏向单一解法或更擅长续写解释却不擅长判断学生当前前缀如何走向高奖励。6.2 实验测量训练方向与留出奖励方向的夹角对留出题的期望奖励J h e l d J_{\mathrm{held}}Jheld和实际更新方向d dd局部近似为J h e l d ( θ η d ) − J h e l d ( θ ) ≈ η ∇ J h e l d ( θ ) ⊤ d . J_{\mathrm{held}}(\theta\eta d)-J_{\mathrm{held}}(\theta) \approx\eta\nabla J_{\mathrm{held}}(\theta)^\top d.Jheld(θηd)−Jheld(θ)≈η∇Jheld(θ)⊤d.作者用留出题上的 GRPO 梯度作为参考比较各方法梯度的余弦相似度。代码实验的结果如下均在基础模型处测量误差为跨四种子汇总后的 jackknife 误差。[1表 4]模型GRPO 与参考的相似度SDPO 与参考的相似度Qwen3-8B0.121 ± 0.011−0.167 ± 0.063Qwen3-14B0.070 ± 0.0420.013 ± 0.112OLMo-3-7B-Instruct0.422 ± 0.0910.062 ± 0.028Qwen3-8B 数学实验中训练时不思考的 GRPO 为 0.118 ± 0.050教师思考且使用正确参考的 OPSD 为 −0.160 ± 0.020。自我蒸馏在这里的梯度噪声更小但与参考方向对齐较弱。**稳定地更新和朝期望目标更新是两种性质。**低方差不能补偿系统性的方向偏差。7. 同样需要审查这篇批判论文的论证深刻的解读不能只重复批判者的结论。下面几条边界会影响我们能从结果推到多远。7.1 梯度实验不是对理论命题的直接检验命题比较同一固定问题下的理想完整分布目标实验比较训练问题的实际损失梯度与留出问题的参考梯度。前者研究教师与奖励是否一致后者还混入跨问题泛化。此外实践中使用 top-k、裁剪、EMA、不同散度和停止采样梯度其优化方向未必等同于理想序列分布 KL 的完整梯度。因此对齐较差可以反驳“实践已近似理想教师”的简单叙述却不能仅凭这一结果唯一确定教师失败的原因。7.2 初始位置的局部反向不代表长期必然退化所有梯度都在基础模型处、学习率设为零的条件下测量。有限步训练会改变分布、特征和教师关系。一个初始方向不利的方法可能之后进入有利区域更长回答带来的性能提升也未必由初始局部指标完整捕获。事实上论文中的部分 OPSD 设置最终准确率提高却具有负初始对齐。这正说明梯度指标是机制诊断工具不是长期性能的充分判据。7.3 原始梯度与实际优化位移并不相同数学训练使用 LoRA而附录 E.3 为避免零初始化适配矩阵造成的问题测量所有参数的梯度。AdamW 又会引入自适应预条件、动量、裁剪等。因此全参数原始梯度的夹角不一定等于 LoRA 参数空间中真实更新位移的夹角。更直接的验证是记录实际参数变化Δ θ \Delta\thetaΔθ在多个训练阶段测量∇ J h e l d ⊤ Δ θ \nabla J_{\mathrm{held}}^\top\Delta\theta∇Jheld⊤Δθ再用小步真实更新检查预测是否成立。7.4 参考梯度是估计不是无噪声真值留出 GRPO 梯度通过有限采样得到并使用组内标准化等实际设置。论文自己报告它有较高噪声跨种子 jackknife 有助于量化不确定性却不能把它变成精确总体奖励梯度。尤其 Qwen3-14B 代码中的 SDPO 相似度为 0.013 ± 0.112应理解为方向不明确而不能写成“确定为负”。OLMo 数学结果也不能照搬 Qwen3 的负对齐结论。7.5 比较方法不等于比较同一成本代码训练的 mini-batch 设置不同科学实验因稳定性调整了 GRPO 学习率SDPO 和 GRPO 使用不同学习率。数学上 OPSD / SFT 训练 200 步GRPO 500 步生成长度上限和训练批量也不同。[1附录 E]这些选择可用于复现各方法及观察行为但不是严格计算预算匹配。特别是要判断“哪个方法更经济”还需同时核算教师前向、学生采样、验证器调用、训练时间和最终输出长度。7.6 论文的适用范围有明确边界研究主要覆盖两个方法、两个模型家族和可验证任务。它没有全面测试所有自我蒸馏变体、混合强化学习目标、复杂反馈聚合和非可验证任务。原 SDPO 也讨论对单个难题的测试时适配本论文的跨题泛化结果不能自动否定那种不同目标下的用途。8. 我认为最有价值的解释收益需要分成三个层次这里给出一个由论文启发的分析框架不是作者原有分类。层次模型发生的变化需要的证据任务适应更会处理接触过的问题或工作流同题新输入、真实任务完成率能力调用更容易启动已有思考模式或输出策略模式控制、长度控制、行为分析可迁移学习对未见问题学到更普遍的方法问题级隔离、跨域评测、固定成本比较这三种收益都可能有价值但它们对应不同科学主张。训练题改善主要支持第一层thinking-off 下出现长思考支持第二层只有足够独立的泛化评测才更有资格支持第三层。真正的问题不是“自我蒸馏有没有提高一个数字”而是它提高的是哪一层付出了什么代价。9. 更有前景的算法方向与可检验假设以下均为本文建议不是原论文已完成的方法。9.1 先确认教师有局部优势再蒸馏不应默认教师只要多看了信息就更好。可以在部分前缀上采样教师与学生续写用验证器估计教师优势仅在优势明确时赋予较高蒸馏权重。该方法会增加验证成本因此需要比较“增加一次验证”与“增加一次普通采样”的边际收益。可检验假设是选择性蒸馏比全 token 无差别匹配更能保持跨题泛化。9.2 将奖励目标保留为训练约束一种候选思路是让可验证奖励持续约束策略改善教师分布只作为辅助信号。例如联合目标可以概括为奖励项加受控蒸馏项但不能凭写出加权和就宣称有效。关键实验应检验辅助梯度与奖励梯度冲突时如何处理以及收益是否仍在固定预算下存在。对于“形式流畅但行为错误”的反馈奖励锚定可能尤其重要。9.3 把信息内容与计算行为真正分开下一轮更强的 OPSD 实验可以同时控制参考信息的正确性、长度、解题风格教师和学生模式最大及实际输出 token是否允许重复生成思考标记。如果在这些条件固定后正确参考仍稳定优于无关参考才更直接支持知识内容迁移。若优势消失则工程价值更可能在能力调用和预算重分配。9.4 建立持续学习的保持曲线除了当前任务分数应在每次适配后评测旧任务和未见领域并绘制“新增能力—保持能力—训练成本”的曲线。仅报告新域成绩可能掩盖方法对整体系统能力的损耗。这对多功能智能体尤其重要一次工具技能更新不能只检查那个工具调用是否更熟练还需要检查普通问答、其他工具和拒绝无效调用的行为是否受到影响。10. 对人机知识协调与数字人研发的启示这部分是研究迁移思考不是论文对人类专家或数字人产品的直接实验证据。人机协作里一个系统可能越来越像专家的表达方式却未必更准确地使用专家知识。论文对“思考模式迁移”和“参考内容迁移”的拆分提示我们也应区分解释形式更专业、建议更符合既有习惯以及对新情境的预测真正改善。例如在专家反馈后系统推荐质量上升的研究中至少需要控制反馈是否包含正确信息同长度但无关反馈是否也有效评测是否复用了相同候选是否通过增加计算或解释长度获得提升。仅有训练后满意度或解释一致性不足以证明知识被有效吸收。对于数字人研发个性化训练提高角色一致性和用户熟悉感可能很有价值。但角色口吻更像用户偏好并不证明工具执行更可靠。应分别评估表达适应、事实判断、跨任务行为和原有能力保持。11. 最终评价这篇论文最强的证据是问题级拆分和参考信息对照它们直接改变了评测对象并对收益来源提出了可检验的替代解释。跨域矩阵进一步揭示专项学习的隐藏代价。梯度分析增加了机制线索但由于局部性、估计噪声及参数空间差异其解释应比作者最强措辞更克制。自我蒸馏仍是合理的研究方向但“同一个模型看到更多信息后会成为好老师”应当被视为待验证条件。一个可靠的系统需要证明自己正在学习可迁移的知识而不仅是更稳定地模仿一种答案形式。如果只保留一个判断标准先问分数为什么提高再问这份收益能否在新问题、同等成本和其他能力不受损的条件下保留下来。参考资料与证据位置Adhinarta et al. Does self-distillation improve reasoning?2026。代码泛化见 §4.1、附录 D.1 表 5–7跨域结果见表 1模式与参考控制见表 2、附录 D.3–D.5理论与梯度见 §3.1、§4.4、附录 B / E.3训练设置见表 22–24。摘要PDF。Hübotter et al. Reinforcement Learning via Self-Distillation公开 HTML。用于核对 SDPO 的富反馈、稠密监督与测试时适配主张。具体划分复现与反证数字以文献 1 为来源本文未重新运行原项目。Zhao et al. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models。用于核对 OPSD 关于特权信息、自身轨迹和 token 级蒸馏的原始主张。复现研究代码。提供项目地址不代表本文已审计或运行代码。文中标准差、jackknife 误差和置信区间并非同一统计量本文按原表分别标注不把误差条自动解释为显著性检验。 
长河君 · 2026/10/15 11:00:52 · 阅读 1.2k 自我蒸馏是否提升推理_深度解读报告
自我蒸馏究竟让模型学到了什么一篇新论文对推理进步证据的重新审查**原论文**Does self-distillation improve reasoning?**选文与版本**2026 年 10 月 14 日 arXiv cs.LG 最新列表选文10 月 15 日完成解读依据 2610.18613v1。**阅读范围**正文、理论证明、完整实验表、训练参数和梯度测量附录并核对所讨论 SDPO / OPSD 原始研究的公开主张。实验数字为作者报告未独立复现。摘要自我蒸馏的吸引力在于同一个模型在获得正确答案、参考解法或环境反馈后可能成为“更好的自己”再通过稠密的 token 级监督教会没有这些信息的学生模型。但这个故事包含几个需要分别验证的环节获得更多信息是否真的产生更好的教师学生的提升是否来自这些信息提升能否迁移到新问题收益是否只是由更长的思考过程换来。这篇论文围绕 SDPO 和 OPSD 进行复现与机制拆解。它发现所测 SDPO 在代码任务上的改善主要停留在训练题目部分科学领域训练伴随跨领域退化OPSD 的数学收益则更符合思考模式迁移而不依赖正确参考解法的内容。梯度分析进一步显示低方差的蒸馏信号不一定指向未见问题上的奖励改善。我的判断这篇论文最重要的贡献是把“模型分数提高”与“特权信息有效转化为可泛化能力”分开验证。它对两种具体方法给出了有力质疑但没有证明自我蒸馏普遍无效也没有证明强化学习在任何预算下都更优。1. 论文档案与阅读立场项目信息标题Does self-distillation improve reasoning?作者Jason Ken Adhinarta、Raina Wu、Ashutosh Sharma、Avinash Balakrishnan、Rameswar Panda、Polina Golland、Yoon Kim、Zhang-Wei HongarXiv2610.18613v1首次提交2026-10-13 15:59:36 UTC北京时间 10 月 13 日 23:59:36篇幅作者标注 33 页、11 图、24 表模型范围Qwen3 1.7B–14B以及 OLMo-3-7B 系列核心对象SDPO、OPSD代码、科学问答、工具使用和数学任务代码sleepypandu/does-sd-improve-reasoning状态arXiv 预印本本文不预设其已完成同行评议这是一篇以机制识别和评测审查为主的算法研究不是推出新训练算法的论文。评价它应看它能否排除已有解释的替代原因而不只看是否刷出最高分。2. 为什么“同一个模型教自己”看起来合理设学生仅看到问题x xx教师还看到训练时可用、部署时不可用的信息z zz。它们分别给出p S ( ⋅ ∣ x , y t ) , p T ( ⋅ ∣ x , z , y t ) . p_S(\cdot\mid x,y_{t}),\qquad p_T(\cdot\mid x,z,y_{t}).pS(⋅∣x,yt),pT(⋅∣x,z,yt).这里z zz可以是正确推导、执行错误信息或另一条成功轨迹。“特权”描述的是信息可用性差异不意味着教师权重更大。训练先让学生产生轨迹再在学生实际经过的前缀上让其 token 分布接近教师分布。概括为L S D E x , y ∼ sg ( p S ) , z [ ∑ t D ( p S ( ⋅ ∣ x , y t ) , sg ( p T ( ⋅ ∣ x , z , y t ) ) ) ] . L_{\mathrm{SD}} \mathbb E_{x,y\sim\operatorname{sg}(p_S),z} \left[\sum_tD\big(p_S(\cdot\mid x,y_{t}), \operatorname{sg}(p_T(\cdot\mid x,z,y_{t}))\big)\right].LSDEx,y∼sg(pS),z[t∑D(pS(⋅∣x,yt),sg(pT(⋅∣x,z,yt)))].sg \operatorname{sg}sg表示停止梯度。实际教师还可能是冻结副本或指数移动平均副本不能把“同模型”理解为每一步教师与学生权重都完全相同。它的优势设想有两点学生在自身容易访问的状态上学习减少训练—部署分布错位教师每个 token 都给出监督缓解整段回答只有一个成败奖励的稀疏性。[2–3]问题也在这里监督更密集只说明信号数量更多它不保证这些信号更接近真正应学习的内容。SDPO 与 OPSD 的区别方法主要教师信息本文复现实验中的关键损失设置SDPO成功的同组轨迹、环境反馈代码用 top-k 反向 KL科学 / 工具实验用 Jensen–Shannon使用 EMA 教师OPSD数据集参考解法正向 KL 与 token 级裁剪冻结教师另对教师思考模式做对照GRPO 对照可验证的回答奖励按组估计相对优势直接训练高奖励行为这些差异很重要。不能把一项实验的失败简单归因于“所有 KL 蒸馏”也不能把不同方法中的教师刷新方式和散度方向混在一起。3. 第一条证据链通过新测试用例不等于会解新题3.1 原有评测主张需要拆成两个问题根据本文作者对所复现 SDPO 设置的说明原代码实验在相同题目上留出部分测试用例。这样的评测可以检查模型是否学会满足题目的完整规格但不能单独回答它能否解决训练中未出现的新题。本文于是将 LiveCodeBench v6 的题目拆成互不重叠的训练题和测试题再区分三个评测集合集合题目是否训练过测试用例是否训练时使用更接近检验什么train_seen是是对训练任务的适应train_unseen是否同题规格内的用例泛化test_unseen否否跨题目泛化这不是文字游戏。同一算法题的多个用例通常共享一个解题规则真正掌握那道题的解法后通过新输入并不要求获得可迁移到其他题目的新能力。因此问题级记忆与测试用例级过拟合可以同时被区分模型可能没有死记输入输出却仍主要记住了训练题目的解法。3.2 新题成绩与训练题成绩出现分离以下为附录表 5 的 test_unseen 结果均为四个种子的均值 ± 标准差单位为百分比。初始化评测存在采样差异因此保留每个方法各自的起点。模型方法初始化200 步相对自身起点Qwen3-8BSDPO32.3 ± 1.629.8 ± 1.1−2.5 个百分点Qwen3-8BGRPO30.6 ± 1.034.3 ± 0.53.7 个百分点Qwen3-14BSDPO32.8 ± 0.732.3 ± 1.3−0.5 个百分点Qwen3-14BGRPO33.6 ± 0.438.5 ± 2.24.9 个百分点OLMo-3-7B-InstructSDPO30.9 ± 1.021.0 ± 1.4−9.9 个百分点OLMo-3-7B-InstructGRPO31.5 ± 1.834.1 ± 0.82.6 个百分点与此同时Qwen3-8B 的 SDPO 在 train_seen 提升 23.1 个百分点在 train_unseen 提升 18.4 个百分点。这组对照比“分数下降”更有解释力方法确实学到了有用内容只是这些内容的有效范围主要局限在已接触题目。3.3 更快上升与更好最终结果是两种优势SDPO 在早期训练题成绩上升更快延长训练后Qwen3 上的 GRPO 继续改善并反超部分训练题指标。早期评测能支持样本效率主张却不能直接支持最终能力上限主张。但反过来也要公平如果部署预算只允许很短的适配阶段早期优势仍然有实际价值。科学比较应同时报告固定交互预算、固定 token 预算和固定计算时间而不是只选择有利的一段曲线。4. 第二条证据链专项提升可能伴随其他能力退化作者分别在生物、化学、材料、物理和工具使用上训练 Qwen3-8B然后在全部五域的留出题上评测。下表摘自正文表 1OOD 变化指四个非训练域的平均准确率相对基础模型的变化。训练域SDPO 域内准确率GRPO 域内准确率SDPO OOD 变化GRPO OOD 变化生物52.5%51.0%−12.8 ± 0.81.2 ± 0.9化学77.7%68.9%−16.6 ± 4.41.6 ± 0.4材料73.5%76.2%−7.1 ± 4.01.2 ± 0.7物理73.1%72.4%−12.5 ± 4.60.9 ± 0.1工具使用53.5%66.3%0.9 ± 1.8−2.1 ± 1.2域内列为均值完整标准差见原表OOD 列保留均值 ± 标准差单位为百分点。原评测使用 avg16即多次采样准确率的平均估计不是“16 次中至少一次答对”的 pass16。化学上 SDPO 的域内优势明显不能忽略但它同时存在更大的非训练域损失。工具训练又是例外SDPO 的 OOD 略升GRPO 略降。因此“SDPO 训练必然破坏其他能力”并不符合原表。更合理的问题是目标域改善与原有能力保持之间的交换比例是否适合实际应用例如专门解化学题的离线模型和需要在科学、工具、日常问答间切换的通用助手对退化的容忍度不同。平均域内分数不能独立决定部署价值。5. 第三条证据链参考答案的内容可能不是收益来源5.1 一个容易混淆的双重变化在所分析的 OPSD 设置中学生关闭 thinking教师开启 thinking且教师获得正确参考解法。因此教师比学生多了两个条件更丰富的解题信息和不同的思考模式。如果不分别控制最终分数提升既可能来自正确知识也可能来自输出行为迁移。作者设计两个因素教师 thinking 开 / 关参考信息为正确解法、无解法、其他题目的打乱解法。学生训练时保持 thinking-off再分别以 thinking-on / off 评测。5.2 结果对“参考内容必不可少”构成挑战下表为 Qwen3-8B、AIME24 / AIME25 / HMMT25 的平均分摘自正文表 2。采用 avg12各评测模式选择其跨种子平均表现最佳的 checkpoint并非所有单元格都来自同一个训练步。训练方法 / 教师设置教师参考信息thinking-off 评测thinking-on 评测基础模型—19.3%63.1%GRPO训练时不思考—23.7%64.3%SFT参考监督数据50.0%63.0%OPSD教师思考正确解法33.1%65.0%OPSD教师思考无解法44.6%65.3%OPSD教师思考打乱解法33.2%65.1%OPSD教师不思考正确解法19.5%64.6%OPSD教师不思考无解法20.4%64.5%OPSD教师不思考打乱解法19.1%64.9%固定教师 thinking-on 后正确解法在 thinking-off 评测下没有超过打乱解法反而明显低于无解法。关闭教师思考后学生直接回答模式下的增益接近消失。这支持在这些配置中正确参考内容不是获得收益的必要条件教师思考行为的迁移更能解释较大的提升。但“不是必要条件”不等于“所有样本上都没有作用”。平均结果可能掩盖部分题目上的正负效应也不能从打乱解法仍有效推导出模型完全忽略上下文。无参考条件改变了输入长度和干扰程度需要进一步精细控制。5.3 思考模式可以通过行为重新出现作者观察到学生在 thinking-off 模式下仍可能生成长篇第一人称推理输出孤立的/think标记再给出整理后的答案部分设置孤立标记占比达到 69.9%。使用 thinking-on 教师后回答长度增加到原来的 2.72–5.82 倍。[1§4.3、附录 D.3–D.4]这说明模板上的模式开关不等于输出行为被严格限制。模型可能把已有的长推理行为搬进直接回答通道。这仍可能是有用的训练效果它改变了能力的调用方式。但若没有固定生成预算就不能称为“以同样推理成本获得更强能力”。更准确的研究问题是收益来自新的问题解决策略还是来自更长时间地运行已有策略6. 第四条证据链低方差监督为什么仍可能方向不对6.1 理想教师的条件比“知道答案”更严格论文讨论一个相对当前策略、带 KL 约束的理想教师π ∗ ( y ∣ x ) 1 Z ( x ) π θ ( y ∣ x ) exp ( R ( x , y ) / β ) . \pi^*(y\mid x)\frac{1}{Z(x)}\pi_\theta(y\mid x)\exp(R(x,y)/\beta).π∗(y∣x)Z(x)1πθ(y∣x)exp(R(x,y)/β).它按奖励重新加权学生原有输出分布。对固定问题、二元奖励和相应完整分布目标作者证明向这个冻结的理想教师做正向或反向 KL 优化其局部更新方向与奖励策略梯度相同。[1命题 3.1、附录 B]例如反向 KL 的梯度满足∇ θ D K L ( π θ ∥ sg ( π ∗ ) ) − 1 β ∇ θ E π θ [ R ] . \nabla_\theta D_{\mathrm{KL}}(\pi_\theta\|\operatorname{sg}(\pi^*)) -\frac{1}{\beta}\nabla_\theta\mathbb E_{\pi_\theta}[R].∇θDKL(πθ∥sg(π∗))−β1∇θEπθ[R].正向 KL 在二元奖励下得到另一个正比例系数。因此关键不在“是否蒸馏”而在教师是否具备这种奖励重加权结构。看到正确答案的语言模型并不会自动满足它。教师可能被参考文本的表面形式吸引偏向单一解法或更擅长续写解释却不擅长判断学生当前前缀如何走向高奖励。6.2 实验测量训练方向与留出奖励方向的夹角对留出题的期望奖励J h e l d J_{\mathrm{held}}Jheld和实际更新方向d dd局部近似为J h e l d ( θ η d ) − J h e l d ( θ ) ≈ η ∇ J h e l d ( θ ) ⊤ d . J_{\mathrm{held}}(\theta\eta d)-J_{\mathrm{held}}(\theta) \approx\eta\nabla J_{\mathrm{held}}(\theta)^\top d.Jheld(θηd)−Jheld(θ)≈η∇Jheld(θ)⊤d.作者用留出题上的 GRPO 梯度作为参考比较各方法梯度的余弦相似度。代码实验的结果如下均在基础模型处测量误差为跨四种子汇总后的 jackknife 误差。[1表 4]模型GRPO 与参考的相似度SDPO 与参考的相似度Qwen3-8B0.121 ± 0.011−0.167 ± 0.063Qwen3-14B0.070 ± 0.0420.013 ± 0.112OLMo-3-7B-Instruct0.422 ± 0.0910.062 ± 0.028Qwen3-8B 数学实验中训练时不思考的 GRPO 为 0.118 ± 0.050教师思考且使用正确参考的 OPSD 为 −0.160 ± 0.020。自我蒸馏在这里的梯度噪声更小但与参考方向对齐较弱。**稳定地更新和朝期望目标更新是两种性质。**低方差不能补偿系统性的方向偏差。7. 同样需要审查这篇批判论文的论证深刻的解读不能只重复批判者的结论。下面几条边界会影响我们能从结果推到多远。7.1 梯度实验不是对理论命题的直接检验命题比较同一固定问题下的理想完整分布目标实验比较训练问题的实际损失梯度与留出问题的参考梯度。前者研究教师与奖励是否一致后者还混入跨问题泛化。此外实践中使用 top-k、裁剪、EMA、不同散度和停止采样梯度其优化方向未必等同于理想序列分布 KL 的完整梯度。因此对齐较差可以反驳“实践已近似理想教师”的简单叙述却不能仅凭这一结果唯一确定教师失败的原因。7.2 初始位置的局部反向不代表长期必然退化所有梯度都在基础模型处、学习率设为零的条件下测量。有限步训练会改变分布、特征和教师关系。一个初始方向不利的方法可能之后进入有利区域更长回答带来的性能提升也未必由初始局部指标完整捕获。事实上论文中的部分 OPSD 设置最终准确率提高却具有负初始对齐。这正说明梯度指标是机制诊断工具不是长期性能的充分判据。7.3 原始梯度与实际优化位移并不相同数学训练使用 LoRA而附录 E.3 为避免零初始化适配矩阵造成的问题测量所有参数的梯度。AdamW 又会引入自适应预条件、动量、裁剪等。因此全参数原始梯度的夹角不一定等于 LoRA 参数空间中真实更新位移的夹角。更直接的验证是记录实际参数变化Δ θ \Delta\thetaΔθ在多个训练阶段测量∇ J h e l d ⊤ Δ θ \nabla J_{\mathrm{held}}^\top\Delta\theta∇Jheld⊤Δθ再用小步真实更新检查预测是否成立。7.4 参考梯度是估计不是无噪声真值留出 GRPO 梯度通过有限采样得到并使用组内标准化等实际设置。论文自己报告它有较高噪声跨种子 jackknife 有助于量化不确定性却不能把它变成精确总体奖励梯度。尤其 Qwen3-14B 代码中的 SDPO 相似度为 0.013 ± 0.112应理解为方向不明确而不能写成“确定为负”。OLMo 数学结果也不能照搬 Qwen3 的负对齐结论。7.5 比较方法不等于比较同一成本代码训练的 mini-batch 设置不同科学实验因稳定性调整了 GRPO 学习率SDPO 和 GRPO 使用不同学习率。数学上 OPSD / SFT 训练 200 步GRPO 500 步生成长度上限和训练批量也不同。[1附录 E]这些选择可用于复现各方法及观察行为但不是严格计算预算匹配。特别是要判断“哪个方法更经济”还需同时核算教师前向、学生采样、验证器调用、训练时间和最终输出长度。7.6 论文的适用范围有明确边界研究主要覆盖两个方法、两个模型家族和可验证任务。它没有全面测试所有自我蒸馏变体、混合强化学习目标、复杂反馈聚合和非可验证任务。原 SDPO 也讨论对单个难题的测试时适配本论文的跨题泛化结果不能自动否定那种不同目标下的用途。8. 我认为最有价值的解释收益需要分成三个层次这里给出一个由论文启发的分析框架不是作者原有分类。层次模型发生的变化需要的证据任务适应更会处理接触过的问题或工作流同题新输入、真实任务完成率能力调用更容易启动已有思考模式或输出策略模式控制、长度控制、行为分析可迁移学习对未见问题学到更普遍的方法问题级隔离、跨域评测、固定成本比较这三种收益都可能有价值但它们对应不同科学主张。训练题改善主要支持第一层thinking-off 下出现长思考支持第二层只有足够独立的泛化评测才更有资格支持第三层。真正的问题不是“自我蒸馏有没有提高一个数字”而是它提高的是哪一层付出了什么代价。9. 更有前景的算法方向与可检验假设以下均为本文建议不是原论文已完成的方法。9.1 先确认教师有局部优势再蒸馏不应默认教师只要多看了信息就更好。可以在部分前缀上采样教师与学生续写用验证器估计教师优势仅在优势明确时赋予较高蒸馏权重。该方法会增加验证成本因此需要比较“增加一次验证”与“增加一次普通采样”的边际收益。可检验假设是选择性蒸馏比全 token 无差别匹配更能保持跨题泛化。9.2 将奖励目标保留为训练约束一种候选思路是让可验证奖励持续约束策略改善教师分布只作为辅助信号。例如联合目标可以概括为奖励项加受控蒸馏项但不能凭写出加权和就宣称有效。关键实验应检验辅助梯度与奖励梯度冲突时如何处理以及收益是否仍在固定预算下存在。对于“形式流畅但行为错误”的反馈奖励锚定可能尤其重要。9.3 把信息内容与计算行为真正分开下一轮更强的 OPSD 实验可以同时控制参考信息的正确性、长度、解题风格教师和学生模式最大及实际输出 token是否允许重复生成思考标记。如果在这些条件固定后正确参考仍稳定优于无关参考才更直接支持知识内容迁移。若优势消失则工程价值更可能在能力调用和预算重分配。9.4 建立持续学习的保持曲线除了当前任务分数应在每次适配后评测旧任务和未见领域并绘制“新增能力—保持能力—训练成本”的曲线。仅报告新域成绩可能掩盖方法对整体系统能力的损耗。这对多功能智能体尤其重要一次工具技能更新不能只检查那个工具调用是否更熟练还需要检查普通问答、其他工具和拒绝无效调用的行为是否受到影响。10. 对人机知识协调与数字人研发的启示这部分是研究迁移思考不是论文对人类专家或数字人产品的直接实验证据。人机协作里一个系统可能越来越像专家的表达方式却未必更准确地使用专家知识。论文对“思考模式迁移”和“参考内容迁移”的拆分提示我们也应区分解释形式更专业、建议更符合既有习惯以及对新情境的预测真正改善。例如在专家反馈后系统推荐质量上升的研究中至少需要控制反馈是否包含正确信息同长度但无关反馈是否也有效评测是否复用了相同候选是否通过增加计算或解释长度获得提升。仅有训练后满意度或解释一致性不足以证明知识被有效吸收。对于数字人研发个性化训练提高角色一致性和用户熟悉感可能很有价值。但角色口吻更像用户偏好并不证明工具执行更可靠。应分别评估表达适应、事实判断、跨任务行为和原有能力保持。11. 最终评价这篇论文最强的证据是问题级拆分和参考信息对照它们直接改变了评测对象并对收益来源提出了可检验的替代解释。跨域矩阵进一步揭示专项学习的隐藏代价。梯度分析增加了机制线索但由于局部性、估计噪声及参数空间差异其解释应比作者最强措辞更克制。自我蒸馏仍是合理的研究方向但“同一个模型看到更多信息后会成为好老师”应当被视为待验证条件。一个可靠的系统需要证明自己正在学习可迁移的知识而不仅是更稳定地模仿一种答案形式。如果只保留一个判断标准先问分数为什么提高再问这份收益能否在新问题、同等成本和其他能力不受损的条件下保留下来。参考资料与证据位置Adhinarta et al. Does self-distillation improve reasoning?2026。代码泛化见 §4.1、附录 D.1 表 5–7跨域结果见表 1模式与参考控制见表 2、附录 D.3–D.5理论与梯度见 §3.1、§4.4、附录 B / E.3训练设置见表 22–24。摘要PDF。Hübotter et al. Reinforcement Learning via Self-Distillation公开 HTML。用于核对 SDPO 的富反馈、稠密监督与测试时适配主张。具体划分复现与反证数字以文献 1 为来源本文未重新运行原项目。Zhao et al. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models。用于核对 OPSD 关于特权信息、自身轨迹和 token 级蒸馏的原始主张。复现研究代码。提供项目地址不代表本文已审计或运行代码。文中标准差、jackknife 误差和置信区间并非同一统计量本文按原表分别标注不把误差条自动解释为显著性检验。