标题When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better来源arXiv, 2610.11291v1️文章简介研究问题在将教师模型能力迁移给学生模型时是否必须每次都根据学生当前状态实时生成数据进行在线蒸馏主要贡献提出了一种简单的半在线蒸馏方法Semi-OPD发现其在大多数情况下比传统的在线蒸馏更准确且训练速度快得多并揭示了选择策略的关键指标。重点思路提出Semi-OPD方法在训练开始前仅使用初始学生模型生成一次数据轨迹Rollouts并在整个训练过程中重复使用这些固定的离线数据而不再实时更新生成数据。引入对齐度指标使用“初始Top-K重叠率”来量化教师与学生模型在输出Token分布上的初始对齐程度以此作为选择蒸馏策略的依据。解耦数据与优化将数据收集、教师评分和学生训练分为独立阶段避免了在线蒸馏中频繁的师生交互推理从而大幅提升GPU利用率。理论机制分析指出有效蒸馏需要同时满足对学生和教师的“在线性”。在线蒸馏虽解决了学生的暴露偏差但在师生差异大时生成的长轨迹会偏离教师分布导致监督信号失效而Semi-OPD通过保留较短的初始轨迹维持了对教师分布的对齐。分析总结性能全面超越在17组不同规模和类型的师生模型对中Semi-OPD在14组上准确率优于传统在线蒸馏最高提升13.6%其余3组持平且训练速度最高提升11.4倍。对齐度决定优劣当师生初始重叠率低即差异大时Semi-OPD显著优于在线蒸馏只有当两者高度对齐重叠率高时在线蒸馏才略有优势或相当。在线蒸馏的缺陷对于低对齐度的配对在线蒸馏会导致生成轨迹过长、陷入自我纠正循环且后续Token逐渐偏离教师偏好提供无效甚至有害的监督信号。SFT预热无必要实验发现先用教师数据对学生做监督微调SFT再蒸馏反而可能损害最终性能直接使用指令微调后的初始学生进行Semi-OPD效果更佳。个人观点论文打破了“在线采样必然更好”的思维定势证明在师生模型差距较大时盲目追求数据的“新鲜度”反而会引入噪声固定高质量的初始数据反而能提供更稳定的教师监督信号。