做模型部署的朋友应该都遇过这个尴尬大模型精度漂亮但推理慢、显存吃紧线上根本跑不动换个小模型倒是跑得飞快可精度一下就掉了好几个点。知识蒸馏就是专门解决这个矛盾的技术——它把大模型当老师小模型当学生让老师把自己“怎么想问题”的方式教给学生而不是只丢给学生一套标准答案。这篇文章我不讲虚的直接拆解蒸馏的核心机制给出可复现的训练流程和调参思路也会把我踩过的坑一并说出来。适合做模型压缩、边缘部署的工程师也适合刚接触蒸馏想上手跑通一个例子的研究者。1. 知识蒸馏到底在解决什么问题1.1 大模型能教不能跑小模型能跑不够准先说一个很现实的场景。假设你在一家做智能客服的公司线上要做一个意图分类模块候选意图有一百多个。你用一个大模型跑出了92%的准确率但对方要求接口P99延迟控制在50毫秒以内大模型单次推理就要200毫秒这直接宣判了死刑。换个小模型呢模型小了推理快了但准确率掉到了84%。问题就出在“信息量”上——小模型的容量有限它只能从有限的训练样本里提炼规律。一个样本给它的只是一个硬标签比如“这句话属于退款意图”样本里包含的其他信息比如“这句话和投诉意图也很接近”“这句话里出现了某些词汇组合的模式”这些信息全部丢失了。知识蒸馏干的事情就是把大模型在这些样本上学到的“软知识”也一并提取出来教给小模型。大模型在分类时输出的不是单一标签而是一个概率分布这句话有0.7的概率是退款0.2的概率是投诉0.08的概率是催单。这个分布就是所谓的软标签它比硬标签携带了更多的信息量。小模型学的是这个分布相当于老师把解题思路讲透了而不是只告诉一个对勾。1.2 一句话理解知识蒸馏学老师的思路而不是背老师的答案很多人第一次接触蒸馏容易想复杂。其实拿上学来类比就通了。硬标签教学是什么老师批卷子告诉学生“这题选B”学生背下来了。下次碰到同类题目如果稍微换个出法学生就懵了。蒸馏方式的教学是什么老师不光告诉学生选B还说了“这道题A也有点像但是A的关键词跟题干上下文对不上C如果题干里出现了XX词就容易混淆”。学生记住的是判断的依据和这种模糊的边界感下次遇到类似但没见过的新样本也能举一反三。神经网络里的“思路”就存在于logits分布中。同一个输入x大模型给出100类上的logits经过softmax之后变成概率分布。这个分布里除了最大概率那一类其余类别的概率大小关系、分布形状都包含着大模型对样本的理解。小模型如果直接学one-hot标签只能学到“哪个类是对的”学软标签才能学到“各类别之间的相似度关系”。这就是蒸馏能提升小模型精度的底层逻辑。1.3 什么时候该用蒸馏三类典型场景不是所有项目都需要蒸馏我见过有人不管三七二十一拿来就蒸馏结果发现收益不大白白耗了算力。什么时候值得做我总结下来是这三类。第一类是上面说过的服务性能瓶颈场景。模型要上移动端、边缘设备或者线上有严格的延迟和显存限制这类场景蒸馏收益最大因为小模型的精度天花板被你用大模型的知识强行抬高了。第二类是数据稀缺或标注噪声高的场景。如果训练数据本身少或者标注质量参差不齐让小模型直接从数据里学很容易过拟合或学到噪声。大模型相当于一个先验过滤器它输出的分布相对平稳小模型跟着学反而更鲁棒。第三类是快速迭代新任务的场景。业务上新加了一个意图或者一个分类维度重新标注数据成本高。你可以先用大模型在少量样本上快速达到不错效果然后蒸馏到一个已经在线上稳定运行的小模型里让它在不改变推理开销的情况下多学会一项新能力。反过来说如果小模型本身精度已经够用且训练数据量很大、标注质量很高那蒸馏带来的增益可能很有限更要紧的是去调数据增强或者模型结构不必非走蒸馏这条路。2. 蒸馏机制拆解软标签、温度与损失函数2.1 硬标签与软标签的信息量差别要理解蒸馏为什么有效得先定量感受一下软标签和硬标签的信息量差异。假设一个四分类问题大模型对某条样本输出的logits是[12.0, 8.0, 3.0, -1.0]。经过softmax后概率大约是[0.96, 0.03, 0.007, 0.003]。如果把它变成硬标签就是[1, 0, 0, 0]。小模型学硬标签时只知道一件事“第一类是正确答案”。至于“第二类跟第一类其实有点接近”“第三类完全不相干”它看不到。而当小模型学软标签[0.96, 0.03, 0.007, 0.003]时它不光知道正确答案还知道第二类和第一类有微弱的相似性这个相似性对于小模型在特征空间里区分相近类别至关重要。但有一个问题0.96对0.03这种差距小模型关注的重点仍然全在第一类上类别间的细微关系还是不明显。所以蒸馏引入了一个温度参数T把这个分布“调软”。具体做法是在softmax之前把logits整体除以T[ p_i \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]T越大分布越平缓。刚才那个例子T1时分布是[0.96, 0.03, 0.007]T4时分布变成大约[0.56, 0.30, 0.10, 0.04]。第二类的位置从0.03提升到了0.30小模型终于能明显感知到“第一类和第二类有关系”了。T1就是普通softmaxT趋于无穷大时分布趋近于均匀分布。2.2 温度参数T蒸馏的“旋钮”温度T是蒸馏里最核心的超参数没有之一。它决定了学生能看到多少老师脑子里的“模糊地带”。T太小软标签接近硬标签学生学不到类别间的隐含关系蒸馏退化成普通训练。T太大分布太均匀所有类别概率都差不多等于给老师的话加了一层厚厚的马赛克连基本的分类信息都模糊了学生反而学不到东西。我自己的经验范围是分类类别数在10个以内T取3到5比较合适类别数到几十上百T要往8到12甚至更高调因为类别多了以后logits之间的相对差异被摊薄了需要更大的T才能把非正确答案的分布关系“摊开”给学生看。还有一个细节容易被忽略推理时学生的T必须设回1也就是普通softmax。我在项目初期就犯过这个错训练时用了T5部署时忘了改分母出来的概率分布全都软绵绵的F1掉了一大截。训练和推理的softmax参数要分开写这个一定要在代码里隔离开。2.3 蒸馏损失怎么算CE加KL散度一遍遍捋清楚蒸馏的损失函数这是所有代码实现的基础。蒸馏的总损失由两部分组成硬损失学生logits和真实标签之间算交叉熵这个保证学生能学到正确的分类边界。蒸馏损失学生logits除以T后做softmax和老师的软标签之间算KL散度这个保证学生的输出分布向老师对齐。写成公式[ L \alpha \cdot T^2 \cdot KL(softmax(z_t / T), softmax(z_s / T)) (1 - \alpha) \cdot CE(y, z_s) ]注意KL散度的方向是“老师的分布”作为目标学生的分布去拟合它。代码里一般写作[ KL(softmax(z_t / T) | softmax(z_s / T)) ]也就是teacher那一项不取logstudent那一项取log后再teacher相乘。我直接给出最常用的PyTorch实现import torch import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, labels, T4.0, alpha0.7): # 硬损失学生的输出对真实标签 hard_loss F.cross_entropy(student_logits, labels) # 软损失KL散度让学生的软化分布逼近老师的软化分布 teacher_soft F.softmax(teacher_logits / T, dim-1) student_log_soft F.log_softmax(student_logits / T, dim-1) soft_loss F.kl_div(student_log_soft, teacher_soft, reductionbatchmean) * T * T # 加权融合 return alpha * soft_loss (1 - alpha) * hard_loss这里有个关键点软损失前面为什么要乘 ( T^2 )因为logits除以T之后梯度的量级会随T增大而缩小。Hinton在原始蒸馏论文里专门写了一笔如果直接用KL散度不乘 ( T^2 )调大T后软损失的梯度会变小导致学生学不到东西。乘回 ( T^2 ) 是为了让两者的量级和T无关这样不同T之间的对比才有意义。2.4 权重α怎么选先定T再看αα控制的是学生往老师的分布方向走多快同时保留多少真实标签的信息。如果α1学生完全跟着老师学但老师也有犯错的时候完全抛弃真实标签会让学生连基本正确性都保证不了。如果α0这就是普通训练学生从老师那里学不到任何东西。实际操作中α取0.5到0.9之间比较常见。我有一个具体的建议先固定T然后在验证集上扫α。α0.7作为起点通常不差如果发现学生学出来的样本分布和老师很像但准确率不行多半是α偏大真实标签信息给少了试着降到0.5如果发现学生的分布和老师差异很大说明硬损失压过了一切软知识没学进去试着把α提到0.9。还有另一种做法动态调整α。训练初期α大一些让学生快速把老师分布的大致形状学下来训练后期α降一些让真实标签把学生往正确的边界上拉一拉。这种schedule在部分任务上确实比固定α更稳但会多一个调整维度在没有充足调参预算的场景下不建议一上来就玩动态。3. 实操一次完整的蒸馏流程3.1 选teacher与定student结构先想清楚容量差真正动手做蒸馏时第一步不是写代码而是确定老师和学生分别是什么。这里的核心原则说破天就一条teacher一定要比student强否则蒸馏没有意义。但teacher也不是越强越好。teacher的强体现在对目标任务的拟合能力上。如果teacher在某些类别上本身就分不清学生跟着学只会继承这种混乱。所以一般先看teacher在验证集上的表现确认它已经收敛、指标达标再开始蒸馏。student的结构选择有两个方向。一是直接用同系列的小尺寸模型比如teacher是某大模型小模型砍掉几层、把hidden size缩小。这种做法的好处是特征空间比较对齐蒸馏时更容易收敛。二是完全换一种轻量结构比如从Transformer蒸馏到BiLSTM或者CNN。这种做法压缩比更大但训练难度也更大需要特征蒸馏或者更长的训练时间才能弥补结构差异。另一个容易忽略的点是student的初始化和优化器。如果student是从零开始训练蒸馏的收敛速度会比普通训练慢因为要同时拟合硬标签和老师的分布。我建议可以先让student单独用硬标签跑几个epoch把loss降到“有基本分类能力”的程度再叠加蒸馏损失。这样蒸馏阶段损失不会一开始就陷入某个极端收敛更稳定。3.2 数据预处理和Teacher Logits的缓存蒸馏的数据流和普通训练有一个很大的不同你需要把teacher的输出保存下来。如果每个step都实时把数据过一遍teacher训练会非常慢尤其teacher是大模型时GPU显存得同时塞下teacher和student训练速度被teacher的前向推理拖死。所以工业界普遍的做法是将teacher的logits预先计算好存到磁盘训练student时直接读取。这也叫离线蒸馏。具体操作分几步。第一步用和student完全一致的数据预处理方式把训练集和验证集过一遍teacher得到每条样本的logits保存为.npy或者.h5。第二步写一个Dataset类依次读取样本数据、真实标签、teacher logits三样东西。第三步训练时student输入原始样本teacher_logits直接从缓存里取。这里要特别强调预处理一致性。teacher在预训练时可能用了特定的分词方式、特定的图片缩放尺寸student如果用了不同的预处理两边看到的内容都不一样学生的输出分布永远对不齐老师的。所以蒸馏前务必检查两者的输入管线是否一致。我见过一个真实案例图片分类任务里只用student的预处理结果teacher的logits是在224尺寸下出来的student训练时resize到320学了半天验证集F1纹丝不动最后发现是预处理不一致导致的。缓存teacher logits时还有一个省显存的技巧如果数据量大可以几条样本拼一个batch一起前向并且用torch.no_grad()包住避免存计算图。logits存成float16能省一半磁盘空间读取时再转回float32对精度影响很小。3.3 训练脚本核心实现我给出一个完整的离线蒸馏训练主循环可以直接跑起来作为参考。假设任务是文本分类teacher logits已经提前存好了。import torch import torch.nn.functional as F from torch.utils.data import DataLoader, Dataset class DistillDataset(Dataset): def __init__(self, samples, labels, teacher_logits): self.samples samples self.labels labels self.teacher_logits teacher_logits def __len__(self): return len(self.samples) def __getitem__(self, idx): # samples已经经过tokenizer得到input_ids和attention_mask return { input_ids: self.samples[idx][input_ids], attention_mask: self.samples[idx][attention_mask], label: self.labels[idx], teacher_logits: self.teacher_logits[idx], } def train_one_epoch(model, loader, optimizer, T4.0, alpha0.7): model.train() total_loss 0.0 for batch in loader: input_ids batch[input_ids].cuda() attention_mask batch[attention_mask].cuda() labels batch[label].cuda() # teacher_logits是缓存好的不参与梯度 teacher_logits batch[teacher_logits].cuda().float() student_logits model(input_idsinput_ids, attention_maskattention_mask).logits hard_loss F.cross_entropy(student_logits, labels) teacher_soft F.softmax(teacher_logits / T, dim-1) student_log_soft F.log_softmax(student_logits / T, dim-1) soft_loss F.kl_div(student_log_soft, teacher_soft, reductionbatchmean) * T * T loss alpha * soft_loss (1 - alpha) * hard_loss optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader)这段代码的核心逻辑好就好在teacher_logits是提前算好的训练student时teacher完全不占显存和算力。如果要做在线蒸馏也就是每个step实时把数据过teacher那代码里要注意teacher模型必须固定住、不更新梯度而且全程用torch.no_grad()包住teacher的forward否则显存直接爆炸。3.4 关键超参与收敛观察蒸馏的训练过程里除了T和α还要盯住几个容易被带偏的配置。学习率必须比普通训练小。原因在于蒸馏损失来自teacher的分布这个目标本身比较平滑学生的梯度方向相对稳定学习率如果保持普通训练的数值很容易在soft label的拟合上振荡。我的经验是可以把普通训练的学习率降为原来的0.5到0.3然后配合warmup步数加长让loss稳定下降。batch size也不要太小。KL散度对分布估计的方差很敏感batch太小会让teacher分布和student分布的匹配被噪声干扰。至少64起步有条件到128、256更好。收敛观察要看两个曲线。一个是总loss它应该平稳下降另一个是验证集上的hard accuracy也就是student直接argmax后的准确率这个才是线上真正关心的指标。有一种情况很迷惑总loss在降但hard accuracy不动。多半是α偏大学生一味贴着老师的软标签走边界不清晰。这时候把α往小调一点或者把T往小调一点通常能拉回来。训练轮数上蒸馏一般要比普通训练多一些epoch才能榨干teacher知识。我常用的是普通训练的1.5到2倍。但这也不是绝对的如果验证集指标连续几个epoch不再涨就该早停不要盲目多跑。4. 实测踩坑常见问题与排查4.1 温度太高student提前“躺平”现象是训练loss降得挺顺利但验证集准确率就是上不去最后收敛的结果甚至不如普通训练的student。原因十有八九是T开太大了。当T很大时teacher软标签的分布接近均匀KL散度对分布的差异很不敏感学生很容易满足于一个“差不多”的分布根本不需要学习精细的边界。排查方法也很简单把T一步步调小。从T12往回调每次减半6、4、3看验证集指标的变化。我在一个情感分类任务里试过T10时怎么调α都卡在88%换成T4后一路涨到91%。T就像音量旋钮拧太响了全是底噪学生分不清老师哪句话是重点。4.2 蒸馏损失降了hard accuracy不涨还有一种更隐蔽的情况软损失下降正常但硬准确率不动。这通常是资源配置失衡。先排查α。如果α0.9学生基本只学teacher的分布了自己的分类头没有得到足够的真实标签监督那么尽管soft loss在降hard accuracy却会被老师分布中的噪声压制。α降到0.5到0.6通常能看到改善。再排查student容量。如果student隐藏层维度或头数比teacher小太多它根本没有能力拟合teacher的分布。这时候不是调超参能解决的要么把student略微加宽要么走特征蒸馏路径在中间层额外加一个对齐损失辅助student学习与teacher等价的特征表示。4.3 teacher的logits分布太“尖”怎么办有些teacher训练得过于自信对几乎所有正确样本都输出接近1的概率非正确类别概率几乎为0。这种分布里软标签和非硬标签的信息量区别不大蒸馏就像在教学生“全是送分题”。两个处理方式。一是把T加大让尖峰被抹平这会有效但有一定上限如果teacher的logits差距太大T加得再大也还是显得不温和。二是对teacher做label smoothing在计算teacher输出去蒸馏学生时给概率分布注入一个小均匀项比如teacher_soft (1 - epsilon) * teacher_soft epsilon / num_classesepsilon取0.1到0.2之间效果是把teacher分布里“几乎为零”的位置撑开一点学生反而能学到更多类别间的关系。这个方法很多文章里不会写但我实测在文本分类和图像分类上都有效。4.4 蒸馏该跑多少epoch什么时候该早停蒸馏的epoch数没有一个标准答案但有一个判断原则看hard validation accuracy的窗口变化。我习惯把训练分成两阶段观察。第一阶段大概跑总epoch的一半关注soft loss是否持续下降以及hard accuracy是否开始回升。如果这个阶段hard accuracy不仅不涨还比基线低先不要急着换超参可以多跑几个epoch看曲线趋势因为student需要先学会“老师说话的语调”然后才是把正确类别稳住。第二阶段从后一半开始重点盯hard accuracy的波动连续4个epoch不创新高就触发早停。另外一个实战技巧在训练的后段可以手动把T从大往小切。比如前30个epoch用T6后20个epoch用T3这样先捕捉全局分布再逐步锐化。我在两个项目里试过比固定T平均能再提0.5到1个点。这个做法不需要额外复杂逻辑就是训练代码里按epoch切换T值。5. 写在最后一点个人经验我前前后后做过几个蒸馏项目最深的体会是蒸馏不是万能药它解决的是“容量受限但知识不足”的问题而不是“数据不足”或者“模型结构不好”的问题。如果你手头的小模型本身在自己的容量范围内已经训练得很充分了那蒸馏的提升会非常有限这时候更应该去优化数据质量或者模型结构而不是硬套蒸馏。还有一点想多说一句。早年间我一度以为蒸馏就是拿个大模型跑一下输出、算个KL散度就完事了后来才明白真正决定蒸馏上限的是你对teacher输出的理解深度——你的T有没有把该暴露的信息暴露出来你的α有没有在学生的“模仿”和“真实目标”之间找到平衡。很多东西不亲手调一遍是永远体会不到那种分寸的。如果你也想试我建议从一个小任务开始比如一个10分类的文本分类用一个已经训练好的大模型做teacher拿一个小Transformer做student先复现一遍本文的流程再尝试改T和α观察变化。跑通一次之后你就会发现蒸馏这个工具会变得非常顺手后面再遇到线上性能瓶颈和精度要求打架的场面就能多一张好牌可以打了。 
长河君 · 2026/10/23 5:41:32 · 阅读 1.2k 知识蒸馏核心机制与调参实战：让大模型教小模型，兼顾精度与推理速度
做模型部署的朋友应该都遇过这个尴尬大模型精度漂亮但推理慢、显存吃紧线上根本跑不动换个小模型倒是跑得飞快可精度一下就掉了好几个点。知识蒸馏就是专门解决这个矛盾的技术——它把大模型当老师小模型当学生让老师把自己“怎么想问题”的方式教给学生而不是只丢给学生一套标准答案。这篇文章我不讲虚的直接拆解蒸馏的核心机制给出可复现的训练流程和调参思路也会把我踩过的坑一并说出来。适合做模型压缩、边缘部署的工程师也适合刚接触蒸馏想上手跑通一个例子的研究者。1. 知识蒸馏到底在解决什么问题1.1 大模型能教不能跑小模型能跑不够准先说一个很现实的场景。假设你在一家做智能客服的公司线上要做一个意图分类模块候选意图有一百多个。你用一个大模型跑出了92%的准确率但对方要求接口P99延迟控制在50毫秒以内大模型单次推理就要200毫秒这直接宣判了死刑。换个小模型呢模型小了推理快了但准确率掉到了84%。问题就出在“信息量”上——小模型的容量有限它只能从有限的训练样本里提炼规律。一个样本给它的只是一个硬标签比如“这句话属于退款意图”样本里包含的其他信息比如“这句话和投诉意图也很接近”“这句话里出现了某些词汇组合的模式”这些信息全部丢失了。知识蒸馏干的事情就是把大模型在这些样本上学到的“软知识”也一并提取出来教给小模型。大模型在分类时输出的不是单一标签而是一个概率分布这句话有0.7的概率是退款0.2的概率是投诉0.08的概率是催单。这个分布就是所谓的软标签它比硬标签携带了更多的信息量。小模型学的是这个分布相当于老师把解题思路讲透了而不是只告诉一个对勾。1.2 一句话理解知识蒸馏学老师的思路而不是背老师的答案很多人第一次接触蒸馏容易想复杂。其实拿上学来类比就通了。硬标签教学是什么老师批卷子告诉学生“这题选B”学生背下来了。下次碰到同类题目如果稍微换个出法学生就懵了。蒸馏方式的教学是什么老师不光告诉学生选B还说了“这道题A也有点像但是A的关键词跟题干上下文对不上C如果题干里出现了XX词就容易混淆”。学生记住的是判断的依据和这种模糊的边界感下次遇到类似但没见过的新样本也能举一反三。神经网络里的“思路”就存在于logits分布中。同一个输入x大模型给出100类上的logits经过softmax之后变成概率分布。这个分布里除了最大概率那一类其余类别的概率大小关系、分布形状都包含着大模型对样本的理解。小模型如果直接学one-hot标签只能学到“哪个类是对的”学软标签才能学到“各类别之间的相似度关系”。这就是蒸馏能提升小模型精度的底层逻辑。1.3 什么时候该用蒸馏三类典型场景不是所有项目都需要蒸馏我见过有人不管三七二十一拿来就蒸馏结果发现收益不大白白耗了算力。什么时候值得做我总结下来是这三类。第一类是上面说过的服务性能瓶颈场景。模型要上移动端、边缘设备或者线上有严格的延迟和显存限制这类场景蒸馏收益最大因为小模型的精度天花板被你用大模型的知识强行抬高了。第二类是数据稀缺或标注噪声高的场景。如果训练数据本身少或者标注质量参差不齐让小模型直接从数据里学很容易过拟合或学到噪声。大模型相当于一个先验过滤器它输出的分布相对平稳小模型跟着学反而更鲁棒。第三类是快速迭代新任务的场景。业务上新加了一个意图或者一个分类维度重新标注数据成本高。你可以先用大模型在少量样本上快速达到不错效果然后蒸馏到一个已经在线上稳定运行的小模型里让它在不改变推理开销的情况下多学会一项新能力。反过来说如果小模型本身精度已经够用且训练数据量很大、标注质量很高那蒸馏带来的增益可能很有限更要紧的是去调数据增强或者模型结构不必非走蒸馏这条路。2. 蒸馏机制拆解软标签、温度与损失函数2.1 硬标签与软标签的信息量差别要理解蒸馏为什么有效得先定量感受一下软标签和硬标签的信息量差异。假设一个四分类问题大模型对某条样本输出的logits是[12.0, 8.0, 3.0, -1.0]。经过softmax后概率大约是[0.96, 0.03, 0.007, 0.003]。如果把它变成硬标签就是[1, 0, 0, 0]。小模型学硬标签时只知道一件事“第一类是正确答案”。至于“第二类跟第一类其实有点接近”“第三类完全不相干”它看不到。而当小模型学软标签[0.96, 0.03, 0.007, 0.003]时它不光知道正确答案还知道第二类和第一类有微弱的相似性这个相似性对于小模型在特征空间里区分相近类别至关重要。但有一个问题0.96对0.03这种差距小模型关注的重点仍然全在第一类上类别间的细微关系还是不明显。所以蒸馏引入了一个温度参数T把这个分布“调软”。具体做法是在softmax之前把logits整体除以T[ p_i \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]T越大分布越平缓。刚才那个例子T1时分布是[0.96, 0.03, 0.007]T4时分布变成大约[0.56, 0.30, 0.10, 0.04]。第二类的位置从0.03提升到了0.30小模型终于能明显感知到“第一类和第二类有关系”了。T1就是普通softmaxT趋于无穷大时分布趋近于均匀分布。2.2 温度参数T蒸馏的“旋钮”温度T是蒸馏里最核心的超参数没有之一。它决定了学生能看到多少老师脑子里的“模糊地带”。T太小软标签接近硬标签学生学不到类别间的隐含关系蒸馏退化成普通训练。T太大分布太均匀所有类别概率都差不多等于给老师的话加了一层厚厚的马赛克连基本的分类信息都模糊了学生反而学不到东西。我自己的经验范围是分类类别数在10个以内T取3到5比较合适类别数到几十上百T要往8到12甚至更高调因为类别多了以后logits之间的相对差异被摊薄了需要更大的T才能把非正确答案的分布关系“摊开”给学生看。还有一个细节容易被忽略推理时学生的T必须设回1也就是普通softmax。我在项目初期就犯过这个错训练时用了T5部署时忘了改分母出来的概率分布全都软绵绵的F1掉了一大截。训练和推理的softmax参数要分开写这个一定要在代码里隔离开。2.3 蒸馏损失怎么算CE加KL散度一遍遍捋清楚蒸馏的损失函数这是所有代码实现的基础。蒸馏的总损失由两部分组成硬损失学生logits和真实标签之间算交叉熵这个保证学生能学到正确的分类边界。蒸馏损失学生logits除以T后做softmax和老师的软标签之间算KL散度这个保证学生的输出分布向老师对齐。写成公式[ L \alpha \cdot T^2 \cdot KL(softmax(z_t / T), softmax(z_s / T)) (1 - \alpha) \cdot CE(y, z_s) ]注意KL散度的方向是“老师的分布”作为目标学生的分布去拟合它。代码里一般写作[ KL(softmax(z_t / T) | softmax(z_s / T)) ]也就是teacher那一项不取logstudent那一项取log后再teacher相乘。我直接给出最常用的PyTorch实现import torch import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, labels, T4.0, alpha0.7): # 硬损失学生的输出对真实标签 hard_loss F.cross_entropy(student_logits, labels) # 软损失KL散度让学生的软化分布逼近老师的软化分布 teacher_soft F.softmax(teacher_logits / T, dim-1) student_log_soft F.log_softmax(student_logits / T, dim-1) soft_loss F.kl_div(student_log_soft, teacher_soft, reductionbatchmean) * T * T # 加权融合 return alpha * soft_loss (1 - alpha) * hard_loss这里有个关键点软损失前面为什么要乘 ( T^2 )因为logits除以T之后梯度的量级会随T增大而缩小。Hinton在原始蒸馏论文里专门写了一笔如果直接用KL散度不乘 ( T^2 )调大T后软损失的梯度会变小导致学生学不到东西。乘回 ( T^2 ) 是为了让两者的量级和T无关这样不同T之间的对比才有意义。2.4 权重α怎么选先定T再看αα控制的是学生往老师的分布方向走多快同时保留多少真实标签的信息。如果α1学生完全跟着老师学但老师也有犯错的时候完全抛弃真实标签会让学生连基本正确性都保证不了。如果α0这就是普通训练学生从老师那里学不到任何东西。实际操作中α取0.5到0.9之间比较常见。我有一个具体的建议先固定T然后在验证集上扫α。α0.7作为起点通常不差如果发现学生学出来的样本分布和老师很像但准确率不行多半是α偏大真实标签信息给少了试着降到0.5如果发现学生的分布和老师差异很大说明硬损失压过了一切软知识没学进去试着把α提到0.9。还有另一种做法动态调整α。训练初期α大一些让学生快速把老师分布的大致形状学下来训练后期α降一些让真实标签把学生往正确的边界上拉一拉。这种schedule在部分任务上确实比固定α更稳但会多一个调整维度在没有充足调参预算的场景下不建议一上来就玩动态。3. 实操一次完整的蒸馏流程3.1 选teacher与定student结构先想清楚容量差真正动手做蒸馏时第一步不是写代码而是确定老师和学生分别是什么。这里的核心原则说破天就一条teacher一定要比student强否则蒸馏没有意义。但teacher也不是越强越好。teacher的强体现在对目标任务的拟合能力上。如果teacher在某些类别上本身就分不清学生跟着学只会继承这种混乱。所以一般先看teacher在验证集上的表现确认它已经收敛、指标达标再开始蒸馏。student的结构选择有两个方向。一是直接用同系列的小尺寸模型比如teacher是某大模型小模型砍掉几层、把hidden size缩小。这种做法的好处是特征空间比较对齐蒸馏时更容易收敛。二是完全换一种轻量结构比如从Transformer蒸馏到BiLSTM或者CNN。这种做法压缩比更大但训练难度也更大需要特征蒸馏或者更长的训练时间才能弥补结构差异。另一个容易忽略的点是student的初始化和优化器。如果student是从零开始训练蒸馏的收敛速度会比普通训练慢因为要同时拟合硬标签和老师的分布。我建议可以先让student单独用硬标签跑几个epoch把loss降到“有基本分类能力”的程度再叠加蒸馏损失。这样蒸馏阶段损失不会一开始就陷入某个极端收敛更稳定。3.2 数据预处理和Teacher Logits的缓存蒸馏的数据流和普通训练有一个很大的不同你需要把teacher的输出保存下来。如果每个step都实时把数据过一遍teacher训练会非常慢尤其teacher是大模型时GPU显存得同时塞下teacher和student训练速度被teacher的前向推理拖死。所以工业界普遍的做法是将teacher的logits预先计算好存到磁盘训练student时直接读取。这也叫离线蒸馏。具体操作分几步。第一步用和student完全一致的数据预处理方式把训练集和验证集过一遍teacher得到每条样本的logits保存为.npy或者.h5。第二步写一个Dataset类依次读取样本数据、真实标签、teacher logits三样东西。第三步训练时student输入原始样本teacher_logits直接从缓存里取。这里要特别强调预处理一致性。teacher在预训练时可能用了特定的分词方式、特定的图片缩放尺寸student如果用了不同的预处理两边看到的内容都不一样学生的输出分布永远对不齐老师的。所以蒸馏前务必检查两者的输入管线是否一致。我见过一个真实案例图片分类任务里只用student的预处理结果teacher的logits是在224尺寸下出来的student训练时resize到320学了半天验证集F1纹丝不动最后发现是预处理不一致导致的。缓存teacher logits时还有一个省显存的技巧如果数据量大可以几条样本拼一个batch一起前向并且用torch.no_grad()包住避免存计算图。logits存成float16能省一半磁盘空间读取时再转回float32对精度影响很小。3.3 训练脚本核心实现我给出一个完整的离线蒸馏训练主循环可以直接跑起来作为参考。假设任务是文本分类teacher logits已经提前存好了。import torch import torch.nn.functional as F from torch.utils.data import DataLoader, Dataset class DistillDataset(Dataset): def __init__(self, samples, labels, teacher_logits): self.samples samples self.labels labels self.teacher_logits teacher_logits def __len__(self): return len(self.samples) def __getitem__(self, idx): # samples已经经过tokenizer得到input_ids和attention_mask return { input_ids: self.samples[idx][input_ids], attention_mask: self.samples[idx][attention_mask], label: self.labels[idx], teacher_logits: self.teacher_logits[idx], } def train_one_epoch(model, loader, optimizer, T4.0, alpha0.7): model.train() total_loss 0.0 for batch in loader: input_ids batch[input_ids].cuda() attention_mask batch[attention_mask].cuda() labels batch[label].cuda() # teacher_logits是缓存好的不参与梯度 teacher_logits batch[teacher_logits].cuda().float() student_logits model(input_idsinput_ids, attention_maskattention_mask).logits hard_loss F.cross_entropy(student_logits, labels) teacher_soft F.softmax(teacher_logits / T, dim-1) student_log_soft F.log_softmax(student_logits / T, dim-1) soft_loss F.kl_div(student_log_soft, teacher_soft, reductionbatchmean) * T * T loss alpha * soft_loss (1 - alpha) * hard_loss optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader)这段代码的核心逻辑好就好在teacher_logits是提前算好的训练student时teacher完全不占显存和算力。如果要做在线蒸馏也就是每个step实时把数据过teacher那代码里要注意teacher模型必须固定住、不更新梯度而且全程用torch.no_grad()包住teacher的forward否则显存直接爆炸。3.4 关键超参与收敛观察蒸馏的训练过程里除了T和α还要盯住几个容易被带偏的配置。学习率必须比普通训练小。原因在于蒸馏损失来自teacher的分布这个目标本身比较平滑学生的梯度方向相对稳定学习率如果保持普通训练的数值很容易在soft label的拟合上振荡。我的经验是可以把普通训练的学习率降为原来的0.5到0.3然后配合warmup步数加长让loss稳定下降。batch size也不要太小。KL散度对分布估计的方差很敏感batch太小会让teacher分布和student分布的匹配被噪声干扰。至少64起步有条件到128、256更好。收敛观察要看两个曲线。一个是总loss它应该平稳下降另一个是验证集上的hard accuracy也就是student直接argmax后的准确率这个才是线上真正关心的指标。有一种情况很迷惑总loss在降但hard accuracy不动。多半是α偏大学生一味贴着老师的软标签走边界不清晰。这时候把α往小调一点或者把T往小调一点通常能拉回来。训练轮数上蒸馏一般要比普通训练多一些epoch才能榨干teacher知识。我常用的是普通训练的1.5到2倍。但这也不是绝对的如果验证集指标连续几个epoch不再涨就该早停不要盲目多跑。4. 实测踩坑常见问题与排查4.1 温度太高student提前“躺平”现象是训练loss降得挺顺利但验证集准确率就是上不去最后收敛的结果甚至不如普通训练的student。原因十有八九是T开太大了。当T很大时teacher软标签的分布接近均匀KL散度对分布的差异很不敏感学生很容易满足于一个“差不多”的分布根本不需要学习精细的边界。排查方法也很简单把T一步步调小。从T12往回调每次减半6、4、3看验证集指标的变化。我在一个情感分类任务里试过T10时怎么调α都卡在88%换成T4后一路涨到91%。T就像音量旋钮拧太响了全是底噪学生分不清老师哪句话是重点。4.2 蒸馏损失降了hard accuracy不涨还有一种更隐蔽的情况软损失下降正常但硬准确率不动。这通常是资源配置失衡。先排查α。如果α0.9学生基本只学teacher的分布了自己的分类头没有得到足够的真实标签监督那么尽管soft loss在降hard accuracy却会被老师分布中的噪声压制。α降到0.5到0.6通常能看到改善。再排查student容量。如果student隐藏层维度或头数比teacher小太多它根本没有能力拟合teacher的分布。这时候不是调超参能解决的要么把student略微加宽要么走特征蒸馏路径在中间层额外加一个对齐损失辅助student学习与teacher等价的特征表示。4.3 teacher的logits分布太“尖”怎么办有些teacher训练得过于自信对几乎所有正确样本都输出接近1的概率非正确类别概率几乎为0。这种分布里软标签和非硬标签的信息量区别不大蒸馏就像在教学生“全是送分题”。两个处理方式。一是把T加大让尖峰被抹平这会有效但有一定上限如果teacher的logits差距太大T加得再大也还是显得不温和。二是对teacher做label smoothing在计算teacher输出去蒸馏学生时给概率分布注入一个小均匀项比如teacher_soft (1 - epsilon) * teacher_soft epsilon / num_classesepsilon取0.1到0.2之间效果是把teacher分布里“几乎为零”的位置撑开一点学生反而能学到更多类别间的关系。这个方法很多文章里不会写但我实测在文本分类和图像分类上都有效。4.4 蒸馏该跑多少epoch什么时候该早停蒸馏的epoch数没有一个标准答案但有一个判断原则看hard validation accuracy的窗口变化。我习惯把训练分成两阶段观察。第一阶段大概跑总epoch的一半关注soft loss是否持续下降以及hard accuracy是否开始回升。如果这个阶段hard accuracy不仅不涨还比基线低先不要急着换超参可以多跑几个epoch看曲线趋势因为student需要先学会“老师说话的语调”然后才是把正确类别稳住。第二阶段从后一半开始重点盯hard accuracy的波动连续4个epoch不创新高就触发早停。另外一个实战技巧在训练的后段可以手动把T从大往小切。比如前30个epoch用T6后20个epoch用T3这样先捕捉全局分布再逐步锐化。我在两个项目里试过比固定T平均能再提0.5到1个点。这个做法不需要额外复杂逻辑就是训练代码里按epoch切换T值。5. 写在最后一点个人经验我前前后后做过几个蒸馏项目最深的体会是蒸馏不是万能药它解决的是“容量受限但知识不足”的问题而不是“数据不足”或者“模型结构不好”的问题。如果你手头的小模型本身在自己的容量范围内已经训练得很充分了那蒸馏的提升会非常有限这时候更应该去优化数据质量或者模型结构而不是硬套蒸馏。还有一点想多说一句。早年间我一度以为蒸馏就是拿个大模型跑一下输出、算个KL散度就完事了后来才明白真正决定蒸馏上限的是你对teacher输出的理解深度——你的T有没有把该暴露的信息暴露出来你的α有没有在学生的“模仿”和“真实目标”之间找到平衡。很多东西不亲手调一遍是永远体会不到那种分寸的。如果你也想试我建议从一个小任务开始比如一个10分类的文本分类用一个已经训练好的大模型做teacher拿一个小Transformer做student先复现一遍本文的流程再尝试改T和α观察变化。跑通一次之后你就会发现蒸馏这个工具会变得非常顺手后面再遇到线上性能瓶颈和精度要求打架的场面就能多一张好牌可以打了。