模型领域最近流行一句话打劫太low了我们都叫蒸馏。如果只看结果蒸馏确实像一次“文明打劫”——把一个强模型的“内力”抽出来灌进一个小模型的身体里。大模型负责思考小模型负责跑得快、跑得便宜。但这个过程不是复读机式的复制而是“让好老师带出好学生”的教学过程。这篇文章就围绕知识蒸馏Knowledge Distillation展开从概念、原理讲到 PyTorch 手写实现再结合近期大模型蒸馏、YOLO 蒸馏、黑盒蒸馏等热门方向梳理出一条从入门到落地的完整路径。那“蒸馏”这个词到底怎么理解为什么 AI 要用蒸馏教师模型、学生模型、软标签、温度参数这些词又是什么意思带着这些问题往下看。1. 什么是知识蒸馏为什么叫“蒸馏”1.1 “打劫”当然是玩笑蒸馏才是正经名字看到标题你可能觉得“打劫”这个说法有点突兀其实这是 AI 圈子里一个流传很广的玩笑模型蒸馏就像是大模型把自己的能力“借”给了小模型小模型甚至能在某些指标上逼近大模型看起来像“劫走”了大模型的知识。但这个玩笑背后站着一个正经的学术概念——Knowledge Distillation知识蒸馏。知识蒸馏最早可以追溯到 Hinton 等人在 2015 年前后提出的经典工作。它的核心思路是先训练一个能力强、参数量大的教师模型Teacher Model再训练一个参数量小、结构轻量的学生模型Student Model让学生模型去模仿教师模型的输出行为从而把大模型的“知识”迁移到小模型上。因为整个过程类似于化学实验里通过加热蒸发、冷却凝结来提纯物质所以被形象地称为“蒸馏”。更专业一点说蒸馏是一种模型压缩与知识迁移方法。它不需要像传统剪枝Pruning那样直接去掉模型结构里的冗余部分也不需要像量化Quantization那样改变权重表示精度而是用“学习教师模型输出”的方式让小模型获得更好的泛化能力。这也是为什么很多人说蒸馏的本质是让模型学会做决策而不是死记硬背答案。1.2 教师模型、学生模型、软标签一次分清在知识蒸馏里有三个高频名词必须先弄清楚。第一个是教师模型Teacher Model。通常是一个已经训练好、精度较高的大模型可以是 ResNet、Vision Transformer、LLM 等等。教师模型的作用不是参与线上推理而是充当“知识来源”。第二个是学生模型Student Model。这是最终要部署的模型结构更小、计算量更低。学生模型既要从真实标签Ground Truth里学习也要从教师模型的输出里学习。第三个是最容易混淆的软标签Soft Label。普通分类任务用硬标签比如一张图片是“猫”标签就是[0, 1]而教师模型最后一层 Softmax 输出的概率分布比如[0.05, 0.85, 0.10]这种带有“置信度分布”的标签就叫软标签。软标签的价值在于它包含了“类间关系”。比如一张图片在猫和狮子两个类别上概率都较高说明这两个类别在特征上有相似性。硬标签无法表达这种相似性软标签却可以。学生模型通过模仿软标签学到的是教师模型的“判断逻辑”而不只是最终结论。这一点是知识蒸馏比单纯拿硬标签训练小模型更有效的重要原因。1.3 知识蒸馏解决什么问题知识蒸馏解决的核心问题可以概括为“大模型很强但跑不动小模型跑得快但不够强”。在实际项目中一个 7B 的 LLM 可能效果很好但推理一次要占用十几 GB 显存、延迟几百毫秒一个 0.5B 的小模型虽然秒回但是准确率、泛化能力明显拉胯。这时候如果直接把小模型拿上线效果不达标如果硬上大模型成本和性能又撑不住。蒸馏提供了一条折中路用大模型当老师把小模型“调教”到尽量接近大模型的水平。除了模型压缩知识蒸馏还可以解决以下问题多任务学习场景下用教师模型提供统一的知识信号增强学生模型的泛化能力。数据稀缺场景下教师模型可以生成伪标签或软标签辅助小模型训练。隐私或版权敏感场景下黑盒蒸馏可以用 API 返回的概率分布代替直接访问模型参数。模型集成场景下可以把多个专家模型蒸馏成一个学生模型兼顾效果和效率。1.4 模型蒸馏、知识蒸馏、黑盒蒸馏是什么关系你在搜索热词里会看到“模型蒸馏”“知识蒸馏”“黑盒蒸馏”“YOLO 蒸馏”等说法它们并不是并列的几个毫无关联的概念。知识蒸馏是方法论的总称强调的是“教师指导学生”的知识迁移过程。模型蒸馏通常是知识蒸馏在工业落地中的通俗叫法特别指代大模型压缩成小模型的操作比如“LLM 蒸馏成 1.5B 小模型”。黑盒蒸馏是从访问权限角度对蒸馏的分类只能拿到教师模型的输入输出不能拿到中间特征那这种蒸馏就叫黑盒蒸馏反之能访问中间层特征就是白盒蒸馏。YOLO 蒸馏则是把蒸馏方法用在目标检测等视觉任务上属于“知识蒸馏在具体任务中的应用”不是另一种独立的算法。理解这层关系之后你就知道不管叫什么名字底子都是那一套教师-学生的迁移框架。2. 知识蒸馏的核心原理2.1 从硬标签到软标签先看普通分类训练。对于一个分类任务模型最后一层经过 Softmax 得到概率输出再和硬标签计算交叉熵损失。硬标签一般是 One-Hot 向量比如三分类任务里样本属于第 1 类标签就是[1, 0, 0]。这种训练方式的问题在于模型只知道“第 1 类是对的”不知道“第 1 类和第 2 类有点像但和第 3 类差别很大”。如果两个类别的特征存在重叠硬标签不仅提供不了这种相似性甚至可能让模型在类别边界上非常敏感。知识蒸馏改用教师模型的软输出作为训练信号。教师模型给出的概率分布里除了最大概率那个类别其他类别的概率也包含了信息。例如一张“哈士奇”图片教师模型可能输出[0.60, 0.25, 0.15]这个分布在“狼”类别上有 0.25 的分量就告诉学生模型哈士奇在外观上跟狼很像。这是硬标签完全无法提供的知识。不过普通 Softmax 输出的概率分布在类别差异大时概率往往特别尖锐比如[0.99, 0.01, 0.00]非最大类别的信息会被压得很小。为了让软标签更有“教学价值”蒸馏里通常要引入温度参数。2.2 温度参数 T 的作用温度参数Temperature是知识蒸馏里最核心的超参数之一。加了温度之后Softmax 的公式从p_i exp(z_i) / sum_j exp(z_j)变成p_i exp(z_i / T) / sum_j exp(z_j / T)其中z_i是模型输出层某个类别的 logitT是温度。当T 1时这个函数就是普通 Softmax当T 1时概率分布变得更尖锐接近硬标签当T 1时概率分布变得更平滑各个类别之间的概率差距缩小小概率类别的信息会被放大出来。在设计蒸馏损失时教师模型和学生模型要用同一个温度 T 来计算 Softmax 输出保证两者处于同一个“蒸馏尺度”。推理阶段学生模型使用T 1的正常 Softmax 输出不需要保留温度。温度的选择需要权衡温度太低软标签和硬标签区别不大蒸馏失去了意义温度太高所有类别概率都趋于均匀会把大量噪声也当成知识教给学生模型。常见的经验区间是 3 到 10具体要通过实验调整。2.3 蒸馏损失函数经典的知识蒸馏总损失由两部分组成Loss alpha * KL(学生软输出, 教师软输出) (1 - alpha) * CE(学生输出, 硬标签)第一项是蒸馏损失Distillation Loss用来衡量学生模型在温度 T 下的软输出和教师模型在温度 T 下的软输出之间的分布差异常用 KL 散度Kullback-Leibler Divergence或交叉熵计算。第二项是普通监督损失用硬标签帮助学生模型“守住”正确答案。alpha 用来平衡两部分损失。为什么需要两项而不是只保留蒸馏损失因为如果只模仿教师模型的软输出学生模型的训练完全被教师的错误带偏当教师模型本身有误判时学生也会继承这些误判加上硬标签监督等于给训练过程加了一个“正确答案底锚”能有效避免偏置。在具体实现里KL 散度可以等价地用交叉熵计算因为相对于固定的教师输出KL 散度减去的学生熵项是常数。但为了方便多数人直接用 PyTorch 的torch.nn.KLDivLoss或手写 soft label cross entropy。2.4 为什么小模型能学到“知识”而不是“答案”这个问题初学者特别容易困惑既然小模型最后输出的也是分类概率为什么不直接拿教师模型的“最终答案”当标签训练答案是教师模型给出的软分布包含了丰富的“暗知识”比如类别间的相似度和决策边界信息。举个例子识别手写数字时一张“7”的图片往往在“1”和“9”两个类别上也有一定的概率响应。教师模型可能输出[0.70, 0.20, 0.05, ...]其中“7”最大“1”第二“9”第三。硬标签只告诉学生“这是 7”而软标签告诉学生“7 的写法有些情况下接近 1也有一些情况下接近 9”。学生模型在模仿这个分布时不仅学会了正确分类还学会了人类认知里“相似数字的边界比较模糊”这一层知识。所以知识蒸馏的本质不是让学生背答案而是让学生模仿教师的“思考方式”——它在每个类别上投入多大的置信度、如何分配类间概率。这也是蒸馏出来的小模型往往比直接训练的小模型泛化能力更强的原因。3. 环境准备与实验设计3.1 环境说明既然是动手实验我们先明确运行环境。本文的示例使用 Python PyTorch数据集采用 MNIST。MNIST 是手写数字识别数据集共 10 个类别样本是 28×28 的灰度图非常适合用来演示蒸馏流程。环境要求大致如下操作系统Windows / Linux / macOS 均可本文不依赖特定平台命令。Python3.9 以上即可。PyTorch2.x 推荐本文代码依赖torch和torchvision。版本不必刻意追求最新按你本机已有的环境运行即可。硬件CPU 也能跑MNIST 本身很小有 CUDA 显卡更快。为了代码通用我在代码里加了一个device判断能自动选择 GPU 或 CPU。安装依赖的命令如下。如果使用 Anaconda建议先创建一个新环境conda create -n kd_demo python3.10 -y conda activate kd_demo pip install torch torchvision如果你不想用 Anaconda直接pip install torch torchvision也行。本文不锁定具体版本号因为 PyTorch 的构建版本和 CUDA 版本需要根据本机环境选择重点是讲清楚蒸馏代码的写法。3.2 数据集选择MNIST 为什么适合MNIST 是知识蒸馏教程最常见的实验数据集原因有三个样本量适中60000 张训练图片、10000 张测试图片训练时间可控。类别数少只有 10 类软标签的维度不高方便可视化。输入简单28×28 灰度图对模型结构要求低适合新手快速跑通流程。生产环境里当然不会只用 MNIST但在学习阶段用 MNIST 跑通“教师模型 → 蒸馏 → 学生模型”的完整闭环比一上来就用 ImageNet 或大语言模型要高效得多。等理解了核心逻辑再迁移到 CIFAR、目标检测或 NLP 任务会更轻松。3.3 项目结构设计为了让代码可读性更强、更适合工程化我把示例拆成下面几个文件kd_demo/ ├── models.py # 教师模型与学生模型定义 ├── train_teacher.py # 训练教师模型 ├── train_student.py # 普通训练学生模型对照组 ├── distill.py # 蒸馏训练学生模型 └── utils.py # 公共方法数据加载、训练、评估这样的拆分逻辑是按“模型定义、数据加载、训练流程、评估流程”划分的比把所有代码塞到一个文件里更清晰。下面我们来逐个实现。4. 完整实战PyTorch 实现知识蒸馏4.1 定义教师模型与学生模型我采用了“教师模型稍大、学生模型稍小”的结构设计。教师模型用两层卷积加两层全连接参数量接近 40 万学生模型用两层全连接的 MLP参数量只有几万。两者差异越大蒸馏的效果差异越直观。文件models.py的内容如下# 文件路径kd_demo/models.py import torch.nn as nn import torch.nn.functional as F # 教师模型小 CNN class TeacherCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) def forward(self, x): x F.relu(F.max_pool2d(self.conv1(x), 2)) x F.relu(F.max_pool2d(self.conv2(x), 2)) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) return self.fc2(x) # 学生模型简单 MLP class StudentMLP(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(28 * 28, 200) self.fc2 nn.Linear(200, 200) self.fc3 nn.Linear(200, 10) def forward(self, x): x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return self.fc3(x)注意到两个模型 forward 的返回值都没有经过F.softmax。这是因为我们希望在训练过程中拿到的是 logitsSoftmax 放在损失函数里处理灵活度更高。教师模型后面要参与蒸馏也需要输出 logits而不是概率。4.2 编写公共工具模块utils.py里放数据集加载、训练一个 epoch、评估模型三个公共函数。这样教师在train_teacher.py里用学生在train_student.py和distill.py里也能复用。# 文件路径kd_demo/utils.py import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader def load_mnist(batch_size128): transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_set datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) test_set datasets.MNIST( root./data, trainFalse, downloadTrue, transformtransform ) train_loader DataLoader(train_set, batch_sizebatch_size, shuffleTrue) test_loader DataLoader(test_set, batch_sizebatch_size, shuffleFalse) return train_loader, test_loader def train_one_epoch(model, loader, optimizer, loss_fn, device): model.train() total_loss 0.0 correct 0 total 0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss loss_fn(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) pred outputs.argmax(dim1) correct (pred labels).sum().item() total labels.size(0) return total_loss / total, correct / total torch.no_grad() def evaluate(model, loader, device): model.eval() correct 0 total 0 for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) pred outputs.argmax(dim1) correct (pred labels).sum().item() total labels.size(0) return correct / total这个工具函数故意写得很基础没有使用高级的 Trainer 封装目的是让你看清每个步骤。在生产项目中可以替换成 PyTorch Lightning 或 Hugging Face Trainer但学习阶段保持“看得懂”更重要。4.3 训练教师模型教师模型我们要训练到较高的精度因为后面所有“教学”都依赖教师模型的质量。一个没训练好的教师模型等于一个水平很差的老师学生会越学越歪。train_teacher.py代码如下# 文件路径kd_demo/train_teacher.py import torch import torch.nn as nn import torch.optim as optim from models import TeacherCNN from utils import load_mnist, train_one_epoch, evaluate def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) train_loader, test_loader load_mnist(batch_size128) teacher TeacherCNN().to(device) optimizer optim.Adam(teacher.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() epochs 10 for epoch in range(1, epochs 1): train_loss, train_acc train_one_epoch( teacher, train_loader, optimizer, loss_fn, device ) test_acc evaluate(teacher, test_loader, device) print(fEpoch {epoch:02d} | Loss: {train_loss:.4f} | fTrain Acc: {train_acc:.4f} | Test Acc: {test_acc:.4f}) torch.save(teacher.state_dict(), teacher.pt) print(Teacher saved to teacher.pt) if __name__ __main__: main()建议运行python train_teacher.py等它跑完。MNIST 很小在 CPU 上 10 个 epoch 通常几分钟内可以结束。正常得到的测试集准确率应该在 99% 附近这个模型会被保存为teacher.pt。4.4 编写蒸馏核心代码蒸馏训练是本文的重头戏。文件distill.py中我们同时加载教师模型和学生模型。教师模型的参数被冻结不需要计算梯度学生模型正常更新参数。蒸馏逻辑分四步把图片分别输入学生模型和教师模型得到两套 logits。在同一个温度 T 下对两套 logits 做 Softmax得到两个软概率分布。用KLDivLoss计算两个软分布之间的蒸馏损失。用CrossEntropyLoss计算学生模型输出与硬标签的监督损失和蒸馏损失加权相加。对应的代码如下# 文件路径kd_demo/distill.py import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from models import TeacherCNN, StudentMLP from utils import load_mnist, evaluate def distillation_loss(teacher_logits, student_logits, labels, T4.0, alpha0.7): # 教师和学生都用温度 T 做 softmax teacher_soft F.log_softmax(teacher_logits / T, dim1) student_soft F.log_softmax(student_logits / T, dim1) kd_loss F.kl_div( student_soft, teacher_soft.exp(), reductionbatchmean ) * (T ** 2) ce_loss F.cross_entropy(student_logits, labels) return alpha * kd_loss (1 - alpha) * ce_loss def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) train_loader, test_loader load_mnist(batch_size128) teacher TeacherCNN().to(device) teacher.load_state_dict(torch.load(teacher.pt, map_locationdevice)) teacher.eval() student StudentMLP().to(device) optimizer optim.Adam(student.parameters(), lr1e-3) T 4.0 alpha 0.7 epochs 15 for epoch in range(1, epochs 1): student.train() total_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() with torch.no_grad(): teacher_logits teacher(images) student_logits student(images) loss distillation_loss( teacher_logits, student_logits, labels, TT, alphaalpha ) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) pred student_logits.argmax(dim1) correct (pred labels).sum().item() total labels.size(0) train_acc correct / total test_acc evaluate(student, test_loader, device) print(fEpoch {epoch:02d} | Loss: {total_loss / total:.4f} | fTrain Acc: {train_acc:.4f} | Test Acc: {test_acc:.4f}) torch.save(student.state_dict(), student_distilled.pt) print(Distilled student saved to student_distilled.pt) if __name__ __main__: main()这里有一个特别容易踩坑的地方F.kl_div的输入要求第一个参数是log_probabilities第二个参数是probabilities。所以我先把学生模型的 Softmax 结果取对数然后把教师模型的 Softmax 结果用.exp()还原成概率形式。很多资料写代码时把两个参数颠倒了会导致训练不收敛。另一个要注意的是(T ** 2)这个缩放系数。在使用 KL 散度做蒸馏损失时梯度会跟 1/T 成正比如果不乘T^2梯度会太小学生模型学得很慢。加上之后超参数 T 的变化对训练强度的影响会小很多。4.5 对照组不使用蒸馏训练学生模型为了证明蒸馏有效必须跑一个对照组用同样的学生模型结构、同样的数据、同样的训练轮数但只使用硬标签交叉熵损失。这样最后对比测试准确率才能看出蒸馏到底带来了多少提升。train_student.py代码如下# 文件路径kd_demo/train_student.py import torch import torch.nn as nn import torch.optim as optim from models import StudentMLP from utils import load_mnist, train_one_epoch, evaluate def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) train_loader, test_loader load_mnist(batch_size128) student StudentMLP().to(device) optimizer optim.Adam(student.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() epochs 15 for epoch in range(1, epochs 1): train_loss, train_acc train_one_epoch( student, train_loader, optimizer, loss_fn, device ) test_acc evaluate(student, test_loader, device) print(fEpoch {epoch:02d} | Loss: {train_loss:.4f} | fTrain Acc: {train_acc:.4f} | Test Acc: {test_acc:.4f}) torch.save(student.state_dict(), student_baseline.pt) print(Baseline student saved to student_baseline.pt) if __name__ __main__: main()运行命令顺序是python train_teacher.py python train_student.py python distill.py在大多数量级一致的随机种子下结果会有如下趋势教师模型测试准确率约 99%。直接训练的 MLP 学生模型测试准确率可能在 97% 到 98% 之间。经过蒸馏的 MLP 学生模型测试准确率往往能提升到 98% 以上有些实验甚至能逼近教师模型。需要说明的是MNIST 本身太简单两类模型的准确率差距并不大。如果你把数据集换成 CIFAR-10或者把学生模型结构压缩得更狠蒸馏带来的提升会更明显。这也是为什么很多教程会用 CIFAR 或 ImageNet 来做更完整的演示。5. 蒸馏在大模型时代的热门应用5.1 DeepSeek 与大模型蒸馏话题知识蒸馏在大模型时代再次成为热点主要原因是“强模型继续变强但推理成本线性上升”。一套数百亿参数的模型如果直接商用硬件成本和服务延迟都非常惊人。因此很多团队选择先训练一个庞大模型再用蒸馏把能力迁移到几个亿甚至几千万参数的小模型上。近期 DeepSeek 系列模型在开源社区讨论度很高大家经常看到类似“DeepSeek 蒸馏到 Qwen / Llama”的技术方案核心做法就是用 DeepSeek 的 logits 或生成结果作为教师信号去训练更小的开源模型最终得到一个在特定任务上表现接近大模型、但运行成本低很多的小模型。网络上还出现“DeepSeek-V4.1-Flash 蒸馏”这类热词说明蒸馏已经不是实验室里的名词而是大模型应用落地中真实依赖的技术路线。不过这里要提醒一点不同模型家族、不同任务对大模型蒸馏的实现方式差异很大。LLM 蒸馏通常不是简单分类蒸馏而是涉及序列级 logits 蒸馏、对比蒸馏、偏好蒸馏等多种变体。如果你从分类蒸馏直接跳到 LLM 蒸馏建议先熟悉自回归模型、teacher forcing、beam search 这些前置概念再动手。5.2 YOLO 等目标检测模型中的蒸馏目标检测模型同样是蒸馏的“重度用户”。YOLO 系列在工业场景应用广泛但 YOLO 不同版本之间参数量差异不小很多项目希望把大 YOLO 的知识迁移到小 YOLO 上在保持精度的同时提升帧率。检测任务里的蒸馏比分类任务复杂得多因为模型输出的不只有分类概率还有边界框回归值。常见的做法包括logits 蒸馏直接对分类分支的输出做知识蒸馏。特征蒸馏让学生的特征图去对齐教师的特征图常用 L2 损失或注意力对齐。回归蒸馏对边界框回归头进行知识迁移让学生的框分布接近教师的框分布。区域蒸馏只在 GT 框或候选区域内进行蒸馏减少背景噪声的影响。用 YOLO 蒸馏时关键点是“在哪里蒸馏”。有的方法只对正样本区域蒸馏有的方法对全图蒸馏有的方法会在特征金字塔的每一层都加蒸馏损失。这些设计都会显著影响收益。5.3 运动蒸馏与多模态蒸馏等扩展方向热搜词里出现的“运动蒸馏”对应到具体研究领域通常是两类一类是人体动作识别与姿态估计中的知识蒸馏把大模型对动作时序特征的表征能力转移到轻量模型上另一类是机器人、自动驾驶中的运动规划蒸馏把专家策略或大模型规划器的决策逻辑蒸馏到实时推理模型上。这类任务的共性在于教师模型的输出不再是一组分类概率而可能是一条轨迹、一组关键点、一个决策序列。蒸馏损失函数因此要重新设计比如轨迹蒸馏使用逐点 L2 损失姿态蒸馏使用关键点热图之间的 KL 散度或余弦相似度。多模态蒸馏则是另一种扩展教师模型可能是多模态模型比如同时处理图像和文本学生模型可能只保留其中一个模态的输入能力但要尽可能继承教师融合后的语义知识。这种跨模态蒸馏在视觉语言模型压缩中越来越常见。5.4 黑盒蒸馏只能看输出不能看内部黑盒蒸馏Black-box Distillation是近年比较受关注的一个方向。它的假设是你无法获得教师模型的参数、中间层特征甚至不知道教师模型的具体结构只能通过 API 把数据传进去、拿到输出结果。这时候知识迁移的信号来源只有教师模型的输出概率或生成文本。黑盒蒸馏的典型做法是用大量样本查询教师模型收集软标签或生成结果然后让学生模型在这些数据上训练。如果 API 有调用成本限制还会配合主动学习策略选择信息量更大的样本去查询。它的优点是适用范围广不关心教师模型是开源还是闭源缺点是信号不如白盒蒸馏丰富通常需要更多数据才能逼近教师模型效果。许多闭源大模型厂商提供 API 但不开源权重这种场景下黑盒蒸馏几乎是唯一可行的蒸馏路径。6. 常见问题与排查思路6.1 高频问题对照表知识蒸馏代码写的过程中几乎每个初学者都会遇到下面几类问题。我整理成了对照表方便你快速定位。问题现象常见原因解决思路蒸馏损失为 NaN教师模型 logits 出现极大值或者 KL 散度输入格式错误先单独跑教师模型推理检查输出范围确认 kl_div 第一个参数是 log_softmax 结果学生模型训练不收敛温度 T 过高或过低软标签退化成一堆均匀概率用 3~10 之间的温度观察软标签概率分布避免太平滑学生模型精度远低于基线教师模型没训练好蒸馏信号本身就是错的先评估教师模型准确率低于 80% 时建议重新训练蒸馏损失下降但精度不变蒸馏损失在总损失中占比太小硬标签起主导作用增大 alpha或者调整 T 让软标签携带更多信息显存不足教师模型和学生模型同时放在 GPU 上推理对大模型在torch.no_grad()下计算教师输出并缓存到磁盘减少重复计算模型输出维度不一致教师模型和学生模型分类数不同蒸馏要求两个模型的类别数完全一致否则无法计算 KL 散度CPU 训练特别慢模型定义冗余、数据增强过重对 MNIST 类小任务减少 batch size、避免复杂增强必要时使用 GPU6.2 系统化排查路径排查顺序建议从“教师模型质量 → 温度 → 损失计算方式 → 超参数”逐步进行。先确认教师模型单独推理的准确率再打印学生模型和教师模型的软标签分布最后调参。还有一个容易被忽略的点不同随机种子可能导致小模型基线结果波动 1%~2%。如果做对比实验建议固定随机种子或者重复多次取平均值不然很难判断蒸馏带来的提升是真实收益还是随机波动。如果学生在蒸馏训练中损失一直不下降优先检查F.kl_div的参数顺序。很多初学代码都会写成kl_div(teacher_soft, student_soft.exp())但 PyTorch 的要求恰恰相反。其次检查reduction参数batchmean会对 batch 取平均接近论文里的公式定义。7. 最佳实践与工程建议7.1 温度与软标签调优策略温度的选择不要迷信经验值。建议先在验证集上把教师模型的错误模式分析一遍如果教师模型在相似类别之间的混淆较多温度可以设高一点把相似性信息放大如果教师模型输出已经过于平滑温度就要降低。比较稳妥的做法是写一个网格搜索脚本对 T 在[2, 4, 6, 8]中分别跑蒸馏训练选择验证集指标最优的配置。同时可以记录学生模型在不同温度下的软标签分布。如果某个温度下学生模型的概率分布比教师模型尖锐很多说明蒸馏没有充分学到类间相似性可以适当调高 alpha 或温度。7.2 特征蒸馏与多教师蒸馏分类任务的 logits 蒸馏是最基础的形式但很多场景下效果不够强。工程上经常引入特征蒸馏让学生模型的中间层特征去对齐教师模型的中间层特征。常见的方式包括使用 L2 损失约束特征图逐像素接近。使用注意力图对齐让学生的注意力区域更接近教师。使用相互学习让两个同级别模型互相监督共同进步。多教师蒸馏也是一个实用技巧。如果你手上同时有多个训练好的模型每个模型各有所长可以把它们的软输出取平均或者加权融合再作为教师信号。这种方法能减少单一教师模型的偏差提升学生模型的上限。7.3 蒸馏项目的工程化建议从论文演示走向线上系统时以下几点非常重要缓存教师输出。如果数据量大教师模型推理一次成本不低建议先对全量训练集做一次教师模型推理把软标签以.npz或.pt格式缓存下来之后每次训练学生模型都直接从磁盘读取。冻结教师参数。蒸馏训练时一定要用torch.no_grad()包裹教师模型推理否则教师模型的梯度也会被计算白白浪费显存和算力。固定随机种子。对比实验必须保证可复现。记录训练日志。把温度、alpha、损失比例、准确率都记录下来方便后续复盘。做消融实验。至少对比三组普通学生模型、logits 蒸馏学生模型、特征蒸馏学生模型才能知道每一步优化是否有效。7.4 安全与合规提醒如果你使用在线 API 的教师模型做黑盒蒸馏要注意数据合规问题。涉及用户隐私、业务敏感数据时最好先脱敏再调用外部模型涉及版权问题要确认教师模型的输出是否可以用于二次训练。在生产环境中所有训练数据、软标签、模型权重都应该纳入版本管理避免数据污染和模型不可追溯。另外在部署蒸馏后的小模型前一定要用小模型自己的验证集重新评估不要只依赖教师模型的测试指标。很多蒸馏失败案例都是因为小模型在训练集上表现很好但真实场景分布变化后快速退化。必要时可以用 A/B 测试观察线上效果。8. 总结与下一步学习路线8.1 本文核心收获写到这里知识蒸馏从原理到代码的完整链路基本走完了一遍。你至少已经掌握蒸馏为什么叫“蒸馏”、教师模型和学生模型的角色、温度 T 和软标签的作用、蒸馏损失函数的构成、基于 PyTorch 的 MNIST 蒸馏代码实现以及大模型蒸馏、YOLO 蒸馏、黑盒蒸馏等扩展方向。8.2 三条学习路线建议下一步的学习建议分三条线进行。第一条线是理论进阶建议去读知识蒸馏的经典论文和近几年有代表性的工作重点关注损失函数设计和特征对齐方式。第二条线是视觉任务实践把代码从 MNIST 换成 CIFAR-10 或目标检测数据集体验特征蒸馏、区域蒸馏和回归蒸馏的区别。第三条线是大模型方向尝试把开源小模型通过蒸馏逼近某个更强模型的输出理解 logits 级别蒸馏和生成文本蒸馏的差异。在这三条线推进的同时多跑对比实验多画软标签分布图比只看别人的经验总结要有效得多。如果你现在打算动手复现一次最直接的建议是先把教师模型训练到很高的精度再在同一份代码上跑对照组和蒸馏组用准确率差值判断效果。跑通之后再调温度、alpha逐步加入特征蒸馏你会发现蒸馏并不是什么晦涩的魔法而是一套有清晰逻辑的工程方法。等你能在小数据集上稳定复现出“蒸馏后学生模型优于普通训练学生模型”的效果再进入真实业务心里就有底了。 
长河君 · 2026/10/1 10:40:21 · 阅读 1.2k 知识蒸馏实战：从原理到PyTorch实现与大模型应用
模型领域最近流行一句话打劫太low了我们都叫蒸馏。如果只看结果蒸馏确实像一次“文明打劫”——把一个强模型的“内力”抽出来灌进一个小模型的身体里。大模型负责思考小模型负责跑得快、跑得便宜。但这个过程不是复读机式的复制而是“让好老师带出好学生”的教学过程。这篇文章就围绕知识蒸馏Knowledge Distillation展开从概念、原理讲到 PyTorch 手写实现再结合近期大模型蒸馏、YOLO 蒸馏、黑盒蒸馏等热门方向梳理出一条从入门到落地的完整路径。那“蒸馏”这个词到底怎么理解为什么 AI 要用蒸馏教师模型、学生模型、软标签、温度参数这些词又是什么意思带着这些问题往下看。1. 什么是知识蒸馏为什么叫“蒸馏”1.1 “打劫”当然是玩笑蒸馏才是正经名字看到标题你可能觉得“打劫”这个说法有点突兀其实这是 AI 圈子里一个流传很广的玩笑模型蒸馏就像是大模型把自己的能力“借”给了小模型小模型甚至能在某些指标上逼近大模型看起来像“劫走”了大模型的知识。但这个玩笑背后站着一个正经的学术概念——Knowledge Distillation知识蒸馏。知识蒸馏最早可以追溯到 Hinton 等人在 2015 年前后提出的经典工作。它的核心思路是先训练一个能力强、参数量大的教师模型Teacher Model再训练一个参数量小、结构轻量的学生模型Student Model让学生模型去模仿教师模型的输出行为从而把大模型的“知识”迁移到小模型上。因为整个过程类似于化学实验里通过加热蒸发、冷却凝结来提纯物质所以被形象地称为“蒸馏”。更专业一点说蒸馏是一种模型压缩与知识迁移方法。它不需要像传统剪枝Pruning那样直接去掉模型结构里的冗余部分也不需要像量化Quantization那样改变权重表示精度而是用“学习教师模型输出”的方式让小模型获得更好的泛化能力。这也是为什么很多人说蒸馏的本质是让模型学会做决策而不是死记硬背答案。1.2 教师模型、学生模型、软标签一次分清在知识蒸馏里有三个高频名词必须先弄清楚。第一个是教师模型Teacher Model。通常是一个已经训练好、精度较高的大模型可以是 ResNet、Vision Transformer、LLM 等等。教师模型的作用不是参与线上推理而是充当“知识来源”。第二个是学生模型Student Model。这是最终要部署的模型结构更小、计算量更低。学生模型既要从真实标签Ground Truth里学习也要从教师模型的输出里学习。第三个是最容易混淆的软标签Soft Label。普通分类任务用硬标签比如一张图片是“猫”标签就是[0, 1]而教师模型最后一层 Softmax 输出的概率分布比如[0.05, 0.85, 0.10]这种带有“置信度分布”的标签就叫软标签。软标签的价值在于它包含了“类间关系”。比如一张图片在猫和狮子两个类别上概率都较高说明这两个类别在特征上有相似性。硬标签无法表达这种相似性软标签却可以。学生模型通过模仿软标签学到的是教师模型的“判断逻辑”而不只是最终结论。这一点是知识蒸馏比单纯拿硬标签训练小模型更有效的重要原因。1.3 知识蒸馏解决什么问题知识蒸馏解决的核心问题可以概括为“大模型很强但跑不动小模型跑得快但不够强”。在实际项目中一个 7B 的 LLM 可能效果很好但推理一次要占用十几 GB 显存、延迟几百毫秒一个 0.5B 的小模型虽然秒回但是准确率、泛化能力明显拉胯。这时候如果直接把小模型拿上线效果不达标如果硬上大模型成本和性能又撑不住。蒸馏提供了一条折中路用大模型当老师把小模型“调教”到尽量接近大模型的水平。除了模型压缩知识蒸馏还可以解决以下问题多任务学习场景下用教师模型提供统一的知识信号增强学生模型的泛化能力。数据稀缺场景下教师模型可以生成伪标签或软标签辅助小模型训练。隐私或版权敏感场景下黑盒蒸馏可以用 API 返回的概率分布代替直接访问模型参数。模型集成场景下可以把多个专家模型蒸馏成一个学生模型兼顾效果和效率。1.4 模型蒸馏、知识蒸馏、黑盒蒸馏是什么关系你在搜索热词里会看到“模型蒸馏”“知识蒸馏”“黑盒蒸馏”“YOLO 蒸馏”等说法它们并不是并列的几个毫无关联的概念。知识蒸馏是方法论的总称强调的是“教师指导学生”的知识迁移过程。模型蒸馏通常是知识蒸馏在工业落地中的通俗叫法特别指代大模型压缩成小模型的操作比如“LLM 蒸馏成 1.5B 小模型”。黑盒蒸馏是从访问权限角度对蒸馏的分类只能拿到教师模型的输入输出不能拿到中间特征那这种蒸馏就叫黑盒蒸馏反之能访问中间层特征就是白盒蒸馏。YOLO 蒸馏则是把蒸馏方法用在目标检测等视觉任务上属于“知识蒸馏在具体任务中的应用”不是另一种独立的算法。理解这层关系之后你就知道不管叫什么名字底子都是那一套教师-学生的迁移框架。2. 知识蒸馏的核心原理2.1 从硬标签到软标签先看普通分类训练。对于一个分类任务模型最后一层经过 Softmax 得到概率输出再和硬标签计算交叉熵损失。硬标签一般是 One-Hot 向量比如三分类任务里样本属于第 1 类标签就是[1, 0, 0]。这种训练方式的问题在于模型只知道“第 1 类是对的”不知道“第 1 类和第 2 类有点像但和第 3 类差别很大”。如果两个类别的特征存在重叠硬标签不仅提供不了这种相似性甚至可能让模型在类别边界上非常敏感。知识蒸馏改用教师模型的软输出作为训练信号。教师模型给出的概率分布里除了最大概率那个类别其他类别的概率也包含了信息。例如一张“哈士奇”图片教师模型可能输出[0.60, 0.25, 0.15]这个分布在“狼”类别上有 0.25 的分量就告诉学生模型哈士奇在外观上跟狼很像。这是硬标签完全无法提供的知识。不过普通 Softmax 输出的概率分布在类别差异大时概率往往特别尖锐比如[0.99, 0.01, 0.00]非最大类别的信息会被压得很小。为了让软标签更有“教学价值”蒸馏里通常要引入温度参数。2.2 温度参数 T 的作用温度参数Temperature是知识蒸馏里最核心的超参数之一。加了温度之后Softmax 的公式从p_i exp(z_i) / sum_j exp(z_j)变成p_i exp(z_i / T) / sum_j exp(z_j / T)其中z_i是模型输出层某个类别的 logitT是温度。当T 1时这个函数就是普通 Softmax当T 1时概率分布变得更尖锐接近硬标签当T 1时概率分布变得更平滑各个类别之间的概率差距缩小小概率类别的信息会被放大出来。在设计蒸馏损失时教师模型和学生模型要用同一个温度 T 来计算 Softmax 输出保证两者处于同一个“蒸馏尺度”。推理阶段学生模型使用T 1的正常 Softmax 输出不需要保留温度。温度的选择需要权衡温度太低软标签和硬标签区别不大蒸馏失去了意义温度太高所有类别概率都趋于均匀会把大量噪声也当成知识教给学生模型。常见的经验区间是 3 到 10具体要通过实验调整。2.3 蒸馏损失函数经典的知识蒸馏总损失由两部分组成Loss alpha * KL(学生软输出, 教师软输出) (1 - alpha) * CE(学生输出, 硬标签)第一项是蒸馏损失Distillation Loss用来衡量学生模型在温度 T 下的软输出和教师模型在温度 T 下的软输出之间的分布差异常用 KL 散度Kullback-Leibler Divergence或交叉熵计算。第二项是普通监督损失用硬标签帮助学生模型“守住”正确答案。alpha 用来平衡两部分损失。为什么需要两项而不是只保留蒸馏损失因为如果只模仿教师模型的软输出学生模型的训练完全被教师的错误带偏当教师模型本身有误判时学生也会继承这些误判加上硬标签监督等于给训练过程加了一个“正确答案底锚”能有效避免偏置。在具体实现里KL 散度可以等价地用交叉熵计算因为相对于固定的教师输出KL 散度减去的学生熵项是常数。但为了方便多数人直接用 PyTorch 的torch.nn.KLDivLoss或手写 soft label cross entropy。2.4 为什么小模型能学到“知识”而不是“答案”这个问题初学者特别容易困惑既然小模型最后输出的也是分类概率为什么不直接拿教师模型的“最终答案”当标签训练答案是教师模型给出的软分布包含了丰富的“暗知识”比如类别间的相似度和决策边界信息。举个例子识别手写数字时一张“7”的图片往往在“1”和“9”两个类别上也有一定的概率响应。教师模型可能输出[0.70, 0.20, 0.05, ...]其中“7”最大“1”第二“9”第三。硬标签只告诉学生“这是 7”而软标签告诉学生“7 的写法有些情况下接近 1也有一些情况下接近 9”。学生模型在模仿这个分布时不仅学会了正确分类还学会了人类认知里“相似数字的边界比较模糊”这一层知识。所以知识蒸馏的本质不是让学生背答案而是让学生模仿教师的“思考方式”——它在每个类别上投入多大的置信度、如何分配类间概率。这也是蒸馏出来的小模型往往比直接训练的小模型泛化能力更强的原因。3. 环境准备与实验设计3.1 环境说明既然是动手实验我们先明确运行环境。本文的示例使用 Python PyTorch数据集采用 MNIST。MNIST 是手写数字识别数据集共 10 个类别样本是 28×28 的灰度图非常适合用来演示蒸馏流程。环境要求大致如下操作系统Windows / Linux / macOS 均可本文不依赖特定平台命令。Python3.9 以上即可。PyTorch2.x 推荐本文代码依赖torch和torchvision。版本不必刻意追求最新按你本机已有的环境运行即可。硬件CPU 也能跑MNIST 本身很小有 CUDA 显卡更快。为了代码通用我在代码里加了一个device判断能自动选择 GPU 或 CPU。安装依赖的命令如下。如果使用 Anaconda建议先创建一个新环境conda create -n kd_demo python3.10 -y conda activate kd_demo pip install torch torchvision如果你不想用 Anaconda直接pip install torch torchvision也行。本文不锁定具体版本号因为 PyTorch 的构建版本和 CUDA 版本需要根据本机环境选择重点是讲清楚蒸馏代码的写法。3.2 数据集选择MNIST 为什么适合MNIST 是知识蒸馏教程最常见的实验数据集原因有三个样本量适中60000 张训练图片、10000 张测试图片训练时间可控。类别数少只有 10 类软标签的维度不高方便可视化。输入简单28×28 灰度图对模型结构要求低适合新手快速跑通流程。生产环境里当然不会只用 MNIST但在学习阶段用 MNIST 跑通“教师模型 → 蒸馏 → 学生模型”的完整闭环比一上来就用 ImageNet 或大语言模型要高效得多。等理解了核心逻辑再迁移到 CIFAR、目标检测或 NLP 任务会更轻松。3.3 项目结构设计为了让代码可读性更强、更适合工程化我把示例拆成下面几个文件kd_demo/ ├── models.py # 教师模型与学生模型定义 ├── train_teacher.py # 训练教师模型 ├── train_student.py # 普通训练学生模型对照组 ├── distill.py # 蒸馏训练学生模型 └── utils.py # 公共方法数据加载、训练、评估这样的拆分逻辑是按“模型定义、数据加载、训练流程、评估流程”划分的比把所有代码塞到一个文件里更清晰。下面我们来逐个实现。4. 完整实战PyTorch 实现知识蒸馏4.1 定义教师模型与学生模型我采用了“教师模型稍大、学生模型稍小”的结构设计。教师模型用两层卷积加两层全连接参数量接近 40 万学生模型用两层全连接的 MLP参数量只有几万。两者差异越大蒸馏的效果差异越直观。文件models.py的内容如下# 文件路径kd_demo/models.py import torch.nn as nn import torch.nn.functional as F # 教师模型小 CNN class TeacherCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) def forward(self, x): x F.relu(F.max_pool2d(self.conv1(x), 2)) x F.relu(F.max_pool2d(self.conv2(x), 2)) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) return self.fc2(x) # 学生模型简单 MLP class StudentMLP(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(28 * 28, 200) self.fc2 nn.Linear(200, 200) self.fc3 nn.Linear(200, 10) def forward(self, x): x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return self.fc3(x)注意到两个模型 forward 的返回值都没有经过F.softmax。这是因为我们希望在训练过程中拿到的是 logitsSoftmax 放在损失函数里处理灵活度更高。教师模型后面要参与蒸馏也需要输出 logits而不是概率。4.2 编写公共工具模块utils.py里放数据集加载、训练一个 epoch、评估模型三个公共函数。这样教师在train_teacher.py里用学生在train_student.py和distill.py里也能复用。# 文件路径kd_demo/utils.py import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader def load_mnist(batch_size128): transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_set datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) test_set datasets.MNIST( root./data, trainFalse, downloadTrue, transformtransform ) train_loader DataLoader(train_set, batch_sizebatch_size, shuffleTrue) test_loader DataLoader(test_set, batch_sizebatch_size, shuffleFalse) return train_loader, test_loader def train_one_epoch(model, loader, optimizer, loss_fn, device): model.train() total_loss 0.0 correct 0 total 0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss loss_fn(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) pred outputs.argmax(dim1) correct (pred labels).sum().item() total labels.size(0) return total_loss / total, correct / total torch.no_grad() def evaluate(model, loader, device): model.eval() correct 0 total 0 for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) pred outputs.argmax(dim1) correct (pred labels).sum().item() total labels.size(0) return correct / total这个工具函数故意写得很基础没有使用高级的 Trainer 封装目的是让你看清每个步骤。在生产项目中可以替换成 PyTorch Lightning 或 Hugging Face Trainer但学习阶段保持“看得懂”更重要。4.3 训练教师模型教师模型我们要训练到较高的精度因为后面所有“教学”都依赖教师模型的质量。一个没训练好的教师模型等于一个水平很差的老师学生会越学越歪。train_teacher.py代码如下# 文件路径kd_demo/train_teacher.py import torch import torch.nn as nn import torch.optim as optim from models import TeacherCNN from utils import load_mnist, train_one_epoch, evaluate def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) train_loader, test_loader load_mnist(batch_size128) teacher TeacherCNN().to(device) optimizer optim.Adam(teacher.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() epochs 10 for epoch in range(1, epochs 1): train_loss, train_acc train_one_epoch( teacher, train_loader, optimizer, loss_fn, device ) test_acc evaluate(teacher, test_loader, device) print(fEpoch {epoch:02d} | Loss: {train_loss:.4f} | fTrain Acc: {train_acc:.4f} | Test Acc: {test_acc:.4f}) torch.save(teacher.state_dict(), teacher.pt) print(Teacher saved to teacher.pt) if __name__ __main__: main()建议运行python train_teacher.py等它跑完。MNIST 很小在 CPU 上 10 个 epoch 通常几分钟内可以结束。正常得到的测试集准确率应该在 99% 附近这个模型会被保存为teacher.pt。4.4 编写蒸馏核心代码蒸馏训练是本文的重头戏。文件distill.py中我们同时加载教师模型和学生模型。教师模型的参数被冻结不需要计算梯度学生模型正常更新参数。蒸馏逻辑分四步把图片分别输入学生模型和教师模型得到两套 logits。在同一个温度 T 下对两套 logits 做 Softmax得到两个软概率分布。用KLDivLoss计算两个软分布之间的蒸馏损失。用CrossEntropyLoss计算学生模型输出与硬标签的监督损失和蒸馏损失加权相加。对应的代码如下# 文件路径kd_demo/distill.py import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from models import TeacherCNN, StudentMLP from utils import load_mnist, evaluate def distillation_loss(teacher_logits, student_logits, labels, T4.0, alpha0.7): # 教师和学生都用温度 T 做 softmax teacher_soft F.log_softmax(teacher_logits / T, dim1) student_soft F.log_softmax(student_logits / T, dim1) kd_loss F.kl_div( student_soft, teacher_soft.exp(), reductionbatchmean ) * (T ** 2) ce_loss F.cross_entropy(student_logits, labels) return alpha * kd_loss (1 - alpha) * ce_loss def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) train_loader, test_loader load_mnist(batch_size128) teacher TeacherCNN().to(device) teacher.load_state_dict(torch.load(teacher.pt, map_locationdevice)) teacher.eval() student StudentMLP().to(device) optimizer optim.Adam(student.parameters(), lr1e-3) T 4.0 alpha 0.7 epochs 15 for epoch in range(1, epochs 1): student.train() total_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() with torch.no_grad(): teacher_logits teacher(images) student_logits student(images) loss distillation_loss( teacher_logits, student_logits, labels, TT, alphaalpha ) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) pred student_logits.argmax(dim1) correct (pred labels).sum().item() total labels.size(0) train_acc correct / total test_acc evaluate(student, test_loader, device) print(fEpoch {epoch:02d} | Loss: {total_loss / total:.4f} | fTrain Acc: {train_acc:.4f} | Test Acc: {test_acc:.4f}) torch.save(student.state_dict(), student_distilled.pt) print(Distilled student saved to student_distilled.pt) if __name__ __main__: main()这里有一个特别容易踩坑的地方F.kl_div的输入要求第一个参数是log_probabilities第二个参数是probabilities。所以我先把学生模型的 Softmax 结果取对数然后把教师模型的 Softmax 结果用.exp()还原成概率形式。很多资料写代码时把两个参数颠倒了会导致训练不收敛。另一个要注意的是(T ** 2)这个缩放系数。在使用 KL 散度做蒸馏损失时梯度会跟 1/T 成正比如果不乘T^2梯度会太小学生模型学得很慢。加上之后超参数 T 的变化对训练强度的影响会小很多。4.5 对照组不使用蒸馏训练学生模型为了证明蒸馏有效必须跑一个对照组用同样的学生模型结构、同样的数据、同样的训练轮数但只使用硬标签交叉熵损失。这样最后对比测试准确率才能看出蒸馏到底带来了多少提升。train_student.py代码如下# 文件路径kd_demo/train_student.py import torch import torch.nn as nn import torch.optim as optim from models import StudentMLP from utils import load_mnist, train_one_epoch, evaluate def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) train_loader, test_loader load_mnist(batch_size128) student StudentMLP().to(device) optimizer optim.Adam(student.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() epochs 15 for epoch in range(1, epochs 1): train_loss, train_acc train_one_epoch( student, train_loader, optimizer, loss_fn, device ) test_acc evaluate(student, test_loader, device) print(fEpoch {epoch:02d} | Loss: {train_loss:.4f} | fTrain Acc: {train_acc:.4f} | Test Acc: {test_acc:.4f}) torch.save(student.state_dict(), student_baseline.pt) print(Baseline student saved to student_baseline.pt) if __name__ __main__: main()运行命令顺序是python train_teacher.py python train_student.py python distill.py在大多数量级一致的随机种子下结果会有如下趋势教师模型测试准确率约 99%。直接训练的 MLP 学生模型测试准确率可能在 97% 到 98% 之间。经过蒸馏的 MLP 学生模型测试准确率往往能提升到 98% 以上有些实验甚至能逼近教师模型。需要说明的是MNIST 本身太简单两类模型的准确率差距并不大。如果你把数据集换成 CIFAR-10或者把学生模型结构压缩得更狠蒸馏带来的提升会更明显。这也是为什么很多教程会用 CIFAR 或 ImageNet 来做更完整的演示。5. 蒸馏在大模型时代的热门应用5.1 DeepSeek 与大模型蒸馏话题知识蒸馏在大模型时代再次成为热点主要原因是“强模型继续变强但推理成本线性上升”。一套数百亿参数的模型如果直接商用硬件成本和服务延迟都非常惊人。因此很多团队选择先训练一个庞大模型再用蒸馏把能力迁移到几个亿甚至几千万参数的小模型上。近期 DeepSeek 系列模型在开源社区讨论度很高大家经常看到类似“DeepSeek 蒸馏到 Qwen / Llama”的技术方案核心做法就是用 DeepSeek 的 logits 或生成结果作为教师信号去训练更小的开源模型最终得到一个在特定任务上表现接近大模型、但运行成本低很多的小模型。网络上还出现“DeepSeek-V4.1-Flash 蒸馏”这类热词说明蒸馏已经不是实验室里的名词而是大模型应用落地中真实依赖的技术路线。不过这里要提醒一点不同模型家族、不同任务对大模型蒸馏的实现方式差异很大。LLM 蒸馏通常不是简单分类蒸馏而是涉及序列级 logits 蒸馏、对比蒸馏、偏好蒸馏等多种变体。如果你从分类蒸馏直接跳到 LLM 蒸馏建议先熟悉自回归模型、teacher forcing、beam search 这些前置概念再动手。5.2 YOLO 等目标检测模型中的蒸馏目标检测模型同样是蒸馏的“重度用户”。YOLO 系列在工业场景应用广泛但 YOLO 不同版本之间参数量差异不小很多项目希望把大 YOLO 的知识迁移到小 YOLO 上在保持精度的同时提升帧率。检测任务里的蒸馏比分类任务复杂得多因为模型输出的不只有分类概率还有边界框回归值。常见的做法包括logits 蒸馏直接对分类分支的输出做知识蒸馏。特征蒸馏让学生的特征图去对齐教师的特征图常用 L2 损失或注意力对齐。回归蒸馏对边界框回归头进行知识迁移让学生的框分布接近教师的框分布。区域蒸馏只在 GT 框或候选区域内进行蒸馏减少背景噪声的影响。用 YOLO 蒸馏时关键点是“在哪里蒸馏”。有的方法只对正样本区域蒸馏有的方法对全图蒸馏有的方法会在特征金字塔的每一层都加蒸馏损失。这些设计都会显著影响收益。5.3 运动蒸馏与多模态蒸馏等扩展方向热搜词里出现的“运动蒸馏”对应到具体研究领域通常是两类一类是人体动作识别与姿态估计中的知识蒸馏把大模型对动作时序特征的表征能力转移到轻量模型上另一类是机器人、自动驾驶中的运动规划蒸馏把专家策略或大模型规划器的决策逻辑蒸馏到实时推理模型上。这类任务的共性在于教师模型的输出不再是一组分类概率而可能是一条轨迹、一组关键点、一个决策序列。蒸馏损失函数因此要重新设计比如轨迹蒸馏使用逐点 L2 损失姿态蒸馏使用关键点热图之间的 KL 散度或余弦相似度。多模态蒸馏则是另一种扩展教师模型可能是多模态模型比如同时处理图像和文本学生模型可能只保留其中一个模态的输入能力但要尽可能继承教师融合后的语义知识。这种跨模态蒸馏在视觉语言模型压缩中越来越常见。5.4 黑盒蒸馏只能看输出不能看内部黑盒蒸馏Black-box Distillation是近年比较受关注的一个方向。它的假设是你无法获得教师模型的参数、中间层特征甚至不知道教师模型的具体结构只能通过 API 把数据传进去、拿到输出结果。这时候知识迁移的信号来源只有教师模型的输出概率或生成文本。黑盒蒸馏的典型做法是用大量样本查询教师模型收集软标签或生成结果然后让学生模型在这些数据上训练。如果 API 有调用成本限制还会配合主动学习策略选择信息量更大的样本去查询。它的优点是适用范围广不关心教师模型是开源还是闭源缺点是信号不如白盒蒸馏丰富通常需要更多数据才能逼近教师模型效果。许多闭源大模型厂商提供 API 但不开源权重这种场景下黑盒蒸馏几乎是唯一可行的蒸馏路径。6. 常见问题与排查思路6.1 高频问题对照表知识蒸馏代码写的过程中几乎每个初学者都会遇到下面几类问题。我整理成了对照表方便你快速定位。问题现象常见原因解决思路蒸馏损失为 NaN教师模型 logits 出现极大值或者 KL 散度输入格式错误先单独跑教师模型推理检查输出范围确认 kl_div 第一个参数是 log_softmax 结果学生模型训练不收敛温度 T 过高或过低软标签退化成一堆均匀概率用 3~10 之间的温度观察软标签概率分布避免太平滑学生模型精度远低于基线教师模型没训练好蒸馏信号本身就是错的先评估教师模型准确率低于 80% 时建议重新训练蒸馏损失下降但精度不变蒸馏损失在总损失中占比太小硬标签起主导作用增大 alpha或者调整 T 让软标签携带更多信息显存不足教师模型和学生模型同时放在 GPU 上推理对大模型在torch.no_grad()下计算教师输出并缓存到磁盘减少重复计算模型输出维度不一致教师模型和学生模型分类数不同蒸馏要求两个模型的类别数完全一致否则无法计算 KL 散度CPU 训练特别慢模型定义冗余、数据增强过重对 MNIST 类小任务减少 batch size、避免复杂增强必要时使用 GPU6.2 系统化排查路径排查顺序建议从“教师模型质量 → 温度 → 损失计算方式 → 超参数”逐步进行。先确认教师模型单独推理的准确率再打印学生模型和教师模型的软标签分布最后调参。还有一个容易被忽略的点不同随机种子可能导致小模型基线结果波动 1%~2%。如果做对比实验建议固定随机种子或者重复多次取平均值不然很难判断蒸馏带来的提升是真实收益还是随机波动。如果学生在蒸馏训练中损失一直不下降优先检查F.kl_div的参数顺序。很多初学代码都会写成kl_div(teacher_soft, student_soft.exp())但 PyTorch 的要求恰恰相反。其次检查reduction参数batchmean会对 batch 取平均接近论文里的公式定义。7. 最佳实践与工程建议7.1 温度与软标签调优策略温度的选择不要迷信经验值。建议先在验证集上把教师模型的错误模式分析一遍如果教师模型在相似类别之间的混淆较多温度可以设高一点把相似性信息放大如果教师模型输出已经过于平滑温度就要降低。比较稳妥的做法是写一个网格搜索脚本对 T 在[2, 4, 6, 8]中分别跑蒸馏训练选择验证集指标最优的配置。同时可以记录学生模型在不同温度下的软标签分布。如果某个温度下学生模型的概率分布比教师模型尖锐很多说明蒸馏没有充分学到类间相似性可以适当调高 alpha 或温度。7.2 特征蒸馏与多教师蒸馏分类任务的 logits 蒸馏是最基础的形式但很多场景下效果不够强。工程上经常引入特征蒸馏让学生模型的中间层特征去对齐教师模型的中间层特征。常见的方式包括使用 L2 损失约束特征图逐像素接近。使用注意力图对齐让学生的注意力区域更接近教师。使用相互学习让两个同级别模型互相监督共同进步。多教师蒸馏也是一个实用技巧。如果你手上同时有多个训练好的模型每个模型各有所长可以把它们的软输出取平均或者加权融合再作为教师信号。这种方法能减少单一教师模型的偏差提升学生模型的上限。7.3 蒸馏项目的工程化建议从论文演示走向线上系统时以下几点非常重要缓存教师输出。如果数据量大教师模型推理一次成本不低建议先对全量训练集做一次教师模型推理把软标签以.npz或.pt格式缓存下来之后每次训练学生模型都直接从磁盘读取。冻结教师参数。蒸馏训练时一定要用torch.no_grad()包裹教师模型推理否则教师模型的梯度也会被计算白白浪费显存和算力。固定随机种子。对比实验必须保证可复现。记录训练日志。把温度、alpha、损失比例、准确率都记录下来方便后续复盘。做消融实验。至少对比三组普通学生模型、logits 蒸馏学生模型、特征蒸馏学生模型才能知道每一步优化是否有效。7.4 安全与合规提醒如果你使用在线 API 的教师模型做黑盒蒸馏要注意数据合规问题。涉及用户隐私、业务敏感数据时最好先脱敏再调用外部模型涉及版权问题要确认教师模型的输出是否可以用于二次训练。在生产环境中所有训练数据、软标签、模型权重都应该纳入版本管理避免数据污染和模型不可追溯。另外在部署蒸馏后的小模型前一定要用小模型自己的验证集重新评估不要只依赖教师模型的测试指标。很多蒸馏失败案例都是因为小模型在训练集上表现很好但真实场景分布变化后快速退化。必要时可以用 A/B 测试观察线上效果。8. 总结与下一步学习路线8.1 本文核心收获写到这里知识蒸馏从原理到代码的完整链路基本走完了一遍。你至少已经掌握蒸馏为什么叫“蒸馏”、教师模型和学生模型的角色、温度 T 和软标签的作用、蒸馏损失函数的构成、基于 PyTorch 的 MNIST 蒸馏代码实现以及大模型蒸馏、YOLO 蒸馏、黑盒蒸馏等扩展方向。8.2 三条学习路线建议下一步的学习建议分三条线进行。第一条线是理论进阶建议去读知识蒸馏的经典论文和近几年有代表性的工作重点关注损失函数设计和特征对齐方式。第二条线是视觉任务实践把代码从 MNIST 换成 CIFAR-10 或目标检测数据集体验特征蒸馏、区域蒸馏和回归蒸馏的区别。第三条线是大模型方向尝试把开源小模型通过蒸馏逼近某个更强模型的输出理解 logits 级别蒸馏和生成文本蒸馏的差异。在这三条线推进的同时多跑对比实验多画软标签分布图比只看别人的经验总结要有效得多。如果你现在打算动手复现一次最直接的建议是先把教师模型训练到很高的精度再在同一份代码上跑对照组和蒸馏组用准确率差值判断效果。跑通之后再调温度、alpha逐步加入特征蒸馏你会发现蒸馏并不是什么晦涩的魔法而是一套有清晰逻辑的工程方法。等你能在小数据集上稳定复现出“蒸馏后学生模型优于普通训练学生模型”的效果再进入真实业务心里就有底了。