1. 项目缘起与核心价值拆解1.1 为什么“3块钱、2小时、64M参数”这三个数字值得认真对待第一次看到这个项目标题的时候我的反应和大多数人一样3块钱训练一个大语言模型2小时64M参数这三个数字放在一起怎么看都像是标题党。毕竟我们平时听到的故事都是“千卡集群”“几百万美元”“几个月训练周期”这种量级。但仔细看完项目之后我发现它并不是在吹牛而是把“大语言模型训练”这件事做了一个极其聪明的降维——它没有去追求能力上限而是把目标锁定在“让任何一个普通开发者用一台普通电脑完整走通从数据准备到模型推理的全流程”。这件事的价值在哪里我举个例子你就明白了。很多人学做菜不是一上来就去研究米其林三星的分子料理而是先炒一盘蛋炒饭。蛋炒饭用料简单、步骤清晰、失败成本低但“切配、火候、调味、出锅”这些核心环节一个都不少。MiniMind就是大语言模型领域的“蛋炒饭”——它不追求生成多么惊艳的内容但它把分词器训练、预训练、监督微调、LoRA微调、模型评估、量化推理这一整条链路全部打通了而且每一步你都能在自己的机器上跑起来、看到结果、理解原理。具体来说这个项目的核心参数是这样的模型隐藏层维度64层数8注意力头数8总参数量约64M也就是0.064B。训练数据用的是公开的中文对话和通用语料预训练阶段大概用了几个GB的文本。整个预训练过程在一块消费级显卡上跑2小时左右就能完成电费按民用电价算下来差不多3块钱。这个成本意味着什么意味着你可以在一个周末的下午泡杯茶从头到尾把大模型训练这件事亲手做一遍而不是停留在看论文和跑别人封装好的API。适合谁来参考这个项目我梳理了三类人。第一类是刚入门NLP的开发者你学过Transformer的理论但从来没亲手训练过一个模型这个项目是最好的练手材料。第二类是想理解大模型全流程的工程师你平时可能只负责推理部署或者数据清洗对训练环节一知半解这个项目能帮你补齐认知拼图。第三类是教学场景下的导师或学生需要一个成本极低、代码透明、可复现的教学案例这个项目几乎是为这个场景量身定做的。1.2 64M参数到底能做什么、不能做什么这里我必须先把预期管理做好否则你跑完之后可能会失望。64M参数的模型它的能力边界非常清晰。它能做的简单的中文对话问答、基础的情感分类、短文本续写、特定格式的信息抽取、简单的指令跟随。比如你问它“今天天气怎么样”它能回你一句“今天天气不错适合出门走走”这种级别的回复。你给它一个“把下面这句话改成疑问句”的指令它也能照做。它不能做的复杂逻辑推理、多轮长对话记忆、代码生成、数学计算、知识密集型问答。你如果问它“帮我写一个快速排序算法”它大概率会给你一段语法都不对的伪代码。这不是项目的问题而是64M参数的信息容量就这么大这是物理层面的限制。我实测下来的感受是把它当成一个“教学演示模型”而不是“生产力工具”你的心态就会非常舒服。它的价值在于让你理解“训练一个模型需要哪些步骤、每个步骤的数据长什么样、损失曲线怎么变化、超参数怎么影响结果”而不是让你用它去替代任何现有的API服务。1.3 项目整体架构一览这个项目的代码结构非常干净我把它拆成了五个核心模块来理解模块功能关键文件产出物分词器训练训练专属BPE分词器train_tokenizer.pytokenizer.json预训练从零训练基础模型train_pretrain.pypretrain_xxx.pth监督微调让模型学会对话格式train_sft.pysft_xxx.pthLoRA微调低成本适配特定任务train_lora.pylora_xxx.pth推理与评估加载模型生成回复eval_model.py对话输出整个流程是串行的先有分词器才能把文本转成数字有了数字才能预训练预训练完了才能做SFTSFT完了才能对话。每一步的产出都是下一步的输入逻辑非常清晰。我建议你第一次跑的时候严格按照这个顺序来不要跳步否则很容易在某个环节卡住却不知道问题出在哪里。2. 环境准备与依赖安装的实操细节2.1 硬件门槛到底有多低项目标题说“3块钱、2小时”这个成本是建立在一块入门级显卡上的。我实测用的是一块RTX 3060 12GB这是目前二手市场性价比很高的选择。如果你手头没有独立显卡用CPU也能跑但训练时间会从2小时拉长到十几个小时体验会差很多。内存方面16GB是底线32GB会更从容。因为预训练阶段需要把数据集加载到内存里做处理数据量虽然不大但加上模型参数和中间激活值16GB刚好够用。硬盘空间预留10GB左右主要是放数据集、模型权重和日志文件。这里有个细节值得注意显卡的显存大小比算力更重要。因为64M参数的模型本身很小显存占用主要来自批次大小和序列长度。12GB显存可以轻松跑到batch_size32、max_length512而6GB显存可能只能跑到batch_size8。如果你显存比较小就把批次调小、梯度累积步数调大效果是一样的只是训练时间会稍微长一点。2.2 Python环境与核心依赖我强烈建议用conda创建一个独立环境避免和你现有的项目产生依赖冲突。Python版本选3.10或3.11都可以3.12在某些包的兼容性上还有小问题不建议冒险。conda create -n minimind python3.10 conda activate minimind核心依赖其实就三个PyTorch、Transformers、Datasets。但版本搭配有讲究我踩过一次坑这里直接给你我验证过的组合pip install torch2.1.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.36.0 pip install datasets2.16.0 pip install tokenizers0.15.0 pip install accelerate0.25.0 pip install tensorboard注意PyTorch的CUDA版本要和你的显卡驱动匹配。如果你不确定先运行nvidia-smi看右上角的CUDA Version然后去PyTorch官网找对应的安装命令。不要直接pip install torch那样装的是CPU版本训练速度会慢到让你怀疑人生。2.3 数据集准备与目录结构项目用的数据集是公开的中文对话语料我建议你第一次跑的时候直接用项目提供的下载脚本不要自己去找数据。因为数据格式的适配是一个很容易出错的环节用官方数据可以排除这个变量。下载完成后你的目录结构应该是这样的MiniMind/ ├── data/ │ ├── pretrain_data.jsonl │ ├── sft_data.jsonl │ └── tokenizer/ ├── model/ │ ├── model.py │ └── config.py ├── train_tokenizer.py ├── train_pretrain.py ├── train_sft.py ├── train_lora.py └── eval_model.py预训练数据的格式是每行一个JSON对象包含一个text字段里面是一段连续的中文文本。SFT数据的格式是每行包含instruction、input、output三个字段分别代表指令、输入补充和期望输出。我建议你打开数据文件看一眼感受一下“模型到底在学什么”这个直观感受比你读十篇论文都管用。3. 分词器训练容易被忽视但极其关键的一步3.1 为什么不能直接用现成的分词器很多人会想既然有现成的中文分词器为什么还要自己训练一个这个问题我一开始也有后来想明白了。现成的分词器词表通常是几万甚至十几万的规模而我们的模型总共才64M参数如果词表太大光是嵌入层就占掉一大块参数预算留给真正“理解语言”的参数就少了。打个比方你开一家小便利店货架空间有限。如果你进了一千种商品每种只摆一瓶那顾客想买什么你都“有”但每种都只有一瓶稍微多来几个人就断货了。更好的策略是只进两百种最畅销的商品每种多摆几瓶这样既能满足大部分需求库存周转也健康。分词器词表就是这个“货架”词表大小就是“商品种类数”。项目里分词器的词表大小设置在6000左右这是一个经过权衡的数字。太小了会导致很多常用词被拆成单字序列变长训练效率下降太大了会导致嵌入层参数占比过高模型容量浪费。6000这个量级对于64M参数的模型来说是一个比较舒服的平衡点。3.2 训练分词器的具体操作训练分词器的命令很简单python train_tokenizer.py --data_path data/pretrain_data.jsonl --vocab_size 6000 --save_path data/tokenizer但这里有几个参数你需要理解它们的含义而不是照抄vocab_size词表大小。我建议第一次就用6000跑通之后再尝试4000或8000观察对最终效果的影响。min_frequency一个词对至少出现多少次才会被纳入词表。默认是2意思是只出现一次的词会被拆成更小的单元。这个参数对中文影响不大因为中文的字符组合非常丰富。special_tokens特殊标记包括unk未知词、s序列开始、/s序列结束、pad填充。这些标记在后续训练中会频繁用到不要随意改动。训练完成后你会得到一个tokenizer.json文件。我建议你写几行代码测试一下from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(data/tokenizer) text 今天天气真不错 tokens tokenizer.tokenize(text) ids tokenizer.encode(text) print(分词结果:, tokens) print(编码结果:, ids) print(解码结果:, tokenizer.decode(ids))跑一下这段代码看看“今天天气真不错”被拆成了什么。你可能会发现它被拆成了“今天”“天气”“真”“不错”这样的组合而不是单字。这就是BPE分词器的聪明之处——它通过统计频率自动找到了中文里常见的词组边界。实操心得如果你发现分词结果里出现了很多unk说明词表太小了很多字都没覆盖到。这时候要么增大词表要么检查你的训练数据是不是编码有问题。中文数据一定要确保是UTF-8编码否则会出现乱码。4. 预训练阶段从随机权重到“会说人话”4.1 预训练到底在训练什么预训练的任务非常简单给定前文预测下一个词。比如输入“今天天气”模型要预测下一个词是“真”的概率最高。这个任务看起来简单但当你用海量文本反复训练之后模型会逐渐学会语法结构、常见搭配、甚至一些简单的世界知识。这就像你小时候学说话没有人教你语法规则但你听多了、说多了自然就知道“吃饭”不能说成“饭吃”。预训练就是在模拟这个过程只不过模型“听”的是文本“说”的是概率分布。项目里的预训练代码核心逻辑是这样的把一段长文本切成固定长度的序列每次取一个批次让模型预测每个位置的下一个词然后计算交叉熵损失反向传播更新参数。整个过程没有任何人工标注所以叫“自监督学习”。4.2 关键超参数设置与计算过程预训练的超参数直接决定了训练成本和最终效果。我把项目里的默认参数和我的调整建议整理成了一张表参数默认值我的建议值说明batch_size323212GB显存显存不够就降到16或8max_length512512序列长度越长越吃显存learning_rate5e-43e-4小模型用稍低的学习率更稳epochs33-5看损失曲线决定是否增加warmup_steps100200让学习率慢慢升上去gradient_accumulation14小显存时模拟更大批次这里重点说一下学习率。5e-4对于64M的小模型来说稍微有点激进我实测用3e-4的时候损失曲线更平滑最终效果也略好一点。但差别不大你如果不想调直接用默认值也能跑出可用的模型。批次大小和梯度累积的关系需要解释一下。假设你的显存只能放下batch_size8但你想达到batch_size32的效果那就设置gradient_accumulation_steps4。意思是模型每次只处理8条数据但连续处理4次之后才更新一次参数等效于一次处理了32条数据。代价是训练速度会慢一些因为多了几次前向传播。4.3 训练过程的监控与日志解读启动预训练的命令python train_pretrain.py --data_path data/pretrain_data.jsonl --tokenizer_path data/tokenizer --save_dir out --epochs 3 --batch_size 32 --learning_rate 3e-4训练开始后终端会输出类似这样的日志Epoch 1/3 | Step 100/5000 | Loss: 6.234 | LR: 2.1e-4 | Time: 1.2s/step Epoch 1/3 | Step 200/5000 | Loss: 5.876 | LR: 2.8e-4 | Time: 1.1s/step ...损失值从6.2降到5.8说明模型在进步。初始损失6.2是什么概念词表大小6000随机猜测的交叉熵是ln(6000)≈8.7。所以6.2已经比随机猜好不少了。训练结束时损失通常会降到3.5到4.5之间具体取决于数据质量和训练轮数。我建议你同时开一个TensorBoard把损失曲线可视化tensorboard --logdir out/logs然后在浏览器里打开对应的地址你能看到损失曲线、学习率曲线、梯度范数等指标。梯度范数特别值得关注如果它突然变得很大比如超过10说明训练不稳定可能需要降低学习率或者增加梯度裁剪。注意事项预训练过程中如果看到损失突然变成NaN不要慌。先检查学习率是不是太大了然后检查数据里有没有空文本或者异常字符。我遇到过一次是因为数据里混入了一个超长的重复字符串导致梯度爆炸。把那条数据删掉就正常了。4.4 预训练完成后的模型状态预训练结束后你会得到一个pretrain_xxx.pth文件大小约250MB64M参数每个参数4字节加上优化器状态。这个模型已经学会了中文的基本语法和常见搭配但它还不会“对话”。你如果直接问它“你好”它可能会续写成“你好吗我很好谢谢”这种奇怪的文本因为它只是在做续写而不是在回答问题。这就是为什么还需要监督微调。预训练让模型学会了“说中文”SFT让模型学会了“按指令说中文”。两者的关系就像预训练是让一个孩子大量阅读SFT是教这个孩子“别人问你问题的时候你要回答问题而不是自顾自地背书”。5. 监督微调让模型学会“对话”5.1 SFT的数据格式与损失计算SFT的数据是“指令-回答”对格式如下{instruction: 把下面的句子改成疑问句, input: 今天天气很好, output: 今天天气好吗}训练的时候模型看到的完整序列是s指令把下面的句子改成疑问句 输入今天天气很好 回答今天天气好吗/s。但损失只计算“回答”部分前面的指令和输入部分不计算损失。这个细节非常重要因为如果不屏蔽掉指令部分的损失模型会花精力去学习“如何生成指令”而不是“如何生成回答”。代码里通过构造一个labels张量来实现这一点指令部分的label设为-100PyTorch的CrossEntropyLoss会忽略-100只有回答部分的label是真实的token id。这个技巧在所有的指令微调里都会用到你一定要理解。5.2 SFT训练的关键差异SFT的训练命令和预训练很像但有几个关键差异python train_sft.py --data_path data/sft_data.jsonl --tokenizer_path data/tokenizer --pretrain_path out/pretrain_xxx.pth --save_dir out --epochs 3 --batch_size 16 --learning_rate 1e-4注意学习率降到了1e-4比预训练低了一个数量级。这是因为SFT的数据量比预训练小很多如果学习率太大模型会很快过拟合把预训练学到的通用知识忘掉。这种现象叫“灾难性遗忘”是小模型微调时经常遇到的问题。批次大小也降到了16因为SFT的序列通常比预训练短但每条数据的计算量更大因为要区分指令和回答部分。如果你显存够大可以适当增大。5.3 如何判断SFT是否成功SFT训练完成后用eval_model.py加载模型测试python eval_model.py --model_path out/sft_xxx.pth --tokenizer_path data/tokenizer然后输入几个测试问题用户你好 模型你好有什么我可以帮你的吗 用户今天天气怎么样 模型今天天气不错适合出门散步。如果模型能给出类似这样的回复说明SFT成功了。如果模型还是自顾自地续写或者回复格式混乱那可能是SFT数据格式有问题或者训练轮数不够。我实测下来SFT训练1个epoch就能看到明显的对话能力提升3个epoch基本稳定。再多就容易过拟合了表现为模型对训练集里的问题回答得很好但换个问法就胡言乱语。实操心得SFT阶段最容易被忽视的是数据质量。我建议你花半小时把SFT数据随机抽100条出来人工看一遍检查有没有格式错误、回答质量差、指令不清晰的问题。这半小时的投入比多训练3个epoch的收益还大。6. LoRA微调与模型评估的进阶操作6.1 LoRA为什么能省显存LoRALow-Rank Adaptation的核心思想是不改变预训练模型的原始参数而是在旁边加一个小矩阵来学习新任务。比如原始权重是64×64的矩阵LoRA会加一个64×8的矩阵A和一个8×64的矩阵B只训练A和B原始权重冻结。这样可训练参数从4096个降到了1024个显存占用和训练时间都大幅下降。项目里的LoRA实现非常简洁核心代码就几行class LoRALayer(nn.Module): def __init__(self, in_dim, out_dim, rank8): super().__init__() self.A nn.Parameter(torch.randn(in_dim, rank) * 0.01) self.B nn.Parameter(torch.zeros(rank, out_dim)) def forward(self, x): return x x self.A self.B注意B矩阵初始化为零这样训练开始时LoRA的输出是零模型行为和不加LoRA时完全一致。这是一个很重要的设计保证了微调不会破坏预训练模型已有的能力。6.2 LoRA微调的实际应用场景LoRA最适合的场景是你有一个训练好的基础模型想让它适配某个特定任务但不想重新训练整个模型。比如你想让模型学会用特定的格式输出天气信息或者学会某种特定的回复风格用LoRA微调几百条数据就能达到不错的效果。训练命令python train_lora.py --data_path data/custom_data.jsonl --tokenizer_path data/tokenizer --sft_path out/sft_xxx.pth --save_dir out --lora_rank 8 --epochs 5 --learning_rate 3e-4LoRA的学习率可以比SFT高一些因为可训练参数少不容易过拟合。我实测用3e-4训练5个epoch效果比SFT再训练2个epoch要好而且显存占用只有SFT的三分之一。6.3 模型评估的实用方法评估一个小模型不需要跑复杂的基准测试。我常用的方法是“人工抽查困惑度对比”人工抽查准备20个测试问题覆盖问候、问答、指令跟随、简单推理等场景让模型逐个回答人工打分。这个方法虽然主观但最贴近实际使用体验。困惑度对比在验证集上计算模型的困惑度Perplexity数值越低说明模型对语言的建模越好。代码很简单import torch from model import MiniMind model MiniMind.from_pretrained(out/sft_xxx.pth) model.eval() total_loss 0 with torch.no_grad(): for batch in val_loader: outputs model(batch[input_ids], labelsbatch[labels]) total_loss outputs.loss.item() perplexity torch.exp(torch.tensor(total_loss / len(val_loader))) print(f验证集困惑度: {perplexity:.2f})我实测下来预训练模型困惑度在15左右SFT之后降到8左右LoRA微调后根据任务不同在6到10之间。这些数字给你一个参考基准但不要过度追求低困惑度因为困惑度低不代表回答质量高。7. 常见问题排查与避坑指南7.1 训练不收敛的排查思路这是新手最容易遇到的问题。我整理了一个排查清单按优先级排序现象可能原因排查方法解决方案损失不下降学习率太小看损失曲线是否几乎水平增大学习率到1e-3试试损失震荡学习率太大看损失是否上下跳动降低学习率或增加warmup损失变NaN梯度爆炸看梯度范数是否突然增大加梯度裁剪降低学习率损失下降但效果差数据质量问题人工检查训练数据清洗数据去除低质量样本显存溢出批次太大看报错信息减小batch_size或max_length我踩过最坑的一次是损失一直卡在6.0不下降排查了半天发现是数据加载的时候编码搞错了所有中文都变成了乱码。所以第一步永远是检查数据用tokenizer.decode把几条数据还原成文本看看是否正常。7.2 显存不足的优化技巧显存不足是训练小模型时最常见的硬件问题。除了减小批次大小还有几个技巧梯度检查点用时间换空间把中间激活值不保存反向传播时重新计算。显存占用能降低50%以上但训练速度会慢20%左右。在代码里加一行model.gradient_checkpointing_enable()就行。混合精度训练用float16代替float32显存占用直接减半。PyTorch里用torch.cuda.amp自动实现scaler torch.cuda.amp.GradScaler() with torch.cuda.amp.autocast(): outputs model(input_ids, labelslabels) loss outputs.loss scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()优化器选择AdamW的显存占用比SGD大因为它要保存一阶和二阶动量。如果显存实在紧张可以换用SGD或者Adafactor但收敛速度可能会慢一些。7.3 模型效果不好的调优方向如果模型训练完了但效果不理想按这个顺序调增加数据量64M参数的模型预训练数据至少要有1GB以上SFT数据至少要有1万条。数据不够再怎么调参也没用。增加训练轮数预训练3个epoch可能不够试试5个。但要注意观察验证集损失如果验证损失开始上升说明过拟合了。调整模型结构如果数据量足够但效果还是差可以尝试增加层数或隐藏层维度。但参数量增加会带来训练成本上升需要权衡。检查分词器分词器质量对最终效果影响很大。如果分词结果里单字太多说明词表太小如果出现大量unk说明词表覆盖不够。避坑技巧不要一上来就调模型结构。我见过太多人花大量时间改网络架构结果发现是数据里有一半是重复的。先把数据和训练流程搞清楚再考虑模型层面的优化。8. 这个项目还能怎么玩跑通基础流程之后你可以做很多有趣的扩展实验。比如把预训练数据换成某个垂直领域的文本看看模型能不能学会领域术语或者把SFT数据换成多轮对话格式让模型支持上下文记忆再或者把模型量化成int8看看推理速度能提升多少。我个人最喜欢的一个实验是用不同大小的词表训练多个分词器然后对比它们在相同数据上的压缩率也就是平均每条文本的token数。这个实验能让你直观感受到分词器设计对训练效率的影响而且成本极低一个下午就能跑完。还有一个方向是模型蒸馏用一个更大的模型比如1B参数生成训练数据然后让64M的小模型去学习这些数据。这种方法能让小模型获得远超其参数量的能力是工业界常用的技巧。你可以在自己的机器上复现这个流程感受一下“大模型教小模型”的效果。最后再分享一个小技巧训练过程中定期保存检查点不要只保存最后一个epoch的模型。因为小模型的训练波动比较大有时候第2个epoch的效果比第3个还好。保存多个检查点最后用验证集挑最好的那个这个习惯能帮你省下不少重新训练的时间。 
长河君 · 2026/10/16 11:08:59 · 阅读 1.2k 3块钱2小时64M参数：手把手教你从零训练大语言模型全流程
1. 项目缘起与核心价值拆解1.1 为什么“3块钱、2小时、64M参数”这三个数字值得认真对待第一次看到这个项目标题的时候我的反应和大多数人一样3块钱训练一个大语言模型2小时64M参数这三个数字放在一起怎么看都像是标题党。毕竟我们平时听到的故事都是“千卡集群”“几百万美元”“几个月训练周期”这种量级。但仔细看完项目之后我发现它并不是在吹牛而是把“大语言模型训练”这件事做了一个极其聪明的降维——它没有去追求能力上限而是把目标锁定在“让任何一个普通开发者用一台普通电脑完整走通从数据准备到模型推理的全流程”。这件事的价值在哪里我举个例子你就明白了。很多人学做菜不是一上来就去研究米其林三星的分子料理而是先炒一盘蛋炒饭。蛋炒饭用料简单、步骤清晰、失败成本低但“切配、火候、调味、出锅”这些核心环节一个都不少。MiniMind就是大语言模型领域的“蛋炒饭”——它不追求生成多么惊艳的内容但它把分词器训练、预训练、监督微调、LoRA微调、模型评估、量化推理这一整条链路全部打通了而且每一步你都能在自己的机器上跑起来、看到结果、理解原理。具体来说这个项目的核心参数是这样的模型隐藏层维度64层数8注意力头数8总参数量约64M也就是0.064B。训练数据用的是公开的中文对话和通用语料预训练阶段大概用了几个GB的文本。整个预训练过程在一块消费级显卡上跑2小时左右就能完成电费按民用电价算下来差不多3块钱。这个成本意味着什么意味着你可以在一个周末的下午泡杯茶从头到尾把大模型训练这件事亲手做一遍而不是停留在看论文和跑别人封装好的API。适合谁来参考这个项目我梳理了三类人。第一类是刚入门NLP的开发者你学过Transformer的理论但从来没亲手训练过一个模型这个项目是最好的练手材料。第二类是想理解大模型全流程的工程师你平时可能只负责推理部署或者数据清洗对训练环节一知半解这个项目能帮你补齐认知拼图。第三类是教学场景下的导师或学生需要一个成本极低、代码透明、可复现的教学案例这个项目几乎是为这个场景量身定做的。1.2 64M参数到底能做什么、不能做什么这里我必须先把预期管理做好否则你跑完之后可能会失望。64M参数的模型它的能力边界非常清晰。它能做的简单的中文对话问答、基础的情感分类、短文本续写、特定格式的信息抽取、简单的指令跟随。比如你问它“今天天气怎么样”它能回你一句“今天天气不错适合出门走走”这种级别的回复。你给它一个“把下面这句话改成疑问句”的指令它也能照做。它不能做的复杂逻辑推理、多轮长对话记忆、代码生成、数学计算、知识密集型问答。你如果问它“帮我写一个快速排序算法”它大概率会给你一段语法都不对的伪代码。这不是项目的问题而是64M参数的信息容量就这么大这是物理层面的限制。我实测下来的感受是把它当成一个“教学演示模型”而不是“生产力工具”你的心态就会非常舒服。它的价值在于让你理解“训练一个模型需要哪些步骤、每个步骤的数据长什么样、损失曲线怎么变化、超参数怎么影响结果”而不是让你用它去替代任何现有的API服务。1.3 项目整体架构一览这个项目的代码结构非常干净我把它拆成了五个核心模块来理解模块功能关键文件产出物分词器训练训练专属BPE分词器train_tokenizer.pytokenizer.json预训练从零训练基础模型train_pretrain.pypretrain_xxx.pth监督微调让模型学会对话格式train_sft.pysft_xxx.pthLoRA微调低成本适配特定任务train_lora.pylora_xxx.pth推理与评估加载模型生成回复eval_model.py对话输出整个流程是串行的先有分词器才能把文本转成数字有了数字才能预训练预训练完了才能做SFTSFT完了才能对话。每一步的产出都是下一步的输入逻辑非常清晰。我建议你第一次跑的时候严格按照这个顺序来不要跳步否则很容易在某个环节卡住却不知道问题出在哪里。2. 环境准备与依赖安装的实操细节2.1 硬件门槛到底有多低项目标题说“3块钱、2小时”这个成本是建立在一块入门级显卡上的。我实测用的是一块RTX 3060 12GB这是目前二手市场性价比很高的选择。如果你手头没有独立显卡用CPU也能跑但训练时间会从2小时拉长到十几个小时体验会差很多。内存方面16GB是底线32GB会更从容。因为预训练阶段需要把数据集加载到内存里做处理数据量虽然不大但加上模型参数和中间激活值16GB刚好够用。硬盘空间预留10GB左右主要是放数据集、模型权重和日志文件。这里有个细节值得注意显卡的显存大小比算力更重要。因为64M参数的模型本身很小显存占用主要来自批次大小和序列长度。12GB显存可以轻松跑到batch_size32、max_length512而6GB显存可能只能跑到batch_size8。如果你显存比较小就把批次调小、梯度累积步数调大效果是一样的只是训练时间会稍微长一点。2.2 Python环境与核心依赖我强烈建议用conda创建一个独立环境避免和你现有的项目产生依赖冲突。Python版本选3.10或3.11都可以3.12在某些包的兼容性上还有小问题不建议冒险。conda create -n minimind python3.10 conda activate minimind核心依赖其实就三个PyTorch、Transformers、Datasets。但版本搭配有讲究我踩过一次坑这里直接给你我验证过的组合pip install torch2.1.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.36.0 pip install datasets2.16.0 pip install tokenizers0.15.0 pip install accelerate0.25.0 pip install tensorboard注意PyTorch的CUDA版本要和你的显卡驱动匹配。如果你不确定先运行nvidia-smi看右上角的CUDA Version然后去PyTorch官网找对应的安装命令。不要直接pip install torch那样装的是CPU版本训练速度会慢到让你怀疑人生。2.3 数据集准备与目录结构项目用的数据集是公开的中文对话语料我建议你第一次跑的时候直接用项目提供的下载脚本不要自己去找数据。因为数据格式的适配是一个很容易出错的环节用官方数据可以排除这个变量。下载完成后你的目录结构应该是这样的MiniMind/ ├── data/ │ ├── pretrain_data.jsonl │ ├── sft_data.jsonl │ └── tokenizer/ ├── model/ │ ├── model.py │ └── config.py ├── train_tokenizer.py ├── train_pretrain.py ├── train_sft.py ├── train_lora.py └── eval_model.py预训练数据的格式是每行一个JSON对象包含一个text字段里面是一段连续的中文文本。SFT数据的格式是每行包含instruction、input、output三个字段分别代表指令、输入补充和期望输出。我建议你打开数据文件看一眼感受一下“模型到底在学什么”这个直观感受比你读十篇论文都管用。3. 分词器训练容易被忽视但极其关键的一步3.1 为什么不能直接用现成的分词器很多人会想既然有现成的中文分词器为什么还要自己训练一个这个问题我一开始也有后来想明白了。现成的分词器词表通常是几万甚至十几万的规模而我们的模型总共才64M参数如果词表太大光是嵌入层就占掉一大块参数预算留给真正“理解语言”的参数就少了。打个比方你开一家小便利店货架空间有限。如果你进了一千种商品每种只摆一瓶那顾客想买什么你都“有”但每种都只有一瓶稍微多来几个人就断货了。更好的策略是只进两百种最畅销的商品每种多摆几瓶这样既能满足大部分需求库存周转也健康。分词器词表就是这个“货架”词表大小就是“商品种类数”。项目里分词器的词表大小设置在6000左右这是一个经过权衡的数字。太小了会导致很多常用词被拆成单字序列变长训练效率下降太大了会导致嵌入层参数占比过高模型容量浪费。6000这个量级对于64M参数的模型来说是一个比较舒服的平衡点。3.2 训练分词器的具体操作训练分词器的命令很简单python train_tokenizer.py --data_path data/pretrain_data.jsonl --vocab_size 6000 --save_path data/tokenizer但这里有几个参数你需要理解它们的含义而不是照抄vocab_size词表大小。我建议第一次就用6000跑通之后再尝试4000或8000观察对最终效果的影响。min_frequency一个词对至少出现多少次才会被纳入词表。默认是2意思是只出现一次的词会被拆成更小的单元。这个参数对中文影响不大因为中文的字符组合非常丰富。special_tokens特殊标记包括unk未知词、s序列开始、/s序列结束、pad填充。这些标记在后续训练中会频繁用到不要随意改动。训练完成后你会得到一个tokenizer.json文件。我建议你写几行代码测试一下from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(data/tokenizer) text 今天天气真不错 tokens tokenizer.tokenize(text) ids tokenizer.encode(text) print(分词结果:, tokens) print(编码结果:, ids) print(解码结果:, tokenizer.decode(ids))跑一下这段代码看看“今天天气真不错”被拆成了什么。你可能会发现它被拆成了“今天”“天气”“真”“不错”这样的组合而不是单字。这就是BPE分词器的聪明之处——它通过统计频率自动找到了中文里常见的词组边界。实操心得如果你发现分词结果里出现了很多unk说明词表太小了很多字都没覆盖到。这时候要么增大词表要么检查你的训练数据是不是编码有问题。中文数据一定要确保是UTF-8编码否则会出现乱码。4. 预训练阶段从随机权重到“会说人话”4.1 预训练到底在训练什么预训练的任务非常简单给定前文预测下一个词。比如输入“今天天气”模型要预测下一个词是“真”的概率最高。这个任务看起来简单但当你用海量文本反复训练之后模型会逐渐学会语法结构、常见搭配、甚至一些简单的世界知识。这就像你小时候学说话没有人教你语法规则但你听多了、说多了自然就知道“吃饭”不能说成“饭吃”。预训练就是在模拟这个过程只不过模型“听”的是文本“说”的是概率分布。项目里的预训练代码核心逻辑是这样的把一段长文本切成固定长度的序列每次取一个批次让模型预测每个位置的下一个词然后计算交叉熵损失反向传播更新参数。整个过程没有任何人工标注所以叫“自监督学习”。4.2 关键超参数设置与计算过程预训练的超参数直接决定了训练成本和最终效果。我把项目里的默认参数和我的调整建议整理成了一张表参数默认值我的建议值说明batch_size323212GB显存显存不够就降到16或8max_length512512序列长度越长越吃显存learning_rate5e-43e-4小模型用稍低的学习率更稳epochs33-5看损失曲线决定是否增加warmup_steps100200让学习率慢慢升上去gradient_accumulation14小显存时模拟更大批次这里重点说一下学习率。5e-4对于64M的小模型来说稍微有点激进我实测用3e-4的时候损失曲线更平滑最终效果也略好一点。但差别不大你如果不想调直接用默认值也能跑出可用的模型。批次大小和梯度累积的关系需要解释一下。假设你的显存只能放下batch_size8但你想达到batch_size32的效果那就设置gradient_accumulation_steps4。意思是模型每次只处理8条数据但连续处理4次之后才更新一次参数等效于一次处理了32条数据。代价是训练速度会慢一些因为多了几次前向传播。4.3 训练过程的监控与日志解读启动预训练的命令python train_pretrain.py --data_path data/pretrain_data.jsonl --tokenizer_path data/tokenizer --save_dir out --epochs 3 --batch_size 32 --learning_rate 3e-4训练开始后终端会输出类似这样的日志Epoch 1/3 | Step 100/5000 | Loss: 6.234 | LR: 2.1e-4 | Time: 1.2s/step Epoch 1/3 | Step 200/5000 | Loss: 5.876 | LR: 2.8e-4 | Time: 1.1s/step ...损失值从6.2降到5.8说明模型在进步。初始损失6.2是什么概念词表大小6000随机猜测的交叉熵是ln(6000)≈8.7。所以6.2已经比随机猜好不少了。训练结束时损失通常会降到3.5到4.5之间具体取决于数据质量和训练轮数。我建议你同时开一个TensorBoard把损失曲线可视化tensorboard --logdir out/logs然后在浏览器里打开对应的地址你能看到损失曲线、学习率曲线、梯度范数等指标。梯度范数特别值得关注如果它突然变得很大比如超过10说明训练不稳定可能需要降低学习率或者增加梯度裁剪。注意事项预训练过程中如果看到损失突然变成NaN不要慌。先检查学习率是不是太大了然后检查数据里有没有空文本或者异常字符。我遇到过一次是因为数据里混入了一个超长的重复字符串导致梯度爆炸。把那条数据删掉就正常了。4.4 预训练完成后的模型状态预训练结束后你会得到一个pretrain_xxx.pth文件大小约250MB64M参数每个参数4字节加上优化器状态。这个模型已经学会了中文的基本语法和常见搭配但它还不会“对话”。你如果直接问它“你好”它可能会续写成“你好吗我很好谢谢”这种奇怪的文本因为它只是在做续写而不是在回答问题。这就是为什么还需要监督微调。预训练让模型学会了“说中文”SFT让模型学会了“按指令说中文”。两者的关系就像预训练是让一个孩子大量阅读SFT是教这个孩子“别人问你问题的时候你要回答问题而不是自顾自地背书”。5. 监督微调让模型学会“对话”5.1 SFT的数据格式与损失计算SFT的数据是“指令-回答”对格式如下{instruction: 把下面的句子改成疑问句, input: 今天天气很好, output: 今天天气好吗}训练的时候模型看到的完整序列是s指令把下面的句子改成疑问句 输入今天天气很好 回答今天天气好吗/s。但损失只计算“回答”部分前面的指令和输入部分不计算损失。这个细节非常重要因为如果不屏蔽掉指令部分的损失模型会花精力去学习“如何生成指令”而不是“如何生成回答”。代码里通过构造一个labels张量来实现这一点指令部分的label设为-100PyTorch的CrossEntropyLoss会忽略-100只有回答部分的label是真实的token id。这个技巧在所有的指令微调里都会用到你一定要理解。5.2 SFT训练的关键差异SFT的训练命令和预训练很像但有几个关键差异python train_sft.py --data_path data/sft_data.jsonl --tokenizer_path data/tokenizer --pretrain_path out/pretrain_xxx.pth --save_dir out --epochs 3 --batch_size 16 --learning_rate 1e-4注意学习率降到了1e-4比预训练低了一个数量级。这是因为SFT的数据量比预训练小很多如果学习率太大模型会很快过拟合把预训练学到的通用知识忘掉。这种现象叫“灾难性遗忘”是小模型微调时经常遇到的问题。批次大小也降到了16因为SFT的序列通常比预训练短但每条数据的计算量更大因为要区分指令和回答部分。如果你显存够大可以适当增大。5.3 如何判断SFT是否成功SFT训练完成后用eval_model.py加载模型测试python eval_model.py --model_path out/sft_xxx.pth --tokenizer_path data/tokenizer然后输入几个测试问题用户你好 模型你好有什么我可以帮你的吗 用户今天天气怎么样 模型今天天气不错适合出门散步。如果模型能给出类似这样的回复说明SFT成功了。如果模型还是自顾自地续写或者回复格式混乱那可能是SFT数据格式有问题或者训练轮数不够。我实测下来SFT训练1个epoch就能看到明显的对话能力提升3个epoch基本稳定。再多就容易过拟合了表现为模型对训练集里的问题回答得很好但换个问法就胡言乱语。实操心得SFT阶段最容易被忽视的是数据质量。我建议你花半小时把SFT数据随机抽100条出来人工看一遍检查有没有格式错误、回答质量差、指令不清晰的问题。这半小时的投入比多训练3个epoch的收益还大。6. LoRA微调与模型评估的进阶操作6.1 LoRA为什么能省显存LoRALow-Rank Adaptation的核心思想是不改变预训练模型的原始参数而是在旁边加一个小矩阵来学习新任务。比如原始权重是64×64的矩阵LoRA会加一个64×8的矩阵A和一个8×64的矩阵B只训练A和B原始权重冻结。这样可训练参数从4096个降到了1024个显存占用和训练时间都大幅下降。项目里的LoRA实现非常简洁核心代码就几行class LoRALayer(nn.Module): def __init__(self, in_dim, out_dim, rank8): super().__init__() self.A nn.Parameter(torch.randn(in_dim, rank) * 0.01) self.B nn.Parameter(torch.zeros(rank, out_dim)) def forward(self, x): return x x self.A self.B注意B矩阵初始化为零这样训练开始时LoRA的输出是零模型行为和不加LoRA时完全一致。这是一个很重要的设计保证了微调不会破坏预训练模型已有的能力。6.2 LoRA微调的实际应用场景LoRA最适合的场景是你有一个训练好的基础模型想让它适配某个特定任务但不想重新训练整个模型。比如你想让模型学会用特定的格式输出天气信息或者学会某种特定的回复风格用LoRA微调几百条数据就能达到不错的效果。训练命令python train_lora.py --data_path data/custom_data.jsonl --tokenizer_path data/tokenizer --sft_path out/sft_xxx.pth --save_dir out --lora_rank 8 --epochs 5 --learning_rate 3e-4LoRA的学习率可以比SFT高一些因为可训练参数少不容易过拟合。我实测用3e-4训练5个epoch效果比SFT再训练2个epoch要好而且显存占用只有SFT的三分之一。6.3 模型评估的实用方法评估一个小模型不需要跑复杂的基准测试。我常用的方法是“人工抽查困惑度对比”人工抽查准备20个测试问题覆盖问候、问答、指令跟随、简单推理等场景让模型逐个回答人工打分。这个方法虽然主观但最贴近实际使用体验。困惑度对比在验证集上计算模型的困惑度Perplexity数值越低说明模型对语言的建模越好。代码很简单import torch from model import MiniMind model MiniMind.from_pretrained(out/sft_xxx.pth) model.eval() total_loss 0 with torch.no_grad(): for batch in val_loader: outputs model(batch[input_ids], labelsbatch[labels]) total_loss outputs.loss.item() perplexity torch.exp(torch.tensor(total_loss / len(val_loader))) print(f验证集困惑度: {perplexity:.2f})我实测下来预训练模型困惑度在15左右SFT之后降到8左右LoRA微调后根据任务不同在6到10之间。这些数字给你一个参考基准但不要过度追求低困惑度因为困惑度低不代表回答质量高。7. 常见问题排查与避坑指南7.1 训练不收敛的排查思路这是新手最容易遇到的问题。我整理了一个排查清单按优先级排序现象可能原因排查方法解决方案损失不下降学习率太小看损失曲线是否几乎水平增大学习率到1e-3试试损失震荡学习率太大看损失是否上下跳动降低学习率或增加warmup损失变NaN梯度爆炸看梯度范数是否突然增大加梯度裁剪降低学习率损失下降但效果差数据质量问题人工检查训练数据清洗数据去除低质量样本显存溢出批次太大看报错信息减小batch_size或max_length我踩过最坑的一次是损失一直卡在6.0不下降排查了半天发现是数据加载的时候编码搞错了所有中文都变成了乱码。所以第一步永远是检查数据用tokenizer.decode把几条数据还原成文本看看是否正常。7.2 显存不足的优化技巧显存不足是训练小模型时最常见的硬件问题。除了减小批次大小还有几个技巧梯度检查点用时间换空间把中间激活值不保存反向传播时重新计算。显存占用能降低50%以上但训练速度会慢20%左右。在代码里加一行model.gradient_checkpointing_enable()就行。混合精度训练用float16代替float32显存占用直接减半。PyTorch里用torch.cuda.amp自动实现scaler torch.cuda.amp.GradScaler() with torch.cuda.amp.autocast(): outputs model(input_ids, labelslabels) loss outputs.loss scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()优化器选择AdamW的显存占用比SGD大因为它要保存一阶和二阶动量。如果显存实在紧张可以换用SGD或者Adafactor但收敛速度可能会慢一些。7.3 模型效果不好的调优方向如果模型训练完了但效果不理想按这个顺序调增加数据量64M参数的模型预训练数据至少要有1GB以上SFT数据至少要有1万条。数据不够再怎么调参也没用。增加训练轮数预训练3个epoch可能不够试试5个。但要注意观察验证集损失如果验证损失开始上升说明过拟合了。调整模型结构如果数据量足够但效果还是差可以尝试增加层数或隐藏层维度。但参数量增加会带来训练成本上升需要权衡。检查分词器分词器质量对最终效果影响很大。如果分词结果里单字太多说明词表太小如果出现大量unk说明词表覆盖不够。避坑技巧不要一上来就调模型结构。我见过太多人花大量时间改网络架构结果发现是数据里有一半是重复的。先把数据和训练流程搞清楚再考虑模型层面的优化。8. 这个项目还能怎么玩跑通基础流程之后你可以做很多有趣的扩展实验。比如把预训练数据换成某个垂直领域的文本看看模型能不能学会领域术语或者把SFT数据换成多轮对话格式让模型支持上下文记忆再或者把模型量化成int8看看推理速度能提升多少。我个人最喜欢的一个实验是用不同大小的词表训练多个分词器然后对比它们在相同数据上的压缩率也就是平均每条文本的token数。这个实验能让你直观感受到分词器设计对训练效率的影响而且成本极低一个下午就能跑完。还有一个方向是模型蒸馏用一个更大的模型比如1B参数生成训练数据然后让64M的小模型去学习这些数据。这种方法能让小模型获得远超其参数量的能力是工业界常用的技巧。你可以在自己的机器上复现这个流程感受一下“大模型教小模型”的效果。最后再分享一个小技巧训练过程中定期保存检查点不要只保存最后一个epoch的模型。因为小模型的训练波动比较大有时候第2个epoch的效果比第3个还好。保存多个检查点最后用验证集挑最好的那个这个习惯能帮你省下不少重新训练的时间。