最近刚把“轻量级 GPT2-Distil 中文模型”的文本续写项目完整跑通从下载权重、清洗语料到微调、推理再到封装成本地服务整个过程没有用到高端显卡甚至中途在纯 CPU 机器上也验证过流程。如果你也想在普通笔记本上实现“给定一句话自动往后写”的文本续写功能这篇文章会帮你省下不少踩坑时间。轻量级 GPT2-Distil 中文模型本质上是一个蒸馏过的小尺寸自回归语言模型核心任务就是做文本续写输入前文模型逐个预测下一个字不断循环最终生成一段连贯内容。它适合三类人预算有限的算法学习者、需要本地离线部署的开发者、想快速验证生成式模型玩法的小团队。下面我完整复盘这个项目的设计与实操过程。1. 为什么选轻量级 GPT2-Distil 做中文续写1.1 自回归模型与文本续写的基本逻辑文本续写不是简单的“填空题”而是概率化生成。给定已有文本 ( w_1, w_2, ..., w_n )模型计算下一个字 ( w_{n1} ) 的条件概率 ( P(w_{n1} | w_1, w_2, ..., w_n) )生成一个候选字后再把它拼接到原文末尾继续预测下一个字。这种“每次只预测下一个字生成结果反馈回输入”的方式叫自回归生成GPT 系列就是这个路子。从这个逻辑一眼就能看出模型参数量越大拟合复杂长文本的能力理论上越强。但实际落地时我们得分清场景如果只是做短文本续写、小故事生成、自动补全句子一个参数量在三五亿的大模型往往杀鸡用牛刀推理慢、内存大还得上多卡。轻量级模型虽然“智商”不如大模型但胜在启动快、部署灵活可以在低功耗设备上持续运行。1.2 蒸馏模型比同尺寸小模型强在哪蒸馏不是简单地“把一个模型缩小”而是让一个轻量级学生模型去模仿一个强大教师模型的输出行为。传统小模型是从零开始训练蒸馏模型则是站在教师模型的“知识压缩结果”上起步。GPT2-Distil 这类架构通常会把原始 GPT-2 的层数砍半同时用教师模型生成的软标签做额外监督。所以同等参数量下蒸馏模型往往比“裸训小模型”更擅长文本续写生成语句的流畅度更好常识合理性也更强。如果拿一个参数量约七八千万的中文蒸馏 GPT-2 模型和同规模随机初始化模型比前者几乎不需要太多数据微调就能写出像样的句子。实践经验是选模型时优先看“预训练底子”别只看参数量。1.3 为什么中文场景要专门挑中文权重英文 GPT-2 的分词器按空格和子词切分中文则是连续的汉字序列直接用英文分词器会得到大量碎片语义丢失严重。中文轻量级 GPT2-Distil 模型通常在中文大规模语料上做过预训练分词器也是中文词表能比较合理地把汉字编码成 token。我在项目里选择了一个参数量在 100M 以内的中文 GPT2-Distil 权重放在本地目录使用。这类权重不一定需要自己训练直接通过开源模型社区的加载接口就能拿到关键是路径要指向本地文件夹避免每次加载都走网络。2. 环境准备与数据整理动手前别偷懒2.1 依赖安装与硬件评估我的开发环境很简单一台带 8GB 显存的普通显卡机器操作系统是 Linux。如果你没有独立显卡纯 CPU 也能跑只是训练速度会慢不少推理反而可以接受。核心依赖就四个transformers、tokenizers、torch、datasets。版本上不要追新稳定版即可。pip install transformers4.36.0 tokenizers0.15.0 datasets2.16.0 torch2.1.2安装完成后先做一个快速验证加载模型和分词器确保本地权重文件完整。很多问题都出在权重格式不匹配transformers老版本加载新权重时会报Unused keys或者直接抛错。2.2 中文语料清洗决定续写效果的上限数据质量的重要性超过模型调参。我一开始随手找了几篇网络文本丢进去训练出来的续写结果又乱又碎。后来老老实实按三步清数据效果一下子正常了。第一步去掉空行、重复段落、乱码字符。中英文混排时我会把英文单词统一转成小写或者直接保留但不要出现半个汉字的情况。第二步统一全角半角符号把全角逗号、句号转成半角避免 tokenizer 把同一个符号切出多种花样。第三步做长度过滤单条样本太短没有训练价值太长容易超出模型最大长度所以我统一把文本切成 128 到 256 字左右的段落。一个容易忽略的细节文本续写模型需要看到“完整的上下文”所以不能把每个段落单独截断得太碎。我是先把原始长文本按段落切分再用滑动窗口的方式截取固定长度让每个样本之间保留一定的重叠区域。这样做的好处是模型不会在每句话开头都面临“一无所知”的状态。2.3 构造训练样本这个格式很关键GPT-2 类模型本身没有[CLS]这种分类标志它只认文本流。中文文本续写训练时最自然的做法是把多篇短文本拼到一起中间用分隔符隔开。如果数据集里每个样本是独立短句建议用\n或者[SEP]分隔但不能让模型学会在分隔符之后继续输出无意义内容。我最终采用的内存映射数据集格式如下{text: 今天天气真好适合出去走走。\n他拿起手机拍了一张照片记录下这美好的一刻。}然后把整个文本流按block_size128切成训练样本。这里的重点是每个训练样本内部包含多个句子模型可以通过上一个句子的结尾预测下一个句子的开头而不是只做单句预测。3. 训练流程代码拆解3.1 加载模型与分词器加载过程是整个项目最基础也最容易出问题的地方。我用的是本地目录方式权重文件放在./chinese-gpt2-distil下里面有config.json、pytorch_model.bin、tokenizer.json等文件。from transformers import AutoTokenizer, AutoModelForCausalLM model_path ./chinese-gpt2-distil tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path) # 中文模型很多没有 pad_token需要设置为 eos_token否则训练时 batch padding 会报错 if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token这里必须格外注意pad_token。默认的 GPT-2 分词器通常只有eos_token没有pad_token。不设置的话训练时数据并行打包会直接失败。设置成eos_token是最省事的办法只是 padding 部分的 loss 需要在后续屏蔽掉好在Trainer内部会自动处理。3.2 把文本编码成固定长度样本使用datasets库加载本地文本然后做map操作。效率优先我会让map一次性返回所有编码后的input_ids而不是存原始文本。from datasets import load_dataset from transformers import DataCollatorForLanguageModeling def tokenize_function(examples): # 把文本拼接后统一编码 outputs tokenizer( examples[text], truncationTrue, max_length128, return_overflowing_tokensTrue, stride16, ) input_ids [] for ids in outputs[input_ids]: input_ids.append(ids) return {input_ids: input_ids} dataset load_dataset(json, data_filestrain.jsonl, splittrain) tokenized_dataset dataset.map( tokenize_function, batchedTrue, remove_columnsdataset.column_names, )return_overflowing_tokensTrue配合stride16是让长文本滑动切片的关键。stride是相邻两个切片的重叠长度适当重叠能保证上下文衔接。如果不设置长文本会被硬切模型容易丢失语义。3.3 设置训练参数与模型微调轻量级模型微调不需要很大的学习率。我习惯用1e-4到2e-4之间batch_size根据显存调整。gradient_accumulation_steps可以解决显存不够的问题让每次更新等效于更大的 batch。from transformers import Trainer, TrainingArguments training_args TrainingArguments( output_dir./checkpoints, overwrite_output_dirTrue, num_train_epochs3, per_device_train_batch_size8, per_device_eval_batch_size8, gradient_accumulation_steps4, learning_rate1.5e-4, warmup_steps200, logging_steps50, save_steps500, evaluation_strategysteps, eval_steps500, )对这种参数量不到 1 亿的模型3 个 epoch 已经够。训练时间在 8GB 显存上一小时左右关键看数据量。我在两万条样本上微调过五分钟一个 epoch基本就是过了一遍文本。3.4 损失计算与训练监视Causal Language Model 的损失会自动处理 labels。通常我们不需要手动写forwardTrainer会把input_ids当作labels内部做 shift让模型对每个位置预测下一个 token。这时只需要选一个合适的数据收集器data_collator DataCollatorForLanguageModeling( tokenizertokenizer, mlmFalse, ) trainer Trainer( modelmodel, argstraining_args, data_collatordata_collator, train_datasettokenized_dataset, ) trainer.train()mlmFalse表示这是自回归语言模型DataCollator会自动构造 labels并且对 padding 部分计算 loss 屏蔽。训练过程中我比较关注loss是否平稳下降。如果震荡很大我会把学习率降低或者检查数据里是否有大量异常文本。4. 推理、调参与服务化4.1 基础续写接口封装训练完的模型可以直接加载生成。封装一个简单的续写函数核心是model.generate。def continue_text(prompt, max_new_tokens50, temperature0.8, top_p0.9, repetition_penalty1.1): inputs tokenizer(prompt, return_tensorspt) outputs model.generate( inputs.input_ids, max_new_tokensmax_new_tokens, temperaturetemperature, top_ptop_p, repetition_penaltyrepetition_penalty, do_sampleTrue, pad_token_idtokenizer.eos_token_id, ) return tokenizer.decode(outputs[0], skip_special_tokensTrue)这里的max_new_tokens是生成长度。轻量级模型生成超过 128 个 token 后错误会累积续写质量明显下降。实际使用中我把默认值设为 50如果想写长内容就分段生成后拼接而不是一次性拉满。第一个要调的参数是temperature。温度越低模型越保守容易重复温度越高内容越随机容易跑偏。我一般从 0.7 到 0.9 之间试。第二个是repetition_penalty这个参数对中文续写特别有用设置为 1.1 左右能有效减少“的的的”“是是是”这类重复。4.2 几种常见生成策略的取舍直接用greedy search容易生成死板内容因此我默认使用sample。改进版生成策略里top_k和top_p是互补的top_k50限制候选词数量避免罕见词突然出现。top_p0.9按累计概率截断让候选集合根据置信度动态变化。do_sampleTrue开启随机采样不然上面两个参数用不上。这几个参数不是必须全给但配合起来效果比较稳。如果第一次生成就语无伦次优先调低temperature然后再看重复情况。4.3 模型量化与 CPU 部署轻量级模型本来就不大但 CPU 上跑还是会慢。如果想部署到没有显卡的服务器上可以先把模型转成 ONNX或者用optimum做动态量化。不过对于 100M 以内的模型直接上 PyTorch 的torch.compile或半精度推理就够了。我做了一个简单对比原模型在 CPU 上生成 50 个 token 大约需要 2 到 4 秒量化为 int8 后时间能缩短一半但生成质量会轻微下降。如果你对延迟不敏感建议先保留 FP32毕竟中文续写效果比快那零点几秒更重要。服务化最省事的方案是用transformers.pipeline包一层 FastAPI 接口或者直接缓存模型成单例避免每个请求都重新加载。一次加载之后内存占用大概是 200MB 到 400MB非常轻。5. 常见问题与排障实录5.1 中文生成乱码或出现[UNK]出现这种情况九成是 tokenizer 和模型不匹配。我遇到过本地文件只对了config.json和模型权重但tokenizer.json是从另一个模型目录复制过来的结果生成的连续 token 完全对不上。解决办法是确保整个model_path目录下的模型、配置文件、分词文件来源一致不要混用。另外中文里生僻字很少见如果频繁出现[UNK]说明数据清洗时把一些字符删坏了或者语料里的全角符号太多。建议训练前统计一下 tokenizer 词表外的字符比例超过 5% 就要重新清洗数据。5.2 显存不足怎么把模型“塞”进去8GB 显存训练 100M 模型绰绰有余但生成时代码一不小心也会 OOM。常见原因是生成长度设置太大比如max_new_tokens512每个 batch 同时处理多个序列显存会被中间缓存塞满。我的处理手段是推理时batch_size1生成长度控制在 256 以内如果必须处理长文本就手动把输入截断到固定长度而不是把完整文档都丢进模型。还有一个小技巧调用model.eval()并包上torch.no_grad()能省下不少显存。训练时如果 OOM不要硬调大 batch用gradient_accumulation_steps堆等效 batch size比如实际 batch size 为 2累积步数为 32最终等效 64。这样显存占用没有明显增加训练稳定性反而更好。5.3 生成重复严重翻来覆去就是那几句话这是小型自回归模型的通病因为模型容量不够很容易陷入高概率循环。不要只依赖repetition_penalty我更推荐组合策略把temperature降低到 0.7 附近减少随机性。打开no_repeat_ngram_size3直接禁止 3-gram 重复。对输入提示词做丰富化比如加一个具体的主角、地点、时间给模型更多“逃离循环”的语义锚点。数据层面也有原因如果训练语料里重复句式太多模型会学到“车轱辘话”。清洗时记得删除内容相似度极高的段落比如新闻网站的重复导语、评论里的刷屏句子。5.4 加载权重时提示未使用的参数transformers加载权重时经常蹦出一堆Unused keys不一定代表出错。比如某些权重文件里有额外的 embedding 参数而当前 config 不包含它。重点看有没有Some weights of ... were not initialized如果有多半是 config 和权重不匹配需要检查config.json里的模型结构参数。我的经验是所有中文 GPT-2 类权重都尽量用AutoModelForCausalLM加载不要手动写GPT2LMHeadModel。因为部分发布的蒸馏模型做了词表压缩手动指定层数容易踩坑。6. 本次实战的个人体会与扩展建议做完这个项目我最大的体会是轻量级模型的价值不在“能不能打”而在于“随时能用”。一个 100M 不到的模型普通 CPU 都能跑训练成本低到可以反复试错这是大模型给不了的优势。如果你能接受它在长文本上不够智能这个事实把它用在短文本续写、标题补全、辅助写作这类场景完全够用。我自己最后把模型接成了一个输入框小工具输入“清晨我推开窗户”它就能续写出一段带有画面感的描述。虽然偶尔逻辑不连贯但整体感觉已经有模有样了。后续如果想让生成内容更可控可以考虑两个方向一是加入前缀指令微调让模型学会“按风格续写”二是用强化学习或拒绝采样做一轮输出质量筛选。只要底子是这个轻量级模型扩展成本都不高。另外别忽视提示词的作用。同样的模型给定“今天下雨”和“雨滴敲打着玻璃窗我坐在窗边”作为前文后者的续写质量明显高一个档次。文本续写是概率生成给模型越清晰的起点它越不容易跑偏。这个看起来不算技术的小技巧实际比改参灵敏得多。 
长河君 · 2026/10/19 8:23:53 · 阅读 1.2k 轻量级GPT2-Distil中文模型文本续写实战：从微调到CPU部署
最近刚把“轻量级 GPT2-Distil 中文模型”的文本续写项目完整跑通从下载权重、清洗语料到微调、推理再到封装成本地服务整个过程没有用到高端显卡甚至中途在纯 CPU 机器上也验证过流程。如果你也想在普通笔记本上实现“给定一句话自动往后写”的文本续写功能这篇文章会帮你省下不少踩坑时间。轻量级 GPT2-Distil 中文模型本质上是一个蒸馏过的小尺寸自回归语言模型核心任务就是做文本续写输入前文模型逐个预测下一个字不断循环最终生成一段连贯内容。它适合三类人预算有限的算法学习者、需要本地离线部署的开发者、想快速验证生成式模型玩法的小团队。下面我完整复盘这个项目的设计与实操过程。1. 为什么选轻量级 GPT2-Distil 做中文续写1.1 自回归模型与文本续写的基本逻辑文本续写不是简单的“填空题”而是概率化生成。给定已有文本 ( w_1, w_2, ..., w_n )模型计算下一个字 ( w_{n1} ) 的条件概率 ( P(w_{n1} | w_1, w_2, ..., w_n) )生成一个候选字后再把它拼接到原文末尾继续预测下一个字。这种“每次只预测下一个字生成结果反馈回输入”的方式叫自回归生成GPT 系列就是这个路子。从这个逻辑一眼就能看出模型参数量越大拟合复杂长文本的能力理论上越强。但实际落地时我们得分清场景如果只是做短文本续写、小故事生成、自动补全句子一个参数量在三五亿的大模型往往杀鸡用牛刀推理慢、内存大还得上多卡。轻量级模型虽然“智商”不如大模型但胜在启动快、部署灵活可以在低功耗设备上持续运行。1.2 蒸馏模型比同尺寸小模型强在哪蒸馏不是简单地“把一个模型缩小”而是让一个轻量级学生模型去模仿一个强大教师模型的输出行为。传统小模型是从零开始训练蒸馏模型则是站在教师模型的“知识压缩结果”上起步。GPT2-Distil 这类架构通常会把原始 GPT-2 的层数砍半同时用教师模型生成的软标签做额外监督。所以同等参数量下蒸馏模型往往比“裸训小模型”更擅长文本续写生成语句的流畅度更好常识合理性也更强。如果拿一个参数量约七八千万的中文蒸馏 GPT-2 模型和同规模随机初始化模型比前者几乎不需要太多数据微调就能写出像样的句子。实践经验是选模型时优先看“预训练底子”别只看参数量。1.3 为什么中文场景要专门挑中文权重英文 GPT-2 的分词器按空格和子词切分中文则是连续的汉字序列直接用英文分词器会得到大量碎片语义丢失严重。中文轻量级 GPT2-Distil 模型通常在中文大规模语料上做过预训练分词器也是中文词表能比较合理地把汉字编码成 token。我在项目里选择了一个参数量在 100M 以内的中文 GPT2-Distil 权重放在本地目录使用。这类权重不一定需要自己训练直接通过开源模型社区的加载接口就能拿到关键是路径要指向本地文件夹避免每次加载都走网络。2. 环境准备与数据整理动手前别偷懒2.1 依赖安装与硬件评估我的开发环境很简单一台带 8GB 显存的普通显卡机器操作系统是 Linux。如果你没有独立显卡纯 CPU 也能跑只是训练速度会慢不少推理反而可以接受。核心依赖就四个transformers、tokenizers、torch、datasets。版本上不要追新稳定版即可。pip install transformers4.36.0 tokenizers0.15.0 datasets2.16.0 torch2.1.2安装完成后先做一个快速验证加载模型和分词器确保本地权重文件完整。很多问题都出在权重格式不匹配transformers老版本加载新权重时会报Unused keys或者直接抛错。2.2 中文语料清洗决定续写效果的上限数据质量的重要性超过模型调参。我一开始随手找了几篇网络文本丢进去训练出来的续写结果又乱又碎。后来老老实实按三步清数据效果一下子正常了。第一步去掉空行、重复段落、乱码字符。中英文混排时我会把英文单词统一转成小写或者直接保留但不要出现半个汉字的情况。第二步统一全角半角符号把全角逗号、句号转成半角避免 tokenizer 把同一个符号切出多种花样。第三步做长度过滤单条样本太短没有训练价值太长容易超出模型最大长度所以我统一把文本切成 128 到 256 字左右的段落。一个容易忽略的细节文本续写模型需要看到“完整的上下文”所以不能把每个段落单独截断得太碎。我是先把原始长文本按段落切分再用滑动窗口的方式截取固定长度让每个样本之间保留一定的重叠区域。这样做的好处是模型不会在每句话开头都面临“一无所知”的状态。2.3 构造训练样本这个格式很关键GPT-2 类模型本身没有[CLS]这种分类标志它只认文本流。中文文本续写训练时最自然的做法是把多篇短文本拼到一起中间用分隔符隔开。如果数据集里每个样本是独立短句建议用\n或者[SEP]分隔但不能让模型学会在分隔符之后继续输出无意义内容。我最终采用的内存映射数据集格式如下{text: 今天天气真好适合出去走走。\n他拿起手机拍了一张照片记录下这美好的一刻。}然后把整个文本流按block_size128切成训练样本。这里的重点是每个训练样本内部包含多个句子模型可以通过上一个句子的结尾预测下一个句子的开头而不是只做单句预测。3. 训练流程代码拆解3.1 加载模型与分词器加载过程是整个项目最基础也最容易出问题的地方。我用的是本地目录方式权重文件放在./chinese-gpt2-distil下里面有config.json、pytorch_model.bin、tokenizer.json等文件。from transformers import AutoTokenizer, AutoModelForCausalLM model_path ./chinese-gpt2-distil tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path) # 中文模型很多没有 pad_token需要设置为 eos_token否则训练时 batch padding 会报错 if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token这里必须格外注意pad_token。默认的 GPT-2 分词器通常只有eos_token没有pad_token。不设置的话训练时数据并行打包会直接失败。设置成eos_token是最省事的办法只是 padding 部分的 loss 需要在后续屏蔽掉好在Trainer内部会自动处理。3.2 把文本编码成固定长度样本使用datasets库加载本地文本然后做map操作。效率优先我会让map一次性返回所有编码后的input_ids而不是存原始文本。from datasets import load_dataset from transformers import DataCollatorForLanguageModeling def tokenize_function(examples): # 把文本拼接后统一编码 outputs tokenizer( examples[text], truncationTrue, max_length128, return_overflowing_tokensTrue, stride16, ) input_ids [] for ids in outputs[input_ids]: input_ids.append(ids) return {input_ids: input_ids} dataset load_dataset(json, data_filestrain.jsonl, splittrain) tokenized_dataset dataset.map( tokenize_function, batchedTrue, remove_columnsdataset.column_names, )return_overflowing_tokensTrue配合stride16是让长文本滑动切片的关键。stride是相邻两个切片的重叠长度适当重叠能保证上下文衔接。如果不设置长文本会被硬切模型容易丢失语义。3.3 设置训练参数与模型微调轻量级模型微调不需要很大的学习率。我习惯用1e-4到2e-4之间batch_size根据显存调整。gradient_accumulation_steps可以解决显存不够的问题让每次更新等效于更大的 batch。from transformers import Trainer, TrainingArguments training_args TrainingArguments( output_dir./checkpoints, overwrite_output_dirTrue, num_train_epochs3, per_device_train_batch_size8, per_device_eval_batch_size8, gradient_accumulation_steps4, learning_rate1.5e-4, warmup_steps200, logging_steps50, save_steps500, evaluation_strategysteps, eval_steps500, )对这种参数量不到 1 亿的模型3 个 epoch 已经够。训练时间在 8GB 显存上一小时左右关键看数据量。我在两万条样本上微调过五分钟一个 epoch基本就是过了一遍文本。3.4 损失计算与训练监视Causal Language Model 的损失会自动处理 labels。通常我们不需要手动写forwardTrainer会把input_ids当作labels内部做 shift让模型对每个位置预测下一个 token。这时只需要选一个合适的数据收集器data_collator DataCollatorForLanguageModeling( tokenizertokenizer, mlmFalse, ) trainer Trainer( modelmodel, argstraining_args, data_collatordata_collator, train_datasettokenized_dataset, ) trainer.train()mlmFalse表示这是自回归语言模型DataCollator会自动构造 labels并且对 padding 部分计算 loss 屏蔽。训练过程中我比较关注loss是否平稳下降。如果震荡很大我会把学习率降低或者检查数据里是否有大量异常文本。4. 推理、调参与服务化4.1 基础续写接口封装训练完的模型可以直接加载生成。封装一个简单的续写函数核心是model.generate。def continue_text(prompt, max_new_tokens50, temperature0.8, top_p0.9, repetition_penalty1.1): inputs tokenizer(prompt, return_tensorspt) outputs model.generate( inputs.input_ids, max_new_tokensmax_new_tokens, temperaturetemperature, top_ptop_p, repetition_penaltyrepetition_penalty, do_sampleTrue, pad_token_idtokenizer.eos_token_id, ) return tokenizer.decode(outputs[0], skip_special_tokensTrue)这里的max_new_tokens是生成长度。轻量级模型生成超过 128 个 token 后错误会累积续写质量明显下降。实际使用中我把默认值设为 50如果想写长内容就分段生成后拼接而不是一次性拉满。第一个要调的参数是temperature。温度越低模型越保守容易重复温度越高内容越随机容易跑偏。我一般从 0.7 到 0.9 之间试。第二个是repetition_penalty这个参数对中文续写特别有用设置为 1.1 左右能有效减少“的的的”“是是是”这类重复。4.2 几种常见生成策略的取舍直接用greedy search容易生成死板内容因此我默认使用sample。改进版生成策略里top_k和top_p是互补的top_k50限制候选词数量避免罕见词突然出现。top_p0.9按累计概率截断让候选集合根据置信度动态变化。do_sampleTrue开启随机采样不然上面两个参数用不上。这几个参数不是必须全给但配合起来效果比较稳。如果第一次生成就语无伦次优先调低temperature然后再看重复情况。4.3 模型量化与 CPU 部署轻量级模型本来就不大但 CPU 上跑还是会慢。如果想部署到没有显卡的服务器上可以先把模型转成 ONNX或者用optimum做动态量化。不过对于 100M 以内的模型直接上 PyTorch 的torch.compile或半精度推理就够了。我做了一个简单对比原模型在 CPU 上生成 50 个 token 大约需要 2 到 4 秒量化为 int8 后时间能缩短一半但生成质量会轻微下降。如果你对延迟不敏感建议先保留 FP32毕竟中文续写效果比快那零点几秒更重要。服务化最省事的方案是用transformers.pipeline包一层 FastAPI 接口或者直接缓存模型成单例避免每个请求都重新加载。一次加载之后内存占用大概是 200MB 到 400MB非常轻。5. 常见问题与排障实录5.1 中文生成乱码或出现[UNK]出现这种情况九成是 tokenizer 和模型不匹配。我遇到过本地文件只对了config.json和模型权重但tokenizer.json是从另一个模型目录复制过来的结果生成的连续 token 完全对不上。解决办法是确保整个model_path目录下的模型、配置文件、分词文件来源一致不要混用。另外中文里生僻字很少见如果频繁出现[UNK]说明数据清洗时把一些字符删坏了或者语料里的全角符号太多。建议训练前统计一下 tokenizer 词表外的字符比例超过 5% 就要重新清洗数据。5.2 显存不足怎么把模型“塞”进去8GB 显存训练 100M 模型绰绰有余但生成时代码一不小心也会 OOM。常见原因是生成长度设置太大比如max_new_tokens512每个 batch 同时处理多个序列显存会被中间缓存塞满。我的处理手段是推理时batch_size1生成长度控制在 256 以内如果必须处理长文本就手动把输入截断到固定长度而不是把完整文档都丢进模型。还有一个小技巧调用model.eval()并包上torch.no_grad()能省下不少显存。训练时如果 OOM不要硬调大 batch用gradient_accumulation_steps堆等效 batch size比如实际 batch size 为 2累积步数为 32最终等效 64。这样显存占用没有明显增加训练稳定性反而更好。5.3 生成重复严重翻来覆去就是那几句话这是小型自回归模型的通病因为模型容量不够很容易陷入高概率循环。不要只依赖repetition_penalty我更推荐组合策略把temperature降低到 0.7 附近减少随机性。打开no_repeat_ngram_size3直接禁止 3-gram 重复。对输入提示词做丰富化比如加一个具体的主角、地点、时间给模型更多“逃离循环”的语义锚点。数据层面也有原因如果训练语料里重复句式太多模型会学到“车轱辘话”。清洗时记得删除内容相似度极高的段落比如新闻网站的重复导语、评论里的刷屏句子。5.4 加载权重时提示未使用的参数transformers加载权重时经常蹦出一堆Unused keys不一定代表出错。比如某些权重文件里有额外的 embedding 参数而当前 config 不包含它。重点看有没有Some weights of ... were not initialized如果有多半是 config 和权重不匹配需要检查config.json里的模型结构参数。我的经验是所有中文 GPT-2 类权重都尽量用AutoModelForCausalLM加载不要手动写GPT2LMHeadModel。因为部分发布的蒸馏模型做了词表压缩手动指定层数容易踩坑。6. 本次实战的个人体会与扩展建议做完这个项目我最大的体会是轻量级模型的价值不在“能不能打”而在于“随时能用”。一个 100M 不到的模型普通 CPU 都能跑训练成本低到可以反复试错这是大模型给不了的优势。如果你能接受它在长文本上不够智能这个事实把它用在短文本续写、标题补全、辅助写作这类场景完全够用。我自己最后把模型接成了一个输入框小工具输入“清晨我推开窗户”它就能续写出一段带有画面感的描述。虽然偶尔逻辑不连贯但整体感觉已经有模有样了。后续如果想让生成内容更可控可以考虑两个方向一是加入前缀指令微调让模型学会“按风格续写”二是用强化学习或拒绝采样做一轮输出质量筛选。只要底子是这个轻量级模型扩展成本都不高。另外别忽视提示词的作用。同样的模型给定“今天下雨”和“雨滴敲打着玻璃窗我坐在窗边”作为前文后者的续写质量明显高一个档次。文本续写是概率生成给模型越清晰的起点它越不容易跑偏。这个看起来不算技术的小技巧实际比改参灵敏得多。