简介这份资源面向计算机、人工智能及相关专业的学生与开发者提供一套基于机器学习的中文错别字检索与自动纠正完整项目可用于毕业设计、课程设计、作业或项目立项演示也适合作为自然语言处理方向的进阶练习。压缩包共12个文件约7.61MB包含3个Python源码文件、6个txt词典与停用词数据、1个Markdown说明文档、1个gitignore配置及1段mp4项目成果展示视频覆盖从代码实现到运行演示的完整链路。项目已通过导师评审答辩评分达95分代码经测试可正常运行。读者可据此理解错别字检测与纠正的整体流程参考词典与拼音数据的组织方式并借助演示视频快速把握功能效果基础较好的学习者还能在现有代码上二次开发扩展新的纠错功能。目前已有55人学习关注。1. 中文错别字纠正这件事为什么“检索”比“纠正”更难很多人第一次做中文错别字纠正直觉都是先上模型拿一份混淆集训一个 BERT序列标注一跑把错字替换成预测字收工。真跑起来才发现模型给出的候选字往往“看着都对”但到底该不该改、改成哪个判断依据根本不在模型里而在“这个词在这句话里到底存不存在”。换句话说中文错别字纠正的瓶颈不是生成候选而是检索与判定你得先知道“这个词是不是一个合法词”“这个搭配在语料里出现过没有”“这个错字和正确字在字形、字音、键盘上有多近”。这套“基于机器学习的中文错别字检索及自动纠正”方案核心思路就是把纠正拆成两段先用检索把可疑片段捞出来并给出候选再用一个轻量判定模型决定改不改。它适合两类人一类是想把错别字纠正接进搜索、客服、内容审核链路的工程师另一类是手里有标注数据、想跑通一套完整 pipeline 的学生和算法同学。下面我按“数据怎么造 → 检索怎么建 → 模型怎么判 → 坑在哪”的顺序把能复现的细节讲清楚。2. 先想清楚纠正链路检索、候选生成、判定三段怎么切2.1 为什么不能一步到位做端到端纠正端到端序列标注输入错句、输出正确句在中文上有个天然缺陷它把“改不改”和“改成什么”耦合在一个 softmax 里。中文里大量“错字”其实是合法但低频的词比如人名、品牌名、专业术语模型没见过就倾向于改掉造成误纠。而检索式方案把这两件事解耦检索负责“这句话里哪些位置可疑、候选有哪些”判定负责“这个候选是否比原字更合理”。解耦之后误纠率能压下来一大截而且每一段都能单独替换、单独评估。常见做法是维护一个混淆集confusion set记录形近、音近、键盘邻近的字对比如“在/再”“的/得”“账/帐”。检索阶段用混淆集扩展查询判定阶段用语言模型打分。这个结构的好处是混淆集可以人工维护也可以从语料里统计生成模型只做打分不背“世界知识”的锅。2.2 三段式链路的输入输出定义把链路定死后面才好写代码阶段输入输出关键依赖检索原始句子可疑片段 候选字列表混淆集、词典、倒排索引候选生成可疑片段Top-K 候选词n-gram 语言模型 / 词频判定原片段 候选是否替换、替换成哪个分类模型 / 打分函数这里有个容易翻车的点检索的召回率决定了整条链路的上限。如果混淆集里没有“账/帐”这一对后面判定模型再强也救不回来。所以混淆集的构建要优先覆盖高频错字对而不是追求大而全。2.3 最小可跑通的目录结构我一般会按下面这个结构组织代码方便替换任意一段typo_correct/ ├── data/ │ ├── confusion_set.txt # 混淆集每行一组近音/近形字 │ ├── dict.txt # 合法词词典 │ └── train_pairs.tsv # 训练对错句\t正确句 ├── retrieval/ │ ├── build_index.py # 构建倒排索引 │ └── search.py # 检索可疑片段 ├── model/ │ ├── dataset.py │ ├── train.py # 判定模型训练 │ └── predict.py └── pipeline.py # 串起检索判定这个结构不是强制的但把检索和模型分开调试时能快速定位是召回问题还是判定问题。3. 混淆集与词典检索质量的地基怎么打3.1 混淆集的三种来源与取舍混淆集质量直接决定召回。常见来源有三种人工整理覆盖高频错字对准确率高但覆盖有限适合冷启动。字形相似度生成用汉字的结构特征笔画、部件算相似度能捞出“未/末”“己/已”这类形近字。字音相似度生成用拼音声母、韵母、声调算编辑距离覆盖“在/再”“做/作”这类音近字。我一般会三者合并再去重人工整理的那部分权重最高。下面是一个从拼音生成混淆集的简化脚本# build_confusion_by_pinyin.py from pypinyin import lazy_pinyin, Style def pinyin_key(ch): # 取声母韵母忽略声调降低误配 py lazy_pinyin(ch, styleStyle.NORMAL) return py[0] if py else def build_confusion(chars, max_group8): buckets {} for ch in chars: key pinyin_key(ch) if not key: continue buckets.setdefault(key, []).append(ch) # 同一拼音下超过 max_group 的组丢弃避免“一音多字”噪声 result [] for key, group in buckets.items(): if 2 len(group) max_group: result.append(group) return result if __name__ __main__: chars list(在再做作账帐未末己已) for g in build_confusion(chars): print(\t.join(g))逻辑说明pinyin_key只取无声调拼音因为声调在输入法场景里经常被忽略max_group用来过滤“yi”这种一音几十字的组这类组做混淆集噪声太大。参数上max_group建议 610太小会漏掉常见对太大会引入大量无关候选。3.2 词典与词频判定阶段的“合法词”依据判定模型需要一个“这个词是否合法”的信号。最直接的做法是维护一个词频词典检索到候选词后查词频词频为 0 或极低就倾向判错。词典可以来自公开语料统计也可以从业务日志里挖。注意一点词典要带词频不能只有词表否则“的/得”这种都合法的词没法区分。# load_dict.py def load_dict(path): freq {} with open(path, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) 2: word, count parts[0], int(parts[1]) freq[word] count return freq def is_legal(word, freq, min_count1): return freq.get(word, 0) min_countmin_count是个关键参数设成 1 会把所有出现过一次的词都当合法误纠少但漏纠多设成 5 以上会误伤低频专有名词。我的经验是先用 1 跑召回再看误纠案例调。3.3 用倒排索引加速可疑片段检索句子长了以后逐位置查混淆集会慢。常见做法是把词典建成倒排索引检索时用候选字组合去查。下面是一个极简的倒排构建# build_index.py import json from collections import defaultdict def build_inverted_index(freq): # key: 单字 - 包含该字的词列表 index defaultdict(list) for word in freq: for ch in word: index[ch].append(word) return index def save_index(index, path): with open(path, w, encodingutf-8) as f: json.dump({k: v for k, v in index.items()}, f, ensure_asciiFalse) if __name__ __main__: freq {在: 100, 再: 90, 再见: 50, 在乎: 30} idx build_inverted_index(freq) save_index(idx, index.json)逻辑说明倒排索引把“包含某字的词”预先存好检索时对可疑位置的字取候选再用候选字查索引快速得到可能的正确词。参数上索引只存单字到词的映射内存占用可控如果词典很大可以只对高频字建索引。4. 判定模型用轻量分类器决定“改不改”4.1 特征怎么选字级别 词级别 上下文判定模型不需要很深特征选对了LR 或 GBDT 就能跑出不错的效果。我一般用三类特征字级别原字与候选字的拼音相似度、字形相似度、编辑距离。词级别候选词在词典中的词频、原词词频、两者比值。上下文候选词左右各一字的 bigram 频率用 n-gram 语言模型打分。这些特征拼成一个向量标签是“该位置是否应该替换成该候选”。注意样本构造正样本来自人工标注的错句-正确句对负样本从检索候选里采样保证正负比例接近 1:3。4.2 训练脚本与关键参数# train.py import numpy as np from sklearn.ensemble import GradientBoostingClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import precision_recall_fscore_support def load_features(path): X, y [], [] with open(path, encodingutf-8) as f: for line in f: parts line.strip().split(\t) X.append([float(x) for x in parts[:-1]]) y.append(int(parts[-1])) return np.array(X), np.array(y) def main(): X, y load_features(data/features.tsv) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy) clf GradientBoostingClassifier( n_estimators200, # 树数量200 在几万样本上够用 max_depth4, # 控制过拟合中文特征维度不高 learning_rate0.05, # 小学习率配多树稳定 subsample0.8 # 行采样进一步防过拟合 ) clf.fit(X_train, y_train) pred clf.predict(X_test) p, r, f1, _ precision_recall_fscore_support(y_test, pred, averagebinary) print(fprecision{p:.4f} recall{r:.4f} f1{f1:.4f}) if __name__ __main__: main()逻辑说明n_estimators和learning_rate是一对学习率小就要树多否则欠拟合max_depth4是因为特征维度通常只有十几维树太深容易记住噪声。评估时重点看precision因为误纠比漏纠更伤用户体验——把对的改错用户直接不信任这个功能。4.3 推理阶段怎么和检索串起来推理时先检索出可疑位置和候选再对每个候选提特征、打分超过阈值才替换。阈值建议在验证集上按 precision 优先调比如要求 precision ≥ 0.95 时对应的阈值。# pipeline.py def correct(sentence, retriever, clf, threshold0.7): candidates retriever.search(sentence) # [(pos, orig, cand, feats), ...] result list(sentence) for pos, orig, cand, feats in candidates: score clf.predict_proba([feats])[0][1] if score threshold: result[pos] cand return .join(result)threshold是整条链路最该调的参数调高误纠少但漏纠多调低反之。线上一般先设 0.8 保守上线再根据 badcase 慢慢降。5. 避坑与排查这几类问题我几乎每次都遇到5.1 现象专有名词被改得面目全非原因词典里没有业务专有名词判定模型只看通用词频把低频专有名词判成错字。解决把业务词表产品名、人名、术语以高词频注入词典并在判定特征里加一个“是否命中白名单”的布尔特征命中直接跳过纠正。5.2 现象召回率上不去很多错字没被检索到原因混淆集覆盖不全尤其是形近字对。解决用字形相似度补一轮混淆集重点补“部件相同、笔画差一”的字对同时检查检索是否只查了单字漏了双字词内部的错字。5.3 现象模型在训练集上 F1 很高线上却频繁误纠原因训练样本的负样本采样太“干净”和线上检索出的候选分布不一致。解决负样本直接从线上检索结果里采样保证训练和推理同分布另外检查特征里有没有用到未来信息比如用了整句的正确标注。5.4 现象长句纠正速度慢原因逐位置查混淆集 逐候选提特征复杂度随句长线性增长。解决先用倒排索引把候选压到 Top-5再提特征对超长句做分句处理每句独立纠正。5.5 现象同一个错字在不同上下文里该改成不同的字模型却总选同一个原因上下文特征太弱bigram 频率区分度不够。解决把左右各两字的 trigram 频率加进来或者引入一个小的预训练语言模型做打分但要注意推理成本。6. 进阶技巧用困惑度做无监督兜底与效果验证判定模型再准也会遇到训练分布外的句子。这时候可以用**困惑度perplexity**做一层无监督兜底对原句和替换后的句子分别用 n-gram 语言模型算困惑度如果替换后困惑度明显下降就认为替换合理如果差不多甚至上升就放弃替换。这个技巧不需要标注数据适合冷启动和线上兜底。# perplexity_check.py import math from collections import defaultdict class NGramLM: def __init__(self, n2): self.n n self.counts defaultdict(int) self.context defaultdict(int) def train(self, sentences): for sent in sentences: tokens list(sent) for i in range(len(tokens)): for k in range(1, self.n 1): if i k len(tokens): gram tuple(tokens[i:i k]) self.counts[gram] 1 if k 1: self.context[gram[:-1]] 1 def perplexity(self, sent): tokens list(sent) log_prob 0.0 n 0 for i in range(len(tokens)): for k in range(1, self.n 1): if i k len(tokens): gram tuple(tokens[i:i k]) ctx gram[:-1] # 加一平滑避免零概率 p (self.counts.get(gram, 0) 1) / (self.context.get(ctx, 0) 1000) log_prob math.log(p) n 1 return math.exp(-log_prob / max(n, 1))逻辑说明NGramLM统计 n-gram 频次perplexity用加一平滑算句子困惑度。平滑分母里的 1000 是经验值语料越大可以调大。用法是对每个候选替换生成新句比较原句和新句的困惑度差值超过阈值才采纳。验证方法上我习惯留一个人工评测集200500 句覆盖高频错字、专有名词、长句三类。每次改混淆集或调阈值都在这上面跑一遍 precision/recall避免“改一个坏一个”。另外线上要记录每次替换的原句、候选、分数攒够 badcase 再回流训练这个闭环比任何单点优化都管用。最后说个我自己的教训早期我总想一步到位上大模型结果调了两周发现瓶颈在混淆集召回模型再好也白搭。后来老老实实先把混淆集和词典做扎实判定模型用 GBDT 就够整条链路反而稳。做这类项目先把检索做对再谈模型这个顺序别反。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/22 13:38:12 · 阅读 1.2k 基于机器学习的中文错别字检索与自动纠正方案
简介这份资源面向计算机、人工智能及相关专业的学生与开发者提供一套基于机器学习的中文错别字检索与自动纠正完整项目可用于毕业设计、课程设计、作业或项目立项演示也适合作为自然语言处理方向的进阶练习。压缩包共12个文件约7.61MB包含3个Python源码文件、6个txt词典与停用词数据、1个Markdown说明文档、1个gitignore配置及1段mp4项目成果展示视频覆盖从代码实现到运行演示的完整链路。项目已通过导师评审答辩评分达95分代码经测试可正常运行。读者可据此理解错别字检测与纠正的整体流程参考词典与拼音数据的组织方式并借助演示视频快速把握功能效果基础较好的学习者还能在现有代码上二次开发扩展新的纠错功能。目前已有55人学习关注。1. 中文错别字纠正这件事为什么“检索”比“纠正”更难很多人第一次做中文错别字纠正直觉都是先上模型拿一份混淆集训一个 BERT序列标注一跑把错字替换成预测字收工。真跑起来才发现模型给出的候选字往往“看着都对”但到底该不该改、改成哪个判断依据根本不在模型里而在“这个词在这句话里到底存不存在”。换句话说中文错别字纠正的瓶颈不是生成候选而是检索与判定你得先知道“这个词是不是一个合法词”“这个搭配在语料里出现过没有”“这个错字和正确字在字形、字音、键盘上有多近”。这套“基于机器学习的中文错别字检索及自动纠正”方案核心思路就是把纠正拆成两段先用检索把可疑片段捞出来并给出候选再用一个轻量判定模型决定改不改。它适合两类人一类是想把错别字纠正接进搜索、客服、内容审核链路的工程师另一类是手里有标注数据、想跑通一套完整 pipeline 的学生和算法同学。下面我按“数据怎么造 → 检索怎么建 → 模型怎么判 → 坑在哪”的顺序把能复现的细节讲清楚。2. 先想清楚纠正链路检索、候选生成、判定三段怎么切2.1 为什么不能一步到位做端到端纠正端到端序列标注输入错句、输出正确句在中文上有个天然缺陷它把“改不改”和“改成什么”耦合在一个 softmax 里。中文里大量“错字”其实是合法但低频的词比如人名、品牌名、专业术语模型没见过就倾向于改掉造成误纠。而检索式方案把这两件事解耦检索负责“这句话里哪些位置可疑、候选有哪些”判定负责“这个候选是否比原字更合理”。解耦之后误纠率能压下来一大截而且每一段都能单独替换、单独评估。常见做法是维护一个混淆集confusion set记录形近、音近、键盘邻近的字对比如“在/再”“的/得”“账/帐”。检索阶段用混淆集扩展查询判定阶段用语言模型打分。这个结构的好处是混淆集可以人工维护也可以从语料里统计生成模型只做打分不背“世界知识”的锅。2.2 三段式链路的输入输出定义把链路定死后面才好写代码阶段输入输出关键依赖检索原始句子可疑片段 候选字列表混淆集、词典、倒排索引候选生成可疑片段Top-K 候选词n-gram 语言模型 / 词频判定原片段 候选是否替换、替换成哪个分类模型 / 打分函数这里有个容易翻车的点检索的召回率决定了整条链路的上限。如果混淆集里没有“账/帐”这一对后面判定模型再强也救不回来。所以混淆集的构建要优先覆盖高频错字对而不是追求大而全。2.3 最小可跑通的目录结构我一般会按下面这个结构组织代码方便替换任意一段typo_correct/ ├── data/ │ ├── confusion_set.txt # 混淆集每行一组近音/近形字 │ ├── dict.txt # 合法词词典 │ └── train_pairs.tsv # 训练对错句\t正确句 ├── retrieval/ │ ├── build_index.py # 构建倒排索引 │ └── search.py # 检索可疑片段 ├── model/ │ ├── dataset.py │ ├── train.py # 判定模型训练 │ └── predict.py └── pipeline.py # 串起检索判定这个结构不是强制的但把检索和模型分开调试时能快速定位是召回问题还是判定问题。3. 混淆集与词典检索质量的地基怎么打3.1 混淆集的三种来源与取舍混淆集质量直接决定召回。常见来源有三种人工整理覆盖高频错字对准确率高但覆盖有限适合冷启动。字形相似度生成用汉字的结构特征笔画、部件算相似度能捞出“未/末”“己/已”这类形近字。字音相似度生成用拼音声母、韵母、声调算编辑距离覆盖“在/再”“做/作”这类音近字。我一般会三者合并再去重人工整理的那部分权重最高。下面是一个从拼音生成混淆集的简化脚本# build_confusion_by_pinyin.py from pypinyin import lazy_pinyin, Style def pinyin_key(ch): # 取声母韵母忽略声调降低误配 py lazy_pinyin(ch, styleStyle.NORMAL) return py[0] if py else def build_confusion(chars, max_group8): buckets {} for ch in chars: key pinyin_key(ch) if not key: continue buckets.setdefault(key, []).append(ch) # 同一拼音下超过 max_group 的组丢弃避免“一音多字”噪声 result [] for key, group in buckets.items(): if 2 len(group) max_group: result.append(group) return result if __name__ __main__: chars list(在再做作账帐未末己已) for g in build_confusion(chars): print(\t.join(g))逻辑说明pinyin_key只取无声调拼音因为声调在输入法场景里经常被忽略max_group用来过滤“yi”这种一音几十字的组这类组做混淆集噪声太大。参数上max_group建议 610太小会漏掉常见对太大会引入大量无关候选。3.2 词典与词频判定阶段的“合法词”依据判定模型需要一个“这个词是否合法”的信号。最直接的做法是维护一个词频词典检索到候选词后查词频词频为 0 或极低就倾向判错。词典可以来自公开语料统计也可以从业务日志里挖。注意一点词典要带词频不能只有词表否则“的/得”这种都合法的词没法区分。# load_dict.py def load_dict(path): freq {} with open(path, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) 2: word, count parts[0], int(parts[1]) freq[word] count return freq def is_legal(word, freq, min_count1): return freq.get(word, 0) min_countmin_count是个关键参数设成 1 会把所有出现过一次的词都当合法误纠少但漏纠多设成 5 以上会误伤低频专有名词。我的经验是先用 1 跑召回再看误纠案例调。3.3 用倒排索引加速可疑片段检索句子长了以后逐位置查混淆集会慢。常见做法是把词典建成倒排索引检索时用候选字组合去查。下面是一个极简的倒排构建# build_index.py import json from collections import defaultdict def build_inverted_index(freq): # key: 单字 - 包含该字的词列表 index defaultdict(list) for word in freq: for ch in word: index[ch].append(word) return index def save_index(index, path): with open(path, w, encodingutf-8) as f: json.dump({k: v for k, v in index.items()}, f, ensure_asciiFalse) if __name__ __main__: freq {在: 100, 再: 90, 再见: 50, 在乎: 30} idx build_inverted_index(freq) save_index(idx, index.json)逻辑说明倒排索引把“包含某字的词”预先存好检索时对可疑位置的字取候选再用候选字查索引快速得到可能的正确词。参数上索引只存单字到词的映射内存占用可控如果词典很大可以只对高频字建索引。4. 判定模型用轻量分类器决定“改不改”4.1 特征怎么选字级别 词级别 上下文判定模型不需要很深特征选对了LR 或 GBDT 就能跑出不错的效果。我一般用三类特征字级别原字与候选字的拼音相似度、字形相似度、编辑距离。词级别候选词在词典中的词频、原词词频、两者比值。上下文候选词左右各一字的 bigram 频率用 n-gram 语言模型打分。这些特征拼成一个向量标签是“该位置是否应该替换成该候选”。注意样本构造正样本来自人工标注的错句-正确句对负样本从检索候选里采样保证正负比例接近 1:3。4.2 训练脚本与关键参数# train.py import numpy as np from sklearn.ensemble import GradientBoostingClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import precision_recall_fscore_support def load_features(path): X, y [], [] with open(path, encodingutf-8) as f: for line in f: parts line.strip().split(\t) X.append([float(x) for x in parts[:-1]]) y.append(int(parts[-1])) return np.array(X), np.array(y) def main(): X, y load_features(data/features.tsv) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy) clf GradientBoostingClassifier( n_estimators200, # 树数量200 在几万样本上够用 max_depth4, # 控制过拟合中文特征维度不高 learning_rate0.05, # 小学习率配多树稳定 subsample0.8 # 行采样进一步防过拟合 ) clf.fit(X_train, y_train) pred clf.predict(X_test) p, r, f1, _ precision_recall_fscore_support(y_test, pred, averagebinary) print(fprecision{p:.4f} recall{r:.4f} f1{f1:.4f}) if __name__ __main__: main()逻辑说明n_estimators和learning_rate是一对学习率小就要树多否则欠拟合max_depth4是因为特征维度通常只有十几维树太深容易记住噪声。评估时重点看precision因为误纠比漏纠更伤用户体验——把对的改错用户直接不信任这个功能。4.3 推理阶段怎么和检索串起来推理时先检索出可疑位置和候选再对每个候选提特征、打分超过阈值才替换。阈值建议在验证集上按 precision 优先调比如要求 precision ≥ 0.95 时对应的阈值。# pipeline.py def correct(sentence, retriever, clf, threshold0.7): candidates retriever.search(sentence) # [(pos, orig, cand, feats), ...] result list(sentence) for pos, orig, cand, feats in candidates: score clf.predict_proba([feats])[0][1] if score threshold: result[pos] cand return .join(result)threshold是整条链路最该调的参数调高误纠少但漏纠多调低反之。线上一般先设 0.8 保守上线再根据 badcase 慢慢降。5. 避坑与排查这几类问题我几乎每次都遇到5.1 现象专有名词被改得面目全非原因词典里没有业务专有名词判定模型只看通用词频把低频专有名词判成错字。解决把业务词表产品名、人名、术语以高词频注入词典并在判定特征里加一个“是否命中白名单”的布尔特征命中直接跳过纠正。5.2 现象召回率上不去很多错字没被检索到原因混淆集覆盖不全尤其是形近字对。解决用字形相似度补一轮混淆集重点补“部件相同、笔画差一”的字对同时检查检索是否只查了单字漏了双字词内部的错字。5.3 现象模型在训练集上 F1 很高线上却频繁误纠原因训练样本的负样本采样太“干净”和线上检索出的候选分布不一致。解决负样本直接从线上检索结果里采样保证训练和推理同分布另外检查特征里有没有用到未来信息比如用了整句的正确标注。5.4 现象长句纠正速度慢原因逐位置查混淆集 逐候选提特征复杂度随句长线性增长。解决先用倒排索引把候选压到 Top-5再提特征对超长句做分句处理每句独立纠正。5.5 现象同一个错字在不同上下文里该改成不同的字模型却总选同一个原因上下文特征太弱bigram 频率区分度不够。解决把左右各两字的 trigram 频率加进来或者引入一个小的预训练语言模型做打分但要注意推理成本。6. 进阶技巧用困惑度做无监督兜底与效果验证判定模型再准也会遇到训练分布外的句子。这时候可以用**困惑度perplexity**做一层无监督兜底对原句和替换后的句子分别用 n-gram 语言模型算困惑度如果替换后困惑度明显下降就认为替换合理如果差不多甚至上升就放弃替换。这个技巧不需要标注数据适合冷启动和线上兜底。# perplexity_check.py import math from collections import defaultdict class NGramLM: def __init__(self, n2): self.n n self.counts defaultdict(int) self.context defaultdict(int) def train(self, sentences): for sent in sentences: tokens list(sent) for i in range(len(tokens)): for k in range(1, self.n 1): if i k len(tokens): gram tuple(tokens[i:i k]) self.counts[gram] 1 if k 1: self.context[gram[:-1]] 1 def perplexity(self, sent): tokens list(sent) log_prob 0.0 n 0 for i in range(len(tokens)): for k in range(1, self.n 1): if i k len(tokens): gram tuple(tokens[i:i k]) ctx gram[:-1] # 加一平滑避免零概率 p (self.counts.get(gram, 0) 1) / (self.context.get(ctx, 0) 1000) log_prob math.log(p) n 1 return math.exp(-log_prob / max(n, 1))逻辑说明NGramLM统计 n-gram 频次perplexity用加一平滑算句子困惑度。平滑分母里的 1000 是经验值语料越大可以调大。用法是对每个候选替换生成新句比较原句和新句的困惑度差值超过阈值才采纳。验证方法上我习惯留一个人工评测集200500 句覆盖高频错字、专有名词、长句三类。每次改混淆集或调阈值都在这上面跑一遍 precision/recall避免“改一个坏一个”。另外线上要记录每次替换的原句、候选、分数攒够 badcase 再回流训练这个闭环比任何单点优化都管用。最后说个我自己的教训早期我总想一步到位上大模型结果调了两周发现瓶颈在混淆集召回模型再好也白搭。后来老老实实先把混淆集和词典做扎实判定模型用 GBDT 就够整条链路反而稳。做这类项目先把检索做对再谈模型这个顺序别反。希望帮到你。本文还有配套的精品资源点击获取