1. 从字符到TokenBPE分词器的前世今生第一次接触NLP时我对着Hello world!这样的简单文本发愁——计算机到底该如何理解这些字符早期的空格分词法在中文面前完全失效而简单的字符级处理又会让模型负担过重。直到2015年BPEByte-Pair Encoding分词方案的出现才真正解决了这个分而治之的难题。BPE的核心思想非常巧妙它通过统计高频字符对byte pairs并逐步合并的方式自动构建出一个适配特定语料的词汇表。就像拼乐高积木从最基础的字母开始逐步组合出更有语义的词块。这种动态构建方式使其能完美适配不同语言——无论是英语的unhappy合并unhappy还是中文的云计算合并云计算都能被合理切分。2. BPE算法解剖从理论到实现2.1 训练阶段构建词汇表的艺术假设我们有以下预处理后的语料已转为小写并去除标点low lower newest widest步骤拆解初始化词汇表为所有基础字符{l, o, w, e, r, n, s, t, d, i}统计所有相邻字符对频率pairs { (l, o): 2, # low, lower (o, w): 2, (w, e): 1, # newest中的we不算相邻 (e, r): 1, (r, ): 1, ( , n): 1, (n, e): 1, (e, w): 1, (w, s): 1, (s, t): 1, (t, ): 1, ( , w): 1, (w, i): 1, (i, d): 1, (d, e): 1 }选择最高频对(l, o)合并为lo更新词汇表{lo, w, e, r, n, s, t, d, i}迭代合并直到达到预设词汇表大小如10次合并第二轮合并(lo, w)→low第三轮可能合并(e,r)→er关键参数选择词汇表大小通常设为30000-50000这个范围在实践中最能平衡覆盖率和计算效率。具体数值可通过观察词频分布曲线的拐点来确定。2.2 编码阶段贪婪匹配的智慧对单词lowest进行分词初始拆分为字符[l, o, w, e, s, t]查找最长匹配优先尝试匹配现有最长token先匹配到low如果词汇表中有剩余est可能继续拆分为est最终输出[low, est]def encode(word, vocab): tokens [] while len(word) 0: max_len min(len(word), max_token_len) for i in range(max_len, 0, -1): candidate word[:i] if candidate in vocab: tokens.append(candidate) word word[i:] break else: tokens.append([UNK]) # 处理未知字符 break return tokens3. 现代变种与性能优化3.1 WordPieceBERT的秘密武器与BPE的统计频率不同WordPiece使用似然函数评估合并收益score (freq_of_pair) / (freq_of_first * freq_of_second)这种算法更倾向于合并具有强语义关联的字符对。例如在中文中语和言的合并得分会远高于苹和果。3.2 Unigram LM概率驱动的分词采用完全不同的思路——先初始化一个大词汇表然后通过EM算法迭代修剪计算每个token的损失下降值ΔL freq * (logP(t) - logP(t1)-logP(t2))丢弃ΔL最小的token重复直到达到目标大小这种方法在日语等黏着语中表现优异例如食べさせられない不能被让吃可以灵活拆分为食べさせられない。4. 实战中的避坑指南4.1 特殊符号处理黄金法则Unicode规范化将é统一转为e´数字处理将123转为 或拆分为单个数字标点策略英文保留, 中文需全角转半角import unicodedata def normalize(text): text unicodedata.normalize(NFKC, text) # 兼容性分解 text re.sub(r\d, NUM, text) return text4.2 词汇表大小与OOV的博弈通过分析不同词汇表下的OOV率Out-Of-Vocabulary词汇表大小英语OOV率中文OOV率10,0002.1%6.7%30,0000.7%3.2%50,0000.3%1.9%建议采用动态扩展策略初始训练用30k词表遇到OOV时临时扩展并fine-tune模型。5. 前沿发展2024年的新方向5.1 Prefill-Decoder架构中的分词优化在类似Gemini 1.5的模型中采用两阶段分词Prefill阶段使用粗粒度分词快速构建上下文Decode阶段切换细粒度分词生成细节graph LR A[输入文本] -- B{Prefill阶段} B --|长token| C[上下文编码] B --|短token| D[细节编码] C -- E[Decoder] D -- E5.2 多模态分词统一最新的LLaVA-1.6模型展示了视觉-文本联合分词图像patch视为视觉token文本token与视觉token共享嵌入空间通过交叉注意力实现对齐这种模式下狗的文本token和狗图像的视觉token会获得相似的向量表示。 
长河君 · 2026/10/28 16:09:34 · 阅读 1.2k BPE分词器原理与应用：从字符到Token的NLP关键技术
1. 从字符到TokenBPE分词器的前世今生第一次接触NLP时我对着Hello world!这样的简单文本发愁——计算机到底该如何理解这些字符早期的空格分词法在中文面前完全失效而简单的字符级处理又会让模型负担过重。直到2015年BPEByte-Pair Encoding分词方案的出现才真正解决了这个分而治之的难题。BPE的核心思想非常巧妙它通过统计高频字符对byte pairs并逐步合并的方式自动构建出一个适配特定语料的词汇表。就像拼乐高积木从最基础的字母开始逐步组合出更有语义的词块。这种动态构建方式使其能完美适配不同语言——无论是英语的unhappy合并unhappy还是中文的云计算合并云计算都能被合理切分。2. BPE算法解剖从理论到实现2.1 训练阶段构建词汇表的艺术假设我们有以下预处理后的语料已转为小写并去除标点low lower newest widest步骤拆解初始化词汇表为所有基础字符{l, o, w, e, r, n, s, t, d, i}统计所有相邻字符对频率pairs { (l, o): 2, # low, lower (o, w): 2, (w, e): 1, # newest中的we不算相邻 (e, r): 1, (r, ): 1, ( , n): 1, (n, e): 1, (e, w): 1, (w, s): 1, (s, t): 1, (t, ): 1, ( , w): 1, (w, i): 1, (i, d): 1, (d, e): 1 }选择最高频对(l, o)合并为lo更新词汇表{lo, w, e, r, n, s, t, d, i}迭代合并直到达到预设词汇表大小如10次合并第二轮合并(lo, w)→low第三轮可能合并(e,r)→er关键参数选择词汇表大小通常设为30000-50000这个范围在实践中最能平衡覆盖率和计算效率。具体数值可通过观察词频分布曲线的拐点来确定。2.2 编码阶段贪婪匹配的智慧对单词lowest进行分词初始拆分为字符[l, o, w, e, s, t]查找最长匹配优先尝试匹配现有最长token先匹配到low如果词汇表中有剩余est可能继续拆分为est最终输出[low, est]def encode(word, vocab): tokens [] while len(word) 0: max_len min(len(word), max_token_len) for i in range(max_len, 0, -1): candidate word[:i] if candidate in vocab: tokens.append(candidate) word word[i:] break else: tokens.append([UNK]) # 处理未知字符 break return tokens3. 现代变种与性能优化3.1 WordPieceBERT的秘密武器与BPE的统计频率不同WordPiece使用似然函数评估合并收益score (freq_of_pair) / (freq_of_first * freq_of_second)这种算法更倾向于合并具有强语义关联的字符对。例如在中文中语和言的合并得分会远高于苹和果。3.2 Unigram LM概率驱动的分词采用完全不同的思路——先初始化一个大词汇表然后通过EM算法迭代修剪计算每个token的损失下降值ΔL freq * (logP(t) - logP(t1)-logP(t2))丢弃ΔL最小的token重复直到达到目标大小这种方法在日语等黏着语中表现优异例如食べさせられない不能被让吃可以灵活拆分为食べさせられない。4. 实战中的避坑指南4.1 特殊符号处理黄金法则Unicode规范化将é统一转为e´数字处理将123转为 或拆分为单个数字标点策略英文保留, 中文需全角转半角import unicodedata def normalize(text): text unicodedata.normalize(NFKC, text) # 兼容性分解 text re.sub(r\d, NUM, text) return text4.2 词汇表大小与OOV的博弈通过分析不同词汇表下的OOV率Out-Of-Vocabulary词汇表大小英语OOV率中文OOV率10,0002.1%6.7%30,0000.7%3.2%50,0000.3%1.9%建议采用动态扩展策略初始训练用30k词表遇到OOV时临时扩展并fine-tune模型。5. 前沿发展2024年的新方向5.1 Prefill-Decoder架构中的分词优化在类似Gemini 1.5的模型中采用两阶段分词Prefill阶段使用粗粒度分词快速构建上下文Decode阶段切换细粒度分词生成细节graph LR A[输入文本] -- B{Prefill阶段} B --|长token| C[上下文编码] B --|短token| D[细节编码] C -- E[Decoder] D -- E5.2 多模态分词统一最新的LLaVA-1.6模型展示了视觉-文本联合分词图像patch视为视觉token文本token与视觉token共享嵌入空间通过交叉注意力实现对齐这种模式下狗的文本token和狗图像的视觉token会获得相似的向量表示。