今天阅读别人写的开源代码，学到了如何编写自己的Tokenizer，自己添加special_token，自己定义special_token的token_id。（仅适用于T5类型，使用SentencePiece模型训练出来的分词方法，对于Bert这种WordPiece的分词，不适用）
首先，我们有这样一个任务，需要有一个在基本此表的基础上，添加特殊令牌"<loc_*>"其中*从0-100。然后token_id就往后排，比如原来的此表有100个，最大的id是99，现在加了100个特殊令牌之后，此表变成了200个，"<loc_0>"的id是100，...，"<loc_99>"的id是199这样。
要自定义Tokenizer肯定是要有个父类的，如果用PretrainedTokenizer的话，里面的方法比如，vocab_size，get_vocab, _tokenize，_convert_token_to_id，_convert_id_to_token等几个关键的方法是需要根据自己的要求自定义的，其他的Tokenizer其实也是这么重写然后实现的，比如T5Tokenizer，可以去借鉴他们的写法然后改成自己的。
因为我们的任务比较简单，我们可以继承T5Tokenizer，只重写里面的部分方法。
首先，导入必要的库：
from transformers import T5Tokenizer
import sentencepiece as spm下载所需要的预训练好的分词模型，可以去huggingface上下载，比如去https://huggingface.co/google-t5/t5-small/tree/main，里面有个叫spiece.model的文件就是分词预训练文件。不同的模型分词方法是不一样的，比如去https://huggingface.co/google-bert/bert-base-uncased/tree/main里面就找不到，原因是bert的分词是基于规则去做的，没有预训练文件，因此不适合我们这里将的Tokenizer构建方法。
下载好了之后，就可以开始编写我们的分词器类MyTokenizer了：
class MyTokenizer(T5Tokenizer):def __init__(self,vocab_file,eos_token="</s>",unk_token="<unk>",pad_token="<pad>",loc_extra_ids=100,sp_model_kwargs=None,additional_special_tokens=[],**kwargs):self.vocab_file = vocab_fileself._loc_extra_ids = loc_extra_idsself.sp_model_kwargs = {} if sp_model_kwargs is None else sp_model_kwargsself.sp_model = spm.SentencePieceProcessor(**self.sp_model_kwargs)self.sp_model.Load(self.vocab_file)additional_special_tokens.extend(["<loc_{}>".format(i) for i in range(0, self._loc_extra_ids)])self.additional_special_tokens = additional_special_tokenssuper(MyTokenizer, self).__init__(vocab_file=self.vocab_file,eos_token=eos_token,unk_token=unk_token,pad_token=pad_token,additional_special_tokens=self.additional_special_tokens**kwargs)初始化函数里面，主要是把sentencepiece模型定义好，要添加的special token添加好，然后初始化父类，继承里面的方法和属性。
下面重写一些我们要自定义的类，其中主要是_convert_token_to_id，_convert_id_to_token，我这里顺便把vocab_size，get_vocab也重写了，不过这两个方法和T5Tokenizer里写的是一样的，主要给大家看看长啥样。
@propertydef vocab_size(self):return self.sp_model.get_piece_size() + self._loc_extra_idsdef get_vocab(self):vocab = {self.convert_ids_to_tokens(i) : i for i in range(self.vocab_size)}vocab.update(self.added_tokens_encoder)return vocabdef _convert_id_to_token(self, index):if index < self.sp_model.get_piece_size():token = self.sp_model.IdToPiece(index)elif index < self.vocab_size:loc_id = index - self.vocab_size + self._loc_extra_idstoken = f"<loc_{loc_id}>"else:raisereturn tokendef _convert_token_to_id(self, token):if token.startswith("<loc_"):id_index = int(token[5:-1])return (self.vocab_size - self._loc_extra_ids) + id_indexelse:return self.sp_model.PieceToId(token)里面self.sp_model.get_piece_size获取现有的词表的长度，self.sp_model.IdToPiece负责将现有的词的id变成token，self.sp_model.PieceToId负责将现有的token变成id。
然后实例化一个我们自己的tokenizer：
mytokenizer = MyTokenizer(path/to/speice.model)验证一下好使不：
mytokenizer.decode(mytokenizer.encode("<loc_10>", add_special_tokens=False))输出“<loc_10>”说明好使！
