当做语音&文本相关的技术时，经常会涉及到文本的分词实现。以下是对中文的文本简单实现。
 一、单个中文句子的分词

import jiebatext_ = "我爱我的祖国！"
# 精确模式
seg_list = jieba.cut(text_, cut_all=False)
print("精确模式: " + "/ ".join(seg_list))# 全模式
seg_list = jieba.cut(text_, cut_all=True)
print("全模式: " + "/ ".join(seg_list))# 搜索引擎模式
seg_list = jieba.cut_for_search(text_)
print("搜索引擎模式: " + "/ ".join(seg_list))

输出信息为：

精确模式: 我/ 爱/ 我/ 的/ 祖国/ ！
全模式: 我/ 爱/ 我/ 的/ 祖国/ ！
搜索引擎模式: 我/ 爱/ 我/ 的/ 祖国/ ！

二、一段中文的分词
分词内容保存在 example.txt

路上只我一个人，背着手踱着。
这一片天地好像是我的;我也像超出了平常旳自己，到了另一世界里。
我爱热闹，也爱冷静;爱群居，也爱独处。
像今晚上，一个人在这苍茫旳月下，什么都可以想，什么都可以不想，便觉是个自由的人。
白天里一定要做的事，一定要说的话，现在都可不理。这是独处的妙处，我且受用这无边的荷香月色好了。

以下对中文锻炼进行分词。

import jieba
f=open("example.txt","r",encoding='utf-8') # 读取中文
str_lines = f.readlines()
text_list = []
idx = 0
for line in str_lines:if len(line)>0:idx += 1text_ =lineprint("{}) ------------------------".format(idx))print("原句:",text_)seg_list = jieba.cut(text_, cut_all=False)print("分词精确模式: " + "/ ".join(seg_list))

输出信息：

1) ------------------------
原句: 路上只我一个人，背着手踱着。
分词精确模式: 路上/ 只/ 我/ 一个/ 人/ ，/ 背着手/ 踱/ 着/ 。/2) ------------------------
原句: 这一片天地好像是我的;我也像超出了平常旳自己，到了另一世界里。
分词精确模式: 这/ 一片/ 天地/ 好像/ 是/ 我/ 的/ ;/ 我/ 也/ 像/ 超出/ 了/ 平常/ 旳/ 自己/ ，/ 到/ 了/ 另/ 一/ 世界/ 里/ 。/3) ------------------------
原句: 我爱热闹，也爱冷静;爱群居，也爱独处。
分词精确模式: 我/ 爱/ 热闹/ ，/ 也/ 爱/ 冷静/ ;/ 爱/ 群居/ ，/ 也/ 爱/ 独处/ 。/4) ------------------------
原句: 像今晚上，一个人在这苍茫旳月下，什么都可以想，什么都可以不想，便觉是个自由的人。
分词精确模式: 像/ 今晚/ 上/ ，/ 一个/ 人/ 在/ 这/ 苍茫/ 旳/ 月/ 下/ ，/ 什么/ 都/ 可以/ 想/ ，/ 什么/ 都/ 可以/ 不想/ ，/ 便觉/ 是/ 个/ 自由/ 的/ 人/ 。/5) ------------------------
原句: 白天里一定要做的事，一定要说的话，现在都可不理。这是独处的妙处，我且受用这无边的荷香月色好了。
分词精确模式: 白天/ 里/ 一定/ 要/ 做/ 的/ 事/ ，/ 一定/ 要说/ 的话/ ，/ 现在/ 都/ 可/ 不理/ 。/ 这是/ 独处/ 的/ 妙处/ ，/ 我且/ 受用/ 这/ 无边/ 的/ 荷香/ 月色/ 好/ 了/ 。/

欢迎加入 TechLinkX AI微信群，技术交流。