现有的分词工具包概览
现有的分词工具包种类繁多，我选取了几个比较常见的开源中文分词工具包进行了简单的调查。有感兴趣的同学可以通过下表中的Giuthub链接进行详细地了解。
常见开源的中文分词工具
接下来，我具体介绍Jieba和IK Analyzer的使用。
一、jieba的分词使用
1、安装jieba
安装jieba
2、三种分词模式及比较
编写代码对 “古蜀青铜艺术与蜀绣非遗技艺结合创新的探讨——现代首饰设计” 进行分词
import jieba
seg_list1 = jieba.cut("古蜀青铜艺术与蜀绣非遗技艺结合创新的探讨——现代首饰设计", cut_all=True) # 全模式
seg_list2 = jieba.cut("古蜀青铜艺术与蜀绣非遗技艺结合创新的探讨——现代首饰设计", cut_all=False) # 精确模式
seg_list3 = jieba.cut_for_search("古蜀青铜艺术与蜀绣非遗技艺结合创新的探讨——现代首饰设计") # 搜索引擎模式
print("Full Mode: " + "/ ".join(seg_list1)) # 全模式
print("Default Mode: " + "/ ".join(seg_list2)) # 精确模式
print(", ".join(seg_list3)) # 搜索引擎模式
结果如下图所示：
分词结果1
可以看到精确模式与搜索引擎模式的分词结果比全模式更准确。
3、添加自定义词典
在对“互联网+背景下古代娱乐项目综合体验平台的设计与实现——基于微信小程序和Web网页”这一文本进行分词的时候，发现“互联网+”与“微信小程序”没有被正确分出来，如下图所示：
添加词典前
添加自定义词典的方式帮助jieba正确地分出这些新词。
①载入词典
用法： jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径