jieba分词关键字含英文和特殊字符的处理方法
1.默认情况 语句中关键字在含有英文和特殊字符时(machine-1234),使用jieba往往将我们的关键词分割的非常零碎,比如: # 默认情况 import jieba str1 = 查找machine-1234的产品说明书 for w in jieba.cut(str1): print(w) # 运行结果 >>>查找 >>>machine >>>- >>>1234 >>>的 >>>产品 >>>说明书 2.利用自定义字典 通常情况下,我们可以加载预定义字典来包含词库里不存在的词,以达到正确分词的效果 # 利用用户自定义字典 import jieba str1 = 查找mac
下载地址
用户评论