文本切分

您好!我是“筋斗云上”,请多关照! 第一篇 文本切分 文本切分包含 两个步骤:句子切分、词语切分 一、句子切分 句子切分是将文本语料库分解成句子的过程,句子 切分基本技术是在句子之间寻找特定的分隔符,例如句号(.)换行符(\n)或者分号(;)等。 NLTK框架常用的句子切分器有: sent_tokenize PunkSentenceTokenizer RegexpTokenizer 预先训练的句子切分模型 关于sent_tokenize,以NLTK中的古腾堡(gutenberg)语料库为例 import nltk from nltk.corpus import gutenberg al