1. 首页
  2. 编程语言
  3. Python
  4. 基于Lucene的中文分词器的设计与实现

基于Lucene的中文分词器的设计与实现

上传者: 2020-10-27 20:45:31上传 PDF文件 152.43KB 热度 6次
针对Lucene自带中文分词器分词效果差的缺点,在分析现有分词词典机制的基础上,设计了基于全哈希整词二分算法的分词器,并集成到Lucene中,算法通过对整词进行哈希,减少词条匹配次数,提高分词效率。该分词器词典文件维护方便,可以根据不同应用的要求进行定制,从而提高了检索效率。
下载地址
用户评论