1. 首页
  2. 编程语言
  3. Python
  4. Python自然语言处理之切分算法详解

Python自然语言处理之切分算法详解

上传者: 2022-04-12 21:10:23上传 PDF文件 102.70 KB 热度 11次

一般来说,一句话肯定包含多个词语,它们互相重叠,具体输出哪一个由自然语言的切分算法决定。常用的切分算法有完全切分、正向最长匹配、逆向最长匹配以及双向最长匹配。不考虑效率的话,完全切分算法其实非常简单。只要遍历文本中的连续序列,查询该序列是否在词典中即可。为此,我们的算法工程师提出了新的匹配规则,双向最长匹配。当单字也相同时,优先返回逆向最长匹配结果具体代码如下:

下载地址
用户评论