论文研究 吕苏语口语标注语料的自动分词方法研究.pdf

濒危语言典藏以抢救和长久保存濒危语言口语中所包含的声学、语言学以及文学、历史、传统文化等内涵的全部信息为目的，吕苏语作为一种无文字文献记录的濒危语言，对其口语语料典藏意义重大。吕苏语口语的汉语标注语料自动分词是后续建立高质量的吕苏语口语语料库和吕苏语典藏系统的基础性工作。目前对于吕苏语标注语料分词的研究几乎为零，对吕苏语特点进行了分析，同时将中文自动分词结巴方法应用到吕苏语汉语标注语料中；并针对结巴分词算法对吕苏语标注语料分词存在的误分词问题，提出了改进结巴算法。经过实验对比，改进结巴的分词方法准确率更高，提高了吕苏语汉语标注语料的分词效果。