迅捷预测 源码

迅捷预测 这是一个ngram模型,用于根据一些历史单词来预测英语文本中的下一个单词。 要全面了解其工作原理,请阅读main.html中的报告。 要查看有效的POC网络应用程序,请访问 所有代码均作为单独的帮助程序功能提供,每个文件一个,如下所述。 建立模型 需要以下功能才能从数据集构建模型: createSample()从输入文本文件中随机选择一些行以创建较小尺寸的样本以进行探索性分析 file2sentences()从文件中读取文本并返回一个quanteda::corpus对象,该对象被拆分为一站式文档 str2tokens()通过以下预处理将每个(一分)文本拆分为标记(单词): -