构件:用于文本预处理的构件 源码

建筑模块 以下是我们在文本语料库实验室中使用的语料库工具的列表。 它们旨在作为通用的构建基块,允许我们在不同流程之间进行转换。 每个工具都应视为独立工具,并且包括代码( ~/code )和文档( ~/docs )。 ~/code所有工具的合并的requirements.txt文件。 该文档将包括有关代码用途以及如何运行代码的说明。 先决条件 所有脚本均遵循我们的标准和指令。 剧本 所有脚本命令均以PowerShell语法显示。 如果您使用其他外壳程序,则语法会有所不同。 在任何脚本的前面添加-O “优化”模式运行它。 在某些情况下,这可以提高50%,但可以防止出错。 如果运行中有错误,请除