CKY Algorithm with PCFGImplementing the CKY Algorithm for Probabilistic Context Free Grammar

作业网址：

PART 1：如何运行代码

问题4：Shell脚本：q4.sh运行大约需要20秒

给定从训练数据产生计数的代码：

python count_cfg_freq.py parse_train.dat > cfg.counts

该命令生成计数文件。接下来，使用稀有替换单词并生成新的训练数据：

python add_rare.py cfg.counts parse_train.dat > parse_train_rare.dat

该命令将带有稀有的新源文件输出到parse_train_rare.dat。接下来，生成稀有训练数据的计数：

python count_cfg_freq.py parse_train_rare.dat > cfg_rare.counts

这将生成新的计数文件。

问题5：Shell脚本：q5.sh耗时不到2分钟

运行命令：

appllies cky_a

执行上述命令将开始使用CKY算法处理数据。