cogs pretrained lms:在COGS基准上使用预训练的LM进行实验 源码

使用预训练的语言模型进行语义解释 首先,从源代码安装huggestface 和库。 此处的代码改编自“ 存储库。 我已经将所有拆分预处理并保存在目录内的json文件中。 要在COGS训练集上微调一个预先训练的小型T5模型,然后在泛化集上进行评估,请运行例如: python -u run_translation.py \ --model_name_or_path t5-small \ --use_pretrained_weights True \ --do_train \ --do_predict \ --source_lang en \ --target_lang en \ --finetune_target_lang mentalese \ --source_prefix "translate English to En