lectra pytorch:Electra的一种简单有效的实现这是在Pytorch中从头开始预训练语言模型的最快方法 源码

伊莱克特拉-火炬 详细介绍了一种用于快速训练语言模型的简单工作包装。 与普通的屏蔽语言建模相比,它可以将训练速度提高4倍,并且如果训练时间更长,最终可以达到更好的性能。 特别感谢抽出时间为GLUE复制了结果。 安装 $ pip install electra-pytorch 用法 以下示例使用了reformer-pytorch ,可以通过pip安装。 import torch from torch import nn from reformer_pytorch import ReformerLM from electra_pytorch import Electra # (1) instantiate the generator and discriminator, making sure that the generator is roughly a quarter to a half