coco lm pytorch:在Pytorch中实现COCO LM纠正和对比用于语言模型预训练的文本序列 源码

COCO LM预训练(WIP) 在Pytorch中实现 ,纠正和对比文本序列以进行语言模型预训练。 他们能够以自我监督的方式进行对比学习,以进行语言模型预训练。 似乎是Electra的坚实后继者。 安装 $ pip install coco-lm-pytorch 用法 使用x-transformers库的示例 $ pip install x-transformers 然后 import torch from torch import nn from x_transformers import TransformerWrapper , Encoder from coco_lm_pytorch import COCO # (1) instantiate the generator and discriminator, making sure that the generator is ro