最新预训练模型ELECTRA.rar：一种高效的替代方案

最近涌现出基于遮蔽语言模型（MLM）的预训练模型，如BERT，其核心思想是使用[MASK]令牌替换输入序列中的一部分令牌，然后通过训练模型修复原来的令牌。虽然这些模型在NLP下游任务中表现出色，但往往需要大量计算资源。为此，研究者提出了一种更高效的预训练任务，被称为替换令牌检测。与MLM不同的是，这种方法不是屏蔽输入序列的部分令牌，而是通过小型生成器生成样本，用生成的样本替换输入中的令牌。与其训练一个模型来预测损坏令牌的原标识不同，该方法训练一个判别模型来预测输入中每个标记是否被生成器生成的样例替换。实验证明，这种新的预训练任务相对于MLM更为有效，因为它在所有输入标记上进行定义，而不仅仅是在屏蔽的子集上。