BERT:预训练的深度双向 Transformer 语言模型

我们提出了一种新的称为BERT的语言表示模型，BERT代表来自Transformer的双向编码器表示 （BidirectionalEncoderRepresentationsfromTransformers）。不同于最近的语言表示模型（Peters etal.,2018，Radfordetal.,2018），BERT旨在通过联合调节所有层中的左右上下文来预训练深度 双向表示。因此，只需要一个额外的输出层，就可以对预训练的BERT表示进行微调，从而为广泛的 任务（比如回答问题和语言推断任务）创建最先进的模型，而无需对特定于任务进行大量模型结构的 修改。 BER