albert_zh:用于自我监督学习语言表示的精简BERT海量中文预训练ALBERT模型 源码

albert_zh 使用TensorFlow实现的实现 ALBert基于Bert,但有一些改进。 它以30%的参数减少,可在主要基准上达到最先进的性能。 对于albert_base_zh,它只有十个百分比参数与原始bert模型进行比较,并且保留了主要精度。 现在已经提供了针对中文的ALBERT预训练模型的不同版本,包括TensorFlow,PyTorch和Keras。 海量中文语料上预训练ALBERT模型:参数充分,效果更好。预训练小模型也能拿下13项NLP任务,ALBERT三大改造登顶GLUE基准 一键运行10个数据集,9个层次模型,不同任务上模型效果的详细对比,见 一键运行CLUE中