重整器 火炬:Pytorch中的高效变压器 源码

重整器,高效的变压器,在火炬 这是改革者的Pytorch实现 它包括LSH注意,可逆网络和分块。 它已通过自动回归任务(enwik8)进行了验证。 它还包括其他功能,可以使整个网络完全受到关注。 32k代币 半精度81k令牌 安装 $ pip install reformer_pytorch 用法 一个简单的改革者语言模型 # should fit in ~ 5gb - 8k tokens import torch from reformer_pytorch import ReformerLM model = ReformerLM ( num_tokens = 20000 ,