Fairscale:用于高性能和大规模培训的PyTorch扩展 源码

描述 FairScale是PyTorch扩展库,用于在一台或多台机器/节点上进行高性能和大规模培训。 该库扩展了基本的PyTorch功能,同时添加了新的实验功能。 FairScale支持: 并行性: 管道并行性(fairscale.nn.Pipe) 分片训练: 优化程序状态分片(fairscale.optim.oss) 分片式洁牙机-自动混合精度 分片分布式数据并行 大规模优化: AdaScale SGD(从fairscale.optim导入AdaScale) 要求 PyTorch> = 1.5.1 安装 正常安装: pip install fairscale 开发方式: cd