hivemind:PyTorch中的分散式深度学习。 旨在为全球数千名志愿者训练模型 源码

蜂巢:PyTorch中的去中心化深度学习 Hivemind是一个PyTorch库,用于在Internet上训练大型神经网络。 想象一下,在来自不同大学,公司和志愿者的数千台计算机上训练一个巨大的Transformer模型。 主要特点 训练任意大小的神经网络:其各层的一部分分布在参与者之间 在没有主节点的情况下运行分布式培训:分布式哈希表允许连接分散网络中的计算机 容错反向传播:即使某些节点无响应或响应时间过长,前向和后向传递也会成功 要了解有关此库及其组件背后的想法的更多信息,请参见或阅读 文献资料 :安装hivemind,设置服务器并培训专家 文档和指南: 贡献 Hivemind目前处于积