火柴盒:在各个示例级别编写PyTorch代码然后在微型批次上高效运行 源码

火柴盒 Matchbox使深度学习研究人员能够在单个示例级别上编写PyTorch代码,然后在微型批次上高效运行它。 它使用三个组件来执行此操作: MaskedBatch类型以及PyTorch方法和神经网络层的重载实现自动跟踪可变大小数据的填充和掩码。 使用dir(matchbox.MaskedBatch)查看受支持方法的列表。 @batch装饰器将一些Python控制流重写为类似的形式,其中包括执行屏蔽和同步原语。 诸如batch_ones , split_dim和causal_mask类的便利方法在动态神经网络代码中支持常见用例,其方式受益于MaskedBatch类型可用的更具语义意义