理解__概括__传递.zip

在神经网络中提取知识 Distillingtheknowledgeinaneuralnetwork(2015) 作者G.Hintonetal. 摘要：一个很简单的能改善几乎所有机器学习算法表现的办法，就是训练许多基于相同数据集的模型，并取这些模型的预测平均值。问题是，使用全部模型来进行预测是个笨办法，且允许大量用户部署的计算成本过于昂贵，特别是当个体模型是大规模神经网络时。Caruana和他的合作者已经论证，有可能将一个集合中的知识压缩到一个单独模型中，部署起来也容易得多，而且我们使用了不同压缩技巧进一步扩展了这一方法。在MNIST上，我们取得了一些令人吃惊的成功，并展