优化器笔记 大毛.zip

神经网络参数优化器,优化器演化流程! 内含源码与对比各优化word文档 优化器演化流程:SGD -> SGDM -> NAG ->AdaGrad -> RMSProp/AdaDelta -> Adam -> Nadam 这样的发展历程,下面逐一介绍每个公式,不用担心公式看不懂,都是围绕上述1,2,3,4个公式带入动量参数既是优化公式。