机器学习优化方法及超参数设置综述v1.pdf

机器学习及其分支深度学习主要任务是模拟或者实现人类学习行为，这些学习方法近年来在目标分类、语音识别等各项任务中取得巨大突破。机器学的各种优化器极大了改善了学习模型的训练速度和泛化误差。优化方法和超参数作为观察训练模型的窗口，能够探索学习模型的结构和训练机制，是机器学习研究的重点之一。对机器学习的优化器与超参数理论研究进行了综述，回顾了超参数的一般搜索方法，对和优化器直接关联的批量大小、学习率超参数的设置方法进行了总结，对优化器和超参数需要进一步研究的问题进行了讨论。