基于二阶信息的优化算法.pdf

摘 要 二阶优化算法一般由牛顿法发展而来, 是求解无约束优化问题的强有力工 具. 因为它利用了目标函数的曲率信息, 相比一阶优化方法而言, 能显示出更好的 鲁棒性, 且收敛速度更快. 然而二阶优化算法在每次迭代时需要求解黑塞矩阵和 对应的逆, 一旦遇到高维情况, 这是很大的计算开销甚至无法完成计算. 拟牛顿 法有限内存拟牛顿法以及子抽样的牛顿法都是基于黑塞矩阵改造的二阶方 法. 本文首先回顾了求