梯度下降法与反向传播 (1)

取目标函数 ,其中 ,用 去代表 和 以强调它可能是任意的函数。在求解目标函数最小值的过程中理论上可以采用两种方法进行计算:一种解决方法就是用数值计算的方法去计算出它的最小值,但是这种方法需要求偏导数,然而在参数量巨大的神经网络中这是很难完成的一件事情;另一种方法是采用梯度下降的方法,计算较为简便。 在介绍梯度下降法的时候,首先忽略神经网络的结构,假设其为具有很多变量的函数,而我们的目的就是求解出这样的函数的最小值。当对自变量做较小的改变的时候