手推BP算法及python实现

画图和编辑公式实在是太麻烦了,我就写在纸上吧 一、BP推导 一个简单的神经网络: 正向传播: 1.输入层—->隐含层: 这里我们要把得到的值通过sigmoid激活一下: 2.隐含层—->输出层:同理 这样我们就得到了输出值out(o1)和out(o2),此时这两个输出值和我们预想的输出值肯定相差甚远(可以自己设定几个数试一试)那么我们就要进行反向传播来修正w以此来修正输出值。 反向传播: 1.我们所期望的数据和输出数据的误差: 2.隐含层—->输出层的权值更新: 以w5为例,我们想知道w5对整体误差产生了多少影响 那么我们再拆分看每一项: 我们现在更新W5(lr是学习率):