深入解析神经网络从原理到实现

结构 结构指定了网络中的变量和它们的拓扑关系。激励函数 大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重。它也可能依赖于监督者提供的目标值和当前权重的值。如上文所说，神经网络主要包括三个部分：结构、激励函数、学习规则。图1是一个三层的神经网络，输入层有d个节点，隐层有q个节点，输出层有l个节点。图2下面使用数学公式描述每一个神经元工作的方式输出x 有了上面的网络结构和激励函数之后，这个网络是如何学习参数的呢？中参数更新的结果可以复用中的参数更新结果，从某种程度上，与反向传播这个算法名称不谋而合，不得不惊叹。