深度学习算法的激活函数研究

作为深度学习算法中重要的环节,激活函数可以为神经网络引入非线性因素。大量学者通过提出或改进激活函数的方法在一定程度上提高了算法的优化及泛化能力。研究了现阶段的激活函数,将激活函数大致分为S系激活函数和ReLU系激活函数,从不同激活函数的功能特点和存在的饱和性、零点对称和梯度消失及梯度爆炸的现象进行研究分析,针对Sigmoid,Tanh,ReL,P-ReLU,L-ReLU等典型激活函数分别应用在卷积神经网络(Covolutional Neural Network ,CNN)和循环神经网络(Recurrent Neural Network ,RNN)中测试。