激活函数(ReLU、sigmoid、tanh)的简单理解

ReLU函数 ReLU(rectified linear unit)函数提供了一个很简单的非线性变换。给定元素 ,该函数定义为: 可以看出,ReLU函数只保留正数元素,并将负数元素清零。函数图像如下图: 显然,当输入为负数时,ReLU函数的导数为0;当输入为正数时,ReLU函数的导数为1。尽管输入为0 时ReLU函数不可导,但是我们可以取此处的导数为0。绘制ReLU函数的导数图像: sigmoid函数 sigmoid函数可以将元素的值变换到0和1之间,函数定义: sigmoid函数在早期的神经网络中较为普遍,但它目前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换: 对