稀疏自编码器

自编码器的主要目的是通过无监督学习神经网络抽取样本的内在特征，也可以称之为有监督学习神经网络（样本标签即自身）。其基本思想是试图建立一个输出≈输入的神经网络，设置该网络的隐层神经元个数小于输入样本的维数，强制隐层抽取样本的潜在特征（只有当隐层抽取到原始输入的大部分特征，才有可能输出≈输入）。当然，我们也可以设置隐层神经单元个数大于输入维数，再通过加入稀疏性限制来发现输入数据的结构。总而言之，输入≈输出的神经网络+稀疏惩罚=稀疏自编码器