论文研究 深度神经网络的完整性问题

Hornik,Stinchcombe&White已显示具有足够隐藏层的多层前馈网络是通用逼近器。 Roux&Bengio已证明添加隐藏单元会严格提高建模能力,而受限玻尔兹曼机(RBM)是离散分布的通用近似器。 在本文中,我们提供了另一个证明。 这种新证明的优点是它将导致几种新的学习算法。 我们证明了深度神经网络实现了扩展并且扩展已经完成。 首先,我们简要回顾一下基本的玻尔兹曼机,以及玻尔兹曼机的不变分布会产生马尔可夫链。 然后,我们回顾θ变换及其完整性,即,可以通过θ变换扩展任何函数。 我们将进一步回顾ABM(Attrasoft玻尔兹曼机)。 ABM的不变分布是θ变换。 因此,ABM可以模拟任