【人工智能学习】【十五】残差网络

深度学习的问题 理论上来说深层网络一定包含了浅层网络能拟合出的映射,但并不是层数越多越好。深度CNN网络达到一定深度后再一味地增加层数并不能带来进一步地分类性能提高,反而会招致网络收敛变得更慢,准确率也变得更差。 残差网络 网络随着深度的变深,映射出来的特征越抽象,包含的信息越少(信息论的角度讲,由于DPI(数据处理不等式)的存在,在前向传输的过程中,随着层数的加深,Feature Map包含的图像信息会逐层减少),那么如果使每一层的信息都变得比前面一层多,就解决这个问题了,这个就是残差网络的核心思想。据说残差的思想是来自于LSTM门控的思想。总的来说是打破了网络的对称性,提升了网络的表征能力