打卡2

一、过拟合、欠拟合及其解决方案 一类是模型无法得到较低的训练误差,我们将这一现象称作欠拟合; 另一类是模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合。 在实践中,我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题,在这里我们重点讨论两个因素:模型复杂度和训练数据集大小。 二、梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失和爆炸。 三、循环神经网络 RNN存在的问题:梯度较容易出现衰减或爆炸 ⻔控循环神经网络:捕捉时间序列中时间步距离较大的依赖关系 四、机器翻译 将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻