Datawhale&kesci&伯禹教育 深度学习 第二次打卡2梯度消失和爆炸

1. 深度学习模型中梯度会出现2种极端消失(vanishing)和爆炸(explosion) 产生的原因:模型太深。 2. 随机初始化模型参数的原因 避免同一层参数一样,经过有限次迭代依旧一样。 3. pytorch 的nn.module 已经默认经过合理初始化 4.几个偏移概念 (1)协变量偏移(x偏移): 训练一堆真实的猫狗图像,但是测试的是卡通猫狗。 (2)标签偏移(y偏移):测试出现了训练时没有出现的标签 (3)概念偏移(不常见):发生很缓慢 作者:炼丹法师SunFine