pytorch学习笔记(十四)————正则化惩罚(减轻overfitting)

pytorch学习笔记(十四)————正则化惩罚(减轻overfitting)目录回顾降低过拟合方法正则化惩罚项常用的正则化公式 目录 回顾 在上一篇博客中我们讲到,当训练模型比真实模型复杂度低的情况叫做underfitting(欠拟合),当训练集模型比真实模型复杂度高的情况叫做overfitting(过拟合)。现如今由于网络层数不断地增加,欠拟合的情况已经较为少见,绝大数多情况都是出现过拟合。与过拟合有一个异曲同工的概念叫做奥卡姆剃刀原理。 奥卡姆剃刀原理是指:在科学研究任务中,应该优先使用较为简单的公式或者原理,而不是复杂的。 应用到深度学习任务中,可以通过减小模型的复杂度来降低过拟合的