深度学习笔记(3)

一、过拟合、欠拟合及其解决方案 1、训练误差和泛化误差 训练误差(training error):指模型在训练数据集上表现出的误差。 泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。 计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。 验证数据集:预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集,简称验证集(validation set)。可以用来调整模型参