structuring ML projection——第二周

朝什么方向来优化模型 在测试集中找100张识别错误的样本,然后统计出错原因,集中精力改善出错多的原因。 DL算法对于训练集中的随机标记错误比较鲁棒。 当训练集和测试集不同分布时,比如现有训练集200k, 实际应用数据集有10k, 则应把10k分成两部分,一部分给训练集,剩余给验证集和测试集。训练集205k, 验证集2.5k,测试集2.5k。 误差分析 判断误差原因 加入 training-dev set。 如何解决数据不匹配问题 人工进行误差分析,理解训练集和测试集的不同之处,然后尝试使训练集更像测试集,或收集更多测试集数据。例如数据合成。在普通语音数据中加入车辆噪音,使普通语音更像车内语音。