人人都在用的机器学习算法 决策树

决策树(DecisionTree) 这里说几个决策树有关的概念: 贪心算法:是指在对问题求解时,总是做出在当前看来是最好的选择。不考虑总体的最优解,以每一步的局部最优解来模拟全局最优解。决策树是典型的贪心算法,现在众多的决策树算法包括,ID3、C4.5和CART,都是在使用这一算法。 那么对于决策树来说,怎么才能实现局部最优呢?需要有一些指标来帮助决策树模型,判断哪个条件是最重要的,对下面的例子来说:高,富,帅到底哪个是最重要的呢?决策树为了找出最佳节点和最佳的分枝方法,创建了几个指标来帮助实现局部最优,简单说一下,对公式感兴趣的也可以自己搜搜看: 信息熵:混乱度,不稳定度,不确定性越大,越混