决策树算法推导&python应用

决策树公式推导 (1)信息熵--用来度量样本集合纯度最常用的一种指标,定义如下: Ent⁡(D)=−∑k=1∣Y∣pklog⁡2pk(式1) \operatorname{Ent}(D)=-\sum_{k=1}^{\vert{\mathcal{Y}}\vert}p_k\log_2p_k\tag{式1} Ent(D)=−k=1∑∣Y∣​pk​log2​pk​(式1) 其中,D={(x1,y1),(x2,y2),⋯ ,(xm,ym)}D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\}D={(x1​,y1​),(x2​,y2​),⋯,(xm​,ym​)}表示样本集合,